Выделение особенностей Итак, даны два изображения, один из них будем считать образцом, другое – сценой. Задача сводится к определению факта наличия образца на сцене, и к его локализации. При этом образец на сцене может: • иметь другой масштаб, • быть повернут в плоскости изображения, • быть в произвольном месте сцены, • может быть зашумлен, виден не полностью, частично заслонен другими предметами, • может иметь отличную от образца яркость и контраст, • его может не быть совсем. Выделим на образце некие ключевые точки (особенности) и небольшие участки вокруг них. Ключевой точкой будем считать такую точку, которая имеет некие признаки, существенно отличающие ее от основной массы точек. Например, это могут быть края линий, небольшие круги, резкие перепады освещенности, углы и т. д. Предполагая, что ключевые точки присутствуют на образце всегда, то можно поиск образца свести к поиску на сцене ключевых точек образца.
Выделение особенностей Примеры ключевых точек
Выделение особенностей Ключевые точки сильно отличаются от основной массы точек, поэтому их число будет существенно меньше, чем общее число точек образца. В целом, принцип выбора ключевых точек не важен. Главное что бы их было не слишком много и они присутствовали на изображении образца всегда. Вокруг точек выделяются малые участки для того чтобы можно было идентифицировать соответствие ключевых точек на разных изображениях одного и того же объекта. Чем меньше участок, тем меньше на него влияют крупномасштабные искажения. Так, если объект в целом, подвержен эффекту перспективы (то есть ближний край объекта имеет больший видимый размер, чем дальний), то для малого его участка явлением перспективы можно пренебречь и заменить на изменение масштаба. Аналогично, небольшой поворот объекта вокруг некоторой оси может сильно изменить картинку объекта в целом, но малые участки практически не изменятся.
Выделение особенностей Кроме того, если часть объекта выходит за край изображения или заслонена, то небольшие участки вокруг части ключевых точек будут видны целиком, что также позволяет их легче идентифицировать. А еще, если малые области лежат целиком внутри искомого объекта, то на них не оказывают никакого влияния объекты фона. С другой стороны, участок вокруг ключевой точки не должен быть слишком мал. Очень малые участки несут слишком мало информации об изображении и с большей вероятностью могут случайно совпадать между собой. Метод SURF (Speeded Up Robust Features) Метод SURF ищет особые точки с помощью матрицы Гессе, детерминант которой достигает экстремума в точках максимального изменения градиента яркости и хорошо детектирует пятна, углы и края линий. Сам метод инвариантен к масштабу, поворотам в плоскости изображения, зашумленности, перекрыванию другими предметами, изменению яркости и контраста. Однако Гессиан инвариантен относительно вращения, но не инвариантен масштабу. Поэтому SURF использует разномасштабные фильтры для нахождения гессианов.
Выделение особенностей Матрица Гессе образована вторыми частными производными функции. Если все производные существуют, то Определитель этой матрицы называется Гессианом Для двумерной функции, какой и является изображение матрица Гессе и ее определитель (гессиан) будет
Выделение особенностей Значение гессиана используется для нахождения локального минимума или максимума яркости изображения. В этих точках значение гессиана достигает экстремума. Особые точки представляют собой локальные экстремумы яркости изображения. Мелкие точки не распознаны как особые, из-за порогового отсечения по величине гессиана. Концы отрезка, распознанные как ключевые точки, с помощью матрицы Гессе.
Выделение особенностей Теоретически, вычисление матрицы Гессе сводится к нахождению Лапласиана от Гауссиана изображения. С точки зрения фильтрации импульсная характеристика Гауссиана имеет вид Импульсная характеристика Лапласиана где а - параметр, выбираемый в пределах от 0 до 1.
Выделение особенностей В методе SURF используются окна фильтров 9 x 9. При вычислении каждого элемента матрицы Гессе используется свой фильтр, с которым осуществляется свертка исходного изображения. Фильтры для вычисления Темные участки соответствуют отрицательным значениям фильтров, светлые – положительным.
Выделение особенностей Однако, SURF не использует лапласиан от гауссиана в том виде, который изображен на рисунке. Причины следующие: • дискретизированный лапласиан от гауссиана имеет довольно большой разброс значения детерминанта, при вращении образца( а ведь он должен быть инвариантен к вращению). Наибольший разброс в районе поворота на 45 градусов. • фильтр для лапласиана от гауссиана имеет непрерывный характер. Почти все пикселы фильтра имеют разные величины яркости. А это не позволяет эффективно использовать такой механизм расчёта, как интегральную матрицу изображения. Поэтому SURF использует бинаризированную аппроксимацию лапласиана гауссиана (Fast-Hessian): Белые области соответствуют значению +1, черные -2 (на третьем фильтре -1), серые – нулевые.
Выделение особенностей Этот фильтр более устойчив к вращению, и его можно эффективно вычислить с помощью интегральной матрицы. Таким образом, в SURF, гессиан вычисляется так: Где Dxx, Dyy, Dxy – свертки по указанным фильтрам. Коэффициент 0. 9 имеет теоретическое обоснование, и корректирует приближенный характер вычислений. Для нахождения особых точек, SURF пробегается по пикселам изображения и ищет максимум гессиана. В методе задается пороговое значение гессиана. Если вычисленное значение для пиксела выше порога – пиксел рассматривается как кандидат на ключевую точку
Выделение особенностей Поскольку гессиан является производной, и зависит только от перепада яркости, но не от абсолютного ее уровня, то он инвариантен по отношению к сдвигу яркости изображения. Таким образом, изменение уровня освещения образца не влияет на обнаружение ключевых точек. Кроме того, свойства гессиана таковы, что он достигает максимума, как в точке белого пятна на черном фоне, так и черного пятна на белом фоне. Таким образом, метод обнаруживает и темные, и светлые особенности изображения.
Выделение особенностей Гессиан не инвариантен относительно масштаба. Это значит, что для одного и того же пиксела, гессиан может меняться при изменении масштаба фильтра. Решение этой проблемы только одно – перебирать различные масштабы фильтров и поочередно их применять к данному пикселу. Из соображений симметрии и дискретизации, размер фильтра Fast. Hessian не может принимать произвольные значения. Допустимые размеры этого фильтра таковы (начиная с минимального): 9, 15, 21, 27 и так далее, с шагом 6. Однако, на практике, постепенно увеличивать размер фильтра на 6 — не выгодно, потому что для крупных масштабов шаг 6 оказывается слишком мелким, а фильтры — избыточными. Поэтому SURF разбивает все множество масштабов на так называемые октавы. Каждая октава покрывает определенный интервал масштабов, и имеет свой характерный размер фильтра. При этом если бы на октаву приходился только один фильтр, это было бы слишком грубым приближением. Кроме того, мы бы не могли найти локальный максимум гессиана, среди разных масштабов, в разных октавах. Ведь одна и та же точка может иметь несколько локальных максимумов гессиана, в разных масштабах.
Выделение особенностей Здесь две ключевые точки разного масштаба в одной точке изображения Если мы будем искать максимум среди всех гессианов, по всем масштабам, то мы бы нашли только один из максимумов, в то время как их может быть несколько. Один – в одном масштабе, другой – в другом. Поэтому октава содержит не один фильтр, а четыре фильтра, которые хорошо покрывают характерный масштаб октавы:
Выделение особенностей Первые три октавы метода SURF. Цифры в прямоугольниках показывают размер фильтра Fast-Hessian. Логарифмическая шкала снизу – показывает масштабы, покрываемые октавами. Шаг размера фильтра в первой октаве – составляет 6, во второй – 12, в третьей – 24 и так далее. Октавы значительно перекрываются другом. Это увеличивает надежность нахождения локальных максимумов. Сколько октав достаточно для покрытия множества особых точек разных масштабов? В реальных изображениях количество масштабов конечно, и основная масса особых точек сосредоточена в интервале от 1 до 10. Для покрытия этого диапазона достаточно четырех октав. Добавляется еще одна или две октавы для покрытия больших масштабов. Итого, используется 5 -6 октав. Этого вполне достаточно для покрытия всевозможных масштабов на изображении 1024 x 768 пикселов.
Выделение особенностей Нахождение локального максимума гессиана Для нахождения локального максимума гессиана, используется так называемый метод соседних точек 3 x 3 x 3. Пиксел, помеченный крестиком считается локальным максимумом, если его гессиан больше чем у любого его соседа в его масштабе, а также больше любого из соседей масштабом меньше и масштабом больше (всего 26 соседей).
Выделение особенностей Исходя из такого определения локального максимума, понятно, что октава должна содержать не менее трех фильтров, иначе мы не сможем определить факт нахождения локального максимума гессиана внутри октавы. Фильтры октавы считаются не для всех пикселов подряд. • Первая октава считается для каждого второго пиксела изображения. • Вторая – для каждого четвертого. • Третья – для каждого восьмого и так далее. Смысл понятен – две точки с расстоянием 2 не могут содержать более одного максимума масштаба 2, 3 или более высоких масштабов. Поэтому нет смысла перебирать все точки изображения, для нахождения максимума масштаба 3. Удвоение шага пикселов для октав позволяет экономить при расчёте фильтров, поскольку размеры фильтров в октавах повторяются. Так, например, фильтр размером 27 присутствует в трех октавах. Так вот, при вычислениях, этот фильтр будет считаться только для первой октавы. Вторая и третья – просто используют расчёты первой октавы. А удвоение шага пикселов гарантирует, что точки в которых нужно считать гессиан, уже были просчитаны предыдущей октавой.
Выделение особенностей Поэтому, несмотря на то, что октава содержит четыре фильтра, на самом деле каждая октава(кроме первой) считает только два характерных для нее размера, два других – всегда можно взять из предыдущих октав. Первая же октава вынуждена считать все четыре своих фильтра. После нахождения максимального гессиана методом соседних точек 3 x 3 x 3, мы нашли пиксел в котором этот максимум достигается. Однако, поскольку, октава перебирает не все точки изображения, то истинный максимум может не совпадать с найденным пикселом, а лежать где-то рядом, в соседних пикселах. Для нахождения точки истинного максимума, используется интерполирование найденных гессианов куба 3 x 3 x 3 квадратичной функцией. Далее, вычисляется производная. Если она близка к нулю – мы в точке истинного максимума. Если производная велика – сдвигаемся в сторону ее уменьшения, и повторяем итерацию, до тех пор пока производная не станет меньше заданного порога. Если в процессе итераций мы отходим от начальной точки слишком далеко, то это считается ложным максимумом, и точка больше не считается особой.
Выделение особенностей Формирование дескрипторов ключевых точек После нахождения ключевых точек, SURF формирует их дескрипторы. Дескриптор представляет собой набор из 64(либо 128) чисел для каждой ключевой точки. Эти числа отображают флуктуации градиента вокруг ключевой точки Поскольку ключевая точка представляет собой максимум гессиана, то это гарантирует, что в окрестности точки должны быть участки с разными градиентами. Таким образом, обеспечивается дисперсия (различие) дескрипторов для разных ключевых точек. Флуктуации градиента окрестностей ключевой точки считаются относительно направления градиента вокруг точки в целом (по всей окрестности ключевой точки). Таким образом, достигается инвариантность дескриптора относительно вращения. Размер же области, на которой считается дескриптор, определяется масштабом матрицы Гессе, что обеспечивает инвариантность относительно масштаба.
Выделение особенностей Нахождение ориентации особой точки Для инвариантности вычисления дескрипторов особой точки, требуется определить преобладающую ориентацию перепадов яркости в особой точке. Это понятие близко к понятию градиента, но SURF использует немного другой алгоритм нахождения вектора ориентации. Сначала, вычисляются точечные градиенты в пикселах, соседних с особой точкой. Для рассмотрения берутся пикселы в окружности радиуса 6 s вокруг особой точки. Где s – масштаб особой точки. Для первой октавы берутся точки из окрестности радиусом 12. Для вычисления градиента, используется фильтр Хаара. Размер фильтра берется равным 4 s, где s – масштаб особой точки. Фильтры Хаара Черные области имеют значения -1, белые +1
Выделение особенностей Фильтры Хаара дают точечное значение перепада яркости по оси X и Y соответственно. Поскольку фильтры Хаара имеют прямоугольную форму, их значения легко считаются с помощью интегральной матрицы. Для расчёта одного фильтра произвольного размера требуется всего 6 операций. Значения вейвлета Хаара d. X и d. Y для каждой точки умножаются на вес и запоминаются в массиве. Вес определяется как значение гауссианы с центром в особой точке и сигмой равной 2 s. Взвешивание на гауссиане необходимо для отсечения случайных помех на далеких от особой точки расстояниях. Далее, все найденные значения d. X и d. Y, условно наносятся в виде точек на плоскость, Берется угловое окно размером π/3, и вращается вокруг центра координат. Выбирается такое положение окна, при котором длина суммарного вектора для попавших в окно точек – максимальна. Вычисленный таким образом вектор нормируется и принимается как приоритетное направление в области особой точки.
Выделение особенностей Манипуляции с окном нужны для уменьшения влияния шумовых точек. Пример градиента при идеальном крае, и при крае с шумом. Шум дает дополнительные градиенты в направлениях, не совпадающих с направлением основного градиента. Использование окна позволяет отсечь такие шумовые точки, и более точно вычислить истинный градиент.
Выделение особенностей Вычисление дескриптора особой точки Дескриптор представляют собой массив из 64 (128) чисел, позволяющих идентифицировать особую точку. Дескрипторы одной и той же особой точки на образце и на сцене должны примерно совпадать. Метод расчета дескриптора таков, что он не зависит от вращения и масштаба. Для вычисления дескриптора, вокруг особой точки формируется прямоугольная область, имеющая размер 20 s, где s – масштаб в котором была найдена особая точка. Для первой октавы, область имеет размер 40 x 40 пикселов. Квадрат ориентируется вдоль приоритетного направления, вычисленного для особой точки. . Дескриптор считается как описание градиента для 16 квадрантов вокруг особой точки
Выделение особенностей Далее, квадрант разбивается на 16 более мелких квадрантов. В каждом квадранте берется регулярная сетка 5 x 5 и для точки сетки ищется градиент, с помощью фильтра Хаара. Размер фильтра Хаара берется равным 2 s, и для первой октавы составляет 4 x 4. Следует отметить, что при расчёте фильтра Хаара, изображение не поворачивается, фильтр считается в обычных координатах изображения. А вот полученные координаты градиента (d. X, d. Y) поворачиваются на угол, соответствующий ориентации квадрата. Итого, для вычисления дескриптора особой точки, нужно вычислить 25 фильтров Хаара, в каждом из 16 квадрантов. Итого, 400 фильтров Хаара. Учитывая, что на фильтр нужно 6 операций, выходит, что дескриптор обойдется минимум в 2400 операций. После нахождения 25 точечных градиента квадранта, вычисляются четыре величины, которые собственно и являются компонентами дескриптора: ∑d. X, ∑|d. X|, ∑d. Y, ∑|d. Y| Две из них есть просто суммарный градиент по квадранту, а две других – сумма модулей точечных градиентов.
Выделение особенностей Поведение дескриптора для разных изображений. Для равномерных областей – все значения близки к нулю. Для повторяющихся вертикальных полосок – все величины, кроме второй близки к нулю. При увеличении яркости в направлении оси X, две первые компоненты имеют большие значения. Четыре компонента на каждый квадрант, и 16 квадрантов, дают 64 компонента дескриптора для всей области особой точки. При занесении в массив, значения дескрипторов взвешиваются на гауссиану, с центром в особой точке и с сигмой 3. 3 s. Это нужно для большей устойчивости дескриптора к шумам в удаленных от особой точки областях.
Выделение особенностей Дополнительно к дескриптору, для описания точки используется знак следа матрицы Гессе, то есть величина sign(Dxx+Dyy). Для светлых точек на темном фоне, след отрицателен, для темных точек на светлом фоне – положителен. Таким образом, SURF различает светлые и темные пятна. Выделенные особые точки изображения. Зеленая линия показывает характерное направление для особой точки. Синий цвет окружности показывает положительный след матрицы Гессе, красный – отрицательный след.
Выделение особенностей Интегральное представление изображений Во многих задачах обработки изображений требуется рассчитывать яркость прямоугольного участка изображения. Например, в вейвлет преобразованиях, фильтрах Хаара, SURF Интегральное представление позволяет быстро рассчитывать суммарную яркость произвольного прямоугольника, причем время расчета не зависит от площади прямоугольника. Интегральное представление II(x, y) изображения I(x, y)представляет собой матрицу, размерность которой совпадает с размерностью исходного изображения. Элементы матрицы рассчитываются по следующей формуле: I(i, j) — яркость пиксела исходного изображения. Каждый элемент матрицы II[x, y] представляет собой сумму пикселов в прямоугольнике от (0, 0) до (x, y). Рассчет матрицы занимает линейное время, пропорциональное числу пикселов в изображении.
Выделение особенностей Расчет матрицы можно производить по рекуррентной формуле: II(x, y) = I(x, y) — II(x-1, y-1) + II(x-1, y) Пусть ABCD — интересующий нас прямоугольник Cумму внутри прямоугольника можно выразить через суммы и разности смежных прямоугольников по следующей формуле: Sum. Of. Rect(ABCD) = II(A) + II(С) — II(B) — II(D) Все компоненты для вычисления уже хранятся в интегральной матрице, вычисление занимает четыре обращения к массиву и три арифметических действия.
Выделение особенностей Примеры локализации Слева находится образец, справа – сцена. Красные линии показывают максимально похожие особые точки образца и сцены. Красная трапеция – показывает обнаруженный на сцене объект. Образец присутствует на сцене Локализован. Образец был повернут на 45 градусов. Локализован.
Выделение особенностей Несмотря на большое количество ложных идентификаций, объект локализован. Образца нет на сцене. Алгоритм не нашел локализации.
Выделение особенностей Образец имеет в два раза больший масштаб, чем на сцене. Локализован Недостатки метода Нужно отметить, несмотря на то, что SURF используется для поиска объектов на изображении, он сам работает не с объектами. SURF никак не выделяет объект из фона. Он рассматривает изображение как единое целое и ищет особенности этого изображения. При этом особенности могут быть как внутри объекта, так и на фоне, а также на точках границы объекта и фона. В связи с этим, метод плохо работает для объектов простой формы и без ярко выраженной текстуры. Внутри таких объектов, метод скорее всего не найдет особых точек. Точки будут найдены либо на границе объекта с фоном, либо вообще только на фоне. А это приведет к тому, что объект не сможет быть распознан в другом изображении, на другом фоне.
Скачать презентацию Выделение особенностей Итак даны два изображения один из
Выделение особенностей1.ppt