Выделение особенностей Если мы выделим в сцене некоторое

Зарегистрируйтесь, чтобы просмотреть полный документ!

Выделение особенностей Если мы выделим в сцене некоторое количество "особых" точек, определим их положение на каждом изображении и установим соответствие между точками различных изображений одной и той же сцены, то полученные данные смогут дать огромное количество информации о структуре сцены, а также о параметрах камеры, с которой были получены изображения. Однако в общем случае для всех пикселей изображения это сделать невозможно. Поэтому вводится понятие точечной особенности изображения. Особая точка сцены или точечная особенность (point feature) - это такая точка сцены, изображение которой можно отличить от изображений всех соседних с ней точек сцены. Точечная особенность изображения m - это точка , чья окрестность отличается от окрестностей близлежащих точек по выбранной мере, т. е. где - окрестность точки x, называемая окном поиска, а – функция близости окрестностей по некоторой мере.

Выделение особенностей Последовательность положений точечной особенности , где i – номер изображения последовательности, называется следом точечной особенности. особенность нет особенности Для простоты в качестве окрестности точки изображения берется прямоугольное окно небольшого размера. Для сравнения таких прямоугольных окон могут использоваться различные меры на изображениях (например, обычное SSD - Sum of Squared Difference или кросс -корреляция).

Выделение особенностей Детектор Харриса Точечная особенность – точка изображения, окрестность которой отличается от окрестностей соседних точек. Раз так: сдвиг окна в любом направлении должен приводить к большим перепадам яркости монотонный регион: в любом направлении изменений нет «край» : вдоль края изменений нет «уголок» : изменения при перемещении в любую сторону

Выделение особенностей • Изменение яркостей пикселей в окне при сдвиге [u, v] где X, Y – градиенты, : w(x, y) - взвешивающая ф-ция окна, I(x+u, y+v) - яркость сдвинутого пикселя, I(x, y) – яркость в точке (x, y) Взвешивающая ф-ция окна w(x, y) = 1 в окне , 0 снаружи экспоненциальная

Выделение особенностей Для малых сдвигов [u, v] используется билинейная аппроксимация: где Иными словами рассчитывается матрица Если оба ее собственных значения велики, то даже небольшое смещение точки (x, y) в сторону вызывает значительные изменения в яркости. Что и соответствует особенности изображения. Функция отклика угла записывается в следующем виде:

Выделение особенностей Классификация пикселей по собственным значениям M: 1) 1 и 2 малы; E почти константно при сдвигах в любую сторону → монотонный регион 2) 2 >> 1, или 1 >> 2 , E почти константно при сдвигах вдоль края → край 3) 1 и 2 велики, 1 ~ 2; E возрастает при сдвигах в любую сторону → уголок 2 “Край” 2 >> 1 “Уголок” 1 и 2 велики, 1 ~ 2 Монотонный регион “Край” 1 >> 2 1

Выделение особенностей Алгоритм Харриса: 1. Для каждого пикселя изображения вычисляется значение особой функции отклика угла (corner response function), оценивающая степень похожести изображения окрестности точки на угол. Большинство детекторов точечных особенностей работают сходным образом. Если оба ее собственных значения велики, то даже небольшое смещение точки (x, y) в сторону вызывает значительные изменения в яркости, что и соответствует особенности изображения. Функция отклика угла записывается в следующем виде: Параметр k обычно полагается 0. 04 (предложено Харрисом). 2. Точки изображения, соответствующие локальным максимумам этой функции и признаются особенностями.

Выделение особенностей Во многих случаях находится чересчур большое количество углов, из-за чего в дальнейшем их будет сложно отслеживать. Поэтому вводится ограничение на минимальное расстояние между найденными особенностями, и все лишние отбрасываются. Окрестность с субпиксельной точностью Найденные особенности могут уточняться с помощью субпиксельной коррекции. Но окрестность точки, вне зависимости от ее расположения относительно пикселя берется одинаковой. Некоторые исследователи утверждают, что в этом случае снижается качество последующего сопоставления. Было предложено с помощью билинейной интерполяции построить более точную окрестность точки таким образом, чтобы особенность всегда находилась в самом центре своего окна.

Выделение особенностей Для повышения качества слежения за особенностями детектор Харриса был в последующем модифицирован. Главное отличие заключается в суммировании матриц по окну W (потенциальной особенности) Для каждого пикселя изображения вычисляется матрица H: Точка считается особенностью, если минимальное собственные значение (eigenvalue) больше некоторого заданного порога:

Слежение за точечными особенностями Пусть I(x, t) - яркость изображения-кадра со временем t в точке x, где x - вектор. Движение изображения (image motion), вдали от границ видимости (occluding boundaries), описывается с помощью уравнения вида: I(x, t) = I (delta(x), t+t 1) , где delta(x) - движение точки x при переходе от кадра (t) к (t+t 1). Перемещение особенности от кадра к кадру описывается этим уравнением для всех точек x из окрестности особенности W. Отметим, что в этом случае полагается, что освещение точки сцены, соответствующей особенности, остается постоянным. При малых изменениях изображения от кадра к кадру можно считать, что окно особенности просто смещается, и движение delta(x) принимает вид delta(x) = x +d. Однако при увеличении длительности слежения, изображение точки сцены искажается. Это искажение может быть приближенно описано аффинной трансформацией, поэтому движение точек описывается аффинным преобразованием delta(x) = Ax + d, где A - матрица размерности 2*2.

Выделение особенностей Задача трекера заключается в отыскании значения движения delta(x) для всех точек окна особенности W. Т. к. в реальных условиях (*) никогда строго не выполняется, то ищется такое движение, при котором минимизируется разница между окнами при текущем и будущем положении особенности, т. е. такое delta(x), при котором достигается минимум e = |I(delta(x), t+t 1) - I(x, t)|, Или Алгоритм Lucas-Kanade tracker Этот алгоритм в принципе применим для функций любой размерности n. Пусть x - особенность первой функции F, необходимо найти такую точку x+h функции G, что разность окрестностей этих точек по мере - минимальна. Расстояние между окрестностями записывается в виде:

Выделение особенностей где F(x), G(x) - две функции Функцию F(x) с помощью разложения в ряд Тейлора можно приближенно представить в виде: Где - градиент Используя это приближение, ищется минимум E путем дифференцирования и приравнивания производной к нулю:

Выделение особенностей Отсюда смещение h можно получить как Tomasi-Kanade tracker В этом алгоритме движение особых точек также описывается смещением вида: delta(x) = x + d. Как и в предыдущем алгоритме, задача заключается в поиске такого d, при котором минимизируется разность окон особенностей:

Выделение особенностей Функция изображения также раскладывается с помощью ряда Тейлора: Где Тогда разницу между окнами по мере можно переписать в виде:

Выделение особенностей Дифференцировав это выражение по d и приравняв производную к нулю, получаем линейную систему относительно d: Где Из этой системы d получается как:

Выделение особенностей С учетом приближения функции изображения с помощью ряда Тейлора, решение получается неточным. Для его уточнения удобно применить итеративную процедуру Ньютона-Рафсона. Т. е. полученное на первом шаге решение берется за новое первое приближение, уравнение снова и снова. На каждом шаге рекомендуется пересчитывать окрестность особенности с помощью билинейной интерполяции для достижения субпиксельной точности нахождения положения особенности в новом кадре. Если интервал времени между кадрами принять за 1, получается следующий алгоритм:

Выделение особенностей этот алгоритм слежения фактически является поиском точки, в которой достигается минимум некоторой функции, методом градиентного спуска. Во время каждой итерации мы сдвигаемся вдоль направления градиента изображения в текущей точке. Shi-Tomasi-Kanade tracker В этом алгоритме учитываются аффинные искажения изображения окрестности особых точек, поэтому движение пикселей окна особенности описывается в виде Ax + d, где A - матрица (2*2), а d - смещение (2*1). Задача слежения за особенностью сводится к проблеме проблема определения параметров движения и искажения окна особенности, при которой минимизируется разность:

Выделение особенностей где W - окно особенности, а w - весовая функция (может использовать, а может и быть равна 1 во всем окне), J(x) и I(x) - два изображения. Выражение дифференцируется относительно параметров движения, и производная приравнивается к 0. Затем система линеаризуется с помощью разложения функции изображения в ряд Тейлора: Это дает нам линейную 6*6 систему где в векторе z объединены все искомые параметры:

Выделение особенностей Вектор ошибки a записывается в виде: А матрицу размерности 6*6 T можно представить следующим образом:

Выделение особенностей Где Полученная система решается также итеративно по методу Ньютона -Рафсона. Если движение считается не аффинным, а просто смещением, то первые четыре элемента искомого вектора z обращаются в 0, и значимыми остаются только последние два. Алгоритм превращается в алгоритм Tomasi. Kanade.

Выделение особенностей Автоматический отбор некачественных особенностей На практике установлено, что непосредственно для слежения за особенностями больше всего подходит обычный Tomasi-Kanade алгоритм. Алгоритм с учетом аффинных искажений в этом случае можно использовать для определения текущего качества особенности, т. е. степени близости ее окна к окну детектированной особенности. Необходима разработка методов определения порога, когда особенность признается плохой и перестает отслеживаться. Один из таких методов приведен ниже. Предположим, что после точного вычисления движения особенности, яркость соответствующих пикселей будет совпадать с точностью до некоторой ошибки, распределенной по нормальному закону (гауссову шуму): т. к. квадрат нормального распределения представляет собой распределение хи-квадрат, мы получаем:

Выделение особенностей Сумма n переменных, с распределением по хи-квадрат с одной степень свободы, распределена как хи-квадрат с n степенями свободы. Поэтому, разница между особенностями по окну N*N W имеет вид: При возрастании степени свободы, распределение хи-квадрат приближается к нормальному распределению. При степени свободы больше 30, нормальное распределение можно использовать как приближение хиквадрат. Если размер окна особенности, по крайней мере, 7*7, то можно спокойно утверждать, что: Поэтому, если два окна, которые мы сравниваем, принадлежат плохой особенности, то разница должна быть выбросом (outlier) по отношению к нормальному распределению разницы между хорошими особенностями.

Выделение особенностей. Для определения таких выбросов предлагается использовать правило Х 84, являющееся устойчивым за счет использования медианы и медианной дисперсии, вместо обычного среднего и дисперсии. Согласно правилу, все значения, отклоняющиеся от медианы на более чем k Медианных абсолютных дисперсий (МАД, Median Absolute Deviation - MAD) являются выбросами де e - разница между текущим окном особенности и ее окном в первом кадре. При значении k=5. 2 это соответствует примерно 3. 5 стандартным дисперсиям, и интервал [u-3. 5 sigma, u+3. 5 sigma) содержит более 99. 9% значений нормального распределения. Как утверждается, правило позволяет эффективно определять уменьшение качества особенности и отсекать ее во всех случаях, при которых количество выбросов меньше 50%.

Выделение особенностей Пример трекинга особенностей

Скачать презентацию Выделение особенностей Если мы выделим в сцене некоторое

Определение особенностей.ppt

Количество слайдов: 24