Структурное сопоставление трехмерных изображений и сезонносуточная инвариантность

Авторы: Луцив Вадим Ростиславович, Малашин Роман Олегович, Малышев Игорь Александрович, Пономарев Святослав Владимирович Государственный оптический институт им. С. И. Вавилова 2

Содержание доклада • Практическая актуальность задачи сопоставления изображений • Современные решения в области сопоставлении изображений реальных сцен • Механизм двумерного структурного сопоставления, разработанный нами ранее • Усовершенствование механизма структурного сопоставления для обработки изображений трехмерных сцен • Результаты трехмерного структурного сопоставления и выводы 3

Практическая актуальность задачи сопоставления изображений Многие годы алгоритмы сопоставления изображений применяются в: • автоматизации производства • здравоохранении • системах обеспечения безопасности и криминалистике • дистанционном зондировании Земли Особенно сложно автоматическое сопоставление изображений реального естественного окружения, поэтому остается актуальной разработка новых робастных решений для: • распознавания целей • аэрокосмического мониторинга Земли • навигации беспилотных летательных аппаратов Наше исследование как раз посвящено алгоритмам сопоставления • навигации автономных наземных роботов 4 изображений реального естественного окружения.

Традиционные методы распознавания не достаточно эффективны в условиях естественной изменчивости и разнообразия анализируемых изображений Снимки одной и той же местности, сделанные с интервалом в несколько месяцев Кросскорреляционная функция снимков, сделанных в разные сезоны или с разных ракурсов деградирует 5

Известный современный алгоритм SIFT ошибается при сопоставлении элементов изображений со слабо выраженной текстурой и повторяющимися деталями Для преодоления этой трудности необходим более 6 эффективный анализ взаимного положения элементов изображения!

Нашим коллективом ранее был разработан эффективный объектно-независимый алгоритм контурного структурного сопоставления двумерных видеоданных Исходное изображение Контуры, относящиеся к большим градиентам яркости Структурное описание контуров 7

Надежность работы нашего алгоритма в условиях естественной изменчивости окружающей среды обусловлена учетом следующих существенных ограничений, следующих из свойств наблюдаемого мира и зрительных систем 1. Большинство систем машинного зрения проецируют изображение через линзу, что является источником проективных или аффинных преобразований. 2. Объекты наблюдаемого мира обычно локально жесткие. Взаимное положение их частей не изменяется мгновенно. Нежесткость объектов приводит к отклонениям преобразования их изображений от аффинного. 3. Объекты наблюдаемого мира, обычно не прозрачны, а их поверхности не зеркальны. Наблюдение прозрачных и зеркально отраженных объектов часто связано со зрительными иллюзиями. 4. Наблюдаемый мир состоит из поверхностей объектов, что в совокупности с непрозрачностью обусловливает правила загораживания объектов. 5. Свойства поверхностей варьируют при изменении условий наблюдения. Наблюдаемые границы объектов наиболее устойчивы к таким изменениям. 6. Наблюдаемый мир структурирован и организован иерархически: видимая сцена делится на объекты и подобъекты. При увеличении пространственного разрешения текселы также становятся объектами, имеющими свою форму. 8

Стимулом к этому исследованию были результаты применения обобщенных эталонных функций для структурной декомпозиции изображений, опубликованные И. Б. Мучником и Н. В. Завалишиным Маленьк о зеркало е Направл ен осветит ный ель Проекци метки я з внионыи ман я Вес 0 Y X 0 X Узкополосная функция информативности Положения экстремумов разности изображения и функции информативности 9

Разработанный объектно-независимый алфавит ортогональных структурных элементов Структурные элементы первого типа, соответствующие локальным объектам E 1 -1: z=k 1 x 2+k 2 y 2+C=(k 1 x 2+С 1) + (k 2 y 2+C 2) = zx+ zy Имеет близкую к нулю ширину пространственного спектра по абсциссе и ординате Имеют близкую к нулю ширину пространственного спектра по одной декартовой координате и нулевую ширину спектра по другой координате Е 1 -2 ┴ Е 1 -3 Структурные элементы второго типа, соответствующие границам объектов E 2 -1: z/ x=2 k 1 x => E 2 -1 ┴ E 2 -2, E 2 -1 ┴ E 1 -1 , E 2 -1 ┴ E 1 -2 , E 2 -1 ┴ E 1 -3 E 2 -2: z/ y=2 k 2 y => E 2 -2 ┴ E 2 -1, E 2 -2 ┴ E 1 -1 , E 2 -2 ┴ E 1 -2 , E 2 -2 ┴ E 1 -3 Имеют близкую к нулю ширину пространственного спектра по одной декартовой координате и нулевую ширину спектра по другой координате Использованный алфавит структурных элементов • ортогонален => не избыточен; • имеет узкую спектральную полосу => объектно-независим, робастен; 10 • инвариантен к аффинным и проективным преобразованиям.

* Имеет аналогии в нейрофизиологии зрения Структурные элементы первого и второго типов применены на всех иерархических уровнях анализа * Второй уровень Формирование зон внимания для выделения отдельных объектов * Первый уровень Выделение контурных структурных элементов * * Нулевой уровень Выделение текселов Выделение контуров 11

Механизм двумерного анализа пригоден для структурного сопоставления снимков, сделанных в разные сезоны с разных ракурсов Февральский аэрофотосним ок Майский снимок той же местности Результат структурного сопоставления и регистрации снимков 12

Структурное сопоставление радиолокационных и оптических снимков Снимок, сделанный в оптическом диапазоне Радиолокационн ый снимок Результат сопоставления и мозаичной регистрации снимков 13

Механизм двумерного структурного анализа пригоден для сопоставления аэрокосмических снимков с векторными картами местности Космический снимок Векторная ГИСкарта местности Результат сопоставления и регистрации снимка и карты 14

Механизм двумерного структурного анализа пригоден для сопоставления реальных снимков с контурными скетчами Грубый контурный набросок самолета, сделанный от руки Результат сопоставлени я контурного наброска с изображением Реальное растровое изображение самолета Контуры, выделенные в растровом изображении 15

«Способности к обобщению» в механизме двумерного структурного контурного сопоставления Исходные снимки Алгоритм SIFT не способен к таким Результат автоматического сопоставления и регистрации 16 снимков зрительным

Двумерное контурное структурное описание, используемое при сопоставлении изображений Исходное полутоновое Контуры, относящиеся к изображение большим градиентам яркости Контурное структурное описание Структурные описания включают огромные количества таких похожих простых контурных элементов ! 17

Структурное сопоставление выполняется путем оптимизированного обхода дерева решений s y C B d A a . . . f E u B w y b B C c B A b D d n t C m . . . C g D Y F D r z E z Z A ! E q 18

Структурное сопоставление контурных элементов нижнего иерархического уровня Каскадный механизм удаления «неперспективных» ветвей дерева поиска сокращает время решения Структурн ые элементы первого изображен ия l 1 d 1 3 Преобразование системы координат d 2 1 l 1 l 2 ? Собственные параметры Нет сопоставляем ых элементов 3 d 1 d 2 ? Попарные отношения структурн ых элементов l 2 2 Структурн ые элементы второго изображен ия i < Порога ? i Нет 3 Интегральная мера сходства двух множеств структурных элементов должна быть высока 19

Коррекция групп элементов 2 й иерархический уровень (сопоставление групп структурных элементов) No 1 No 3 No 2 G 1 g 1 G 2 g 2 . . . Коррекция формы структурных элементов Иерархическое структурное сопоставление gm Gn a Группы элементов изображения 1 го b Группы элементов 2 го изображения 1 й иерархический уровень (сопоставление элементов каждой группы с элементами каждой группы другого изображения) Нулевой иерархический уровень (построение контурных структурных описаний) 20

Коррекция контурных структурных описаний на нижнем иерархическом уровне сопоставления с использованием принципа адаптивного резонанса Существенно различающиеся контурные структурные описания пары изображений Контурные структурные описания, хорошо соответствующие другу в результате выполнения структурного 21 сопоставления

Такое робастное сопоставление достигается именно за счет применения иерархической процедуры с использованием адаптивного резонанса Радиолокационн ый снимок Результат сопоставления и мозаичной регистрации снимков Снимок, сделанный в оптическом диапазоне 22

Какой ценой достигнута робастность сопоставления? Структурные описания состоят из огромного количества таких похожих простых контурных элементов Отличная робастность сопоставления достигается ценой применения глобальной модели аффинного преобразования, жестко ограничивающей взаимные положения структурных элементов! 3 l 1 Структурн ые элементы 1 го изображени я l 2 d 1 Двумерное структурное сопоставлен ие 1 2 Структурн ые элементы 2 го изображени я 23

Нельзя применять единую модель геометрического преобразования к всему изображению трехмерной сцены Изображение трехмерной сцены (камера находится внутри сцены) Преобразование изображения должно быть описано отдельной моделью для каждой наблюдаемой поверхности 24

Переход от двумерных к трехмерным структурным описаниям Структурные элементы 1 го изображения 3 Двумерное структурное сопоставлен ие l 1 l 2 d 1 1 2 Структурн ые элементы 2 го изображени я l`1≥ l 1 Трехмерное структурно е описание ≥ d 1 d` 1 В современных условиях стали доступны достаточно точные и недорогие датчики трехмерных видеоданных ! 25

Переход от двумерных к трехмерным описаниям длины и ориентации прямой линии y y 1 y 2 d 0 x x 1 2 z z 2 d' z 1 y y 1 2 0 x x d 1 2 . , a x y b' a' x 26

Вычисление углов между контурными линиями в трехмерном пространстве Величины d углов, образованных не скрещивающимися контурными линиями, вычисляются следующим (x 4, y 4, z 4)T образом: : z X 2 d (x 3, y 3, z 3)T (x 2, y 2, z 2)T (x 1, y 1, z 1)T 0 Для не скрещивающихся сегментов прямых линий: y X 1 x 27

Переход от двумерной модели аффинного преобразования к трехмерной в задаче структурного сопоставления изображений Вектор преобразованн ых координат Параметры преобразовани я Вектор преобразуемы х координат 28

Переход от двумерной модели проективного преобразования к трехмерной в задаче структурного сопоставления изображений Вектор преобразованн ых координат Вектор преобразуемы х координат Параметры преобразовани 29

Пример модельных видеоданных, использованных в задаче трехмерного структурного сопоставления Смоделированное полутоновое изображение трехмерной сцены Смоделированная карта глубины 30

Трехмерные видеоданные, реально полученные сенсором Kinect в помещении с разных ракурсов Двумерные изображения Контуры, выделенные в двумерных Карты глубины 31

Сравнительный анализ точности регистрации изображений при использовании алгоритмов их двумерного и трехмерного сопоставления Двумерное структурное сопоставление (на заднем плане наблюдается существенное Трехмерное структурное сопоставление 32 (удовлетворительная точность

Сравнение точности регистрации изображений при корректных и некорректных действиях со скрещивающимися прямыми Худшие результаты сопоставления и регистрации получены когда некоторые контурные углы построены из скрещивающихся Лучшие результаты сопоставления и регистрации 33 получены когда все контурные углы построены из не

Замена трехмерной аффинной на трехмерную проективную модель взаимного преобразования изображений трехмерных сцен Вектор преобразованн ых координат Вектор преобразуемы х координат Параметры преобразовани я 34

Улучшение точности сопоставления контуров с применением проективной модели преобразования Проективная модель преобразования Аффинная модель преобразования Пара сопоставляемых изображений трехмерной сцены 35

Отличные возможности обобщения, полученные ранее для нашего механизма двумерного сопоставления, должны сохраниться в случае трехмерного сопоставления ? Чтобы убедиться в этом, необходимы подходящие наборы трехмерных видеоданных, полученных на открытом воздухе ! 36

Выводы • Использование разработанного объектно-независимого подхода к контурному структурному анализу и заимствование механизмов человеческого зрительного восприятия сделало сопоставление изображений реального окружения инвариантным к естественным изменениям условий наблюдения • Результаты работы алгоритма трехмерного структурного сопоставления заметно лучше результатов двумерного сопоставления. Это подтверждает корректность используемых математических моделей. • Использование модели трехмерного проективного преобразования вместо модель трехмерного аффинного преобразования увеличило точность структурного сопоставления. • Наконец, необходимо перейти к анализу трехмерных видеоданных, реально полученных на открытом воздухе. 37

Благодарю за внимание 38