Структурное сопоставление трехмерных изображений и сезонно-суточная инвариантность 2

Структурное сопоставление трехмерных изображений и сезонно-суточная инвариантность

2 Авторы: Луцив Вадим Ростиславович, Малашин Роман Олегович, Малышев Игорь Александрович, Пономарев Святослав Владимирович Государственный оптический институт им. С.И. Вавилова

3 Содержание доклада Практическая актуальность задачи сопоставления изображений Современные решения в области сопоставлении изображений реальных сцен Механизм двумерного структурного сопоставления, разработанный нами ранее Усовершенствование механизма структурного сопоставления для обработки изображений трехмерных сцен Результаты трехмерного структурного сопоставления и выводы

4 Практическая актуальность задачи сопоставления изображений Многие годы алгоритмы сопоставления изображений применяются в: автоматизации производства здравоохранении системах обеспечения безопасности и криминалистике дистанционном зондировании Земли Особенно сложно автоматическое сопоставление изображений реального естественного окружения, поэтому остается актуальной разработка новых робастных решений для: распознавания целей аэрокосмического мониторинга Земли навигации беспилотных летательных аппаратов навигации автономных наземных роботов Наше исследование как раз посвящено алгоритмам сопоставления изображений реального естественного окружения.

5 Традиционные методы распознавания не достаточно эффективны в условиях естественной изменчивости и разнообразия анализируемых изображений Кросскорреляционная функция снимков, сделанных в разные сезоны или с разных ракурсов деградирует Снимки одной и той же местности, сделанные с интервалом в несколько месяцев

6 Известный современный алгоритм SIFT ошибается при сопоставлении элементов изображений со слабо выраженной текстурой и повторяющимися деталями Для преодоления этой трудности необходим более эффективный анализ взаимного положения элементов изображения!

7 Нашим коллективом ранее был разработан эффективный объектно-независимый алгоритм контурного структурного сопоставления двумерных видеоданных Исходное изображение Контуры, относящиеся к большим градиентам яркости Структурное описание контуров

8 Надежность работы нашего алгоритма в условиях естественной изменчивости окружающей среды обусловлена учетом следующих существенных ограничений, следующих из свойств наблюдаемого мира и зрительных систем Большинство систем машинного зрения проецируют изображение через линзу, что является источником проективных или аффинных преобразований. Объекты наблюдаемого мира обычно локально жесткие. Взаимное положение их частей не изменяется мгновенно. Нежесткость объектов приводит к отклонениям преобразования их изображений от аффинного. Объекты наблюдаемого мира, обычно не прозрачны, а их поверхности не зеркальны. Наблюдение прозрачных и зеркально отраженных объектов часто связано со зрительными иллюзиями. Наблюдаемый мир состоит из поверхностей объектов, что в совокупности с непрозрачностью обусловливает правила загораживания объектов. Свойства поверхностей варьируют при изменении условий наблюдения. Наблюдаемые границы объектов наиболее устойчивы к таким изменениям. Наблюдаемый мир структурирован и организован иерархически: видимая сцена делится на объекты и подобъекты. При увеличении пространственного разрешения текселы также становятся объектами, имеющими свою форму.

9 Направленный осветитель Маленькое зеркало Проекция метки зоны внимания Вес Y X X 0 0 Узкополосная функция информативности Положения экстремумов разности изображения и функции информативности Стимулом к этому исследованию были результаты применения обобщенных эталонных функций для структурной декомпозиции изображений, опубликованные И.Б. Мучником и Н.В. Завалишиным

10 E1-1: z=k1x2+k2y2+C=(k1x2+С1) + (k2y2+C2) = zx+ zy Структурные элементы первого типа, соответствующие локальным объектам E2-1: z/x=2k1x => E2-1 ┴ E2-2, E2-1 ┴ E1-1 , E2-1 ┴ E1-2 , E2-1 ┴ E1-3 E2-2: z/y=2k2y => E2-2 ┴ E2-1, E2-2 ┴ E1 -1 , E2-2 ┴ E1-2 , E2-2 ┴ E1-3 Структурные элементы второго типа, соответствующие границам объектов Имеет близкую к нулю ширину пространственного спектра по абсциссе и ординате Имеют близкую к нулю ширину пространственного спектра по одной декартовой координате и нулевую ширину спектра по другой координате Имеют близкую к нулю ширину пространственного спектра по одной декартовой координате и нулевую ширину спектра по другой координате Е1-2 ┴ Е1-3 Использованный алфавит структурных элементов ортогонален => не избыточен; имеет узкую спектральную полосу => объектно-независим, робастен; инвариантен к аффинным и проективным преобразованиям. Разработанный объектно-независимый алфавит ортогональных структурных элементов

11 Выделение текселов Выделение контуров Выделение контурных структурных элементов Формирование зон внимания для выделения отдельных объектов Нулевой уровень Первый уровень Второй уровень * Имеет аналогии в нейрофизиологии зрения * * * * Структурные элементы первого и второго типов применены на всех иерархических уровнях анализа

12 Февральский аэрофотоснимок Результат структурного сопоставления и регистрации снимков Механизм двумерного анализа пригоден для структурного сопоставления снимков, сделанных в разные сезоны с разных ракурсов Майский снимок той же местности

13 Структурное сопоставление радиолокационных и оптических снимков Радиолокационный снимок Снимок, сделанный в оптическом диапазоне Результат сопоставления и мозаичной регистрации снимков

14 Космический снимок Векторная ГИС-карта местности Результат сопоставления и регистрации снимка и карты Механизм двумерного структурного анализа пригоден для сопоставления аэрокосмических снимков с векторными картами местности

15 Грубый контурный набросок самолета, сделанный от руки Реальное растровое изображение самолета Результат сопоставления контурного наброска с изображением Контуры, выделенные в растровом изображении Механизм двумерного структурного анализа пригоден для сопоставления реальных снимков с контурными скетчами

16 Исходные снимки Результат автоматического сопоставления и регистрации снимков «Способности к обобщению» в механизме двумерного структурного контурного сопоставления Алгоритм SIFT не способен к таким зрительным ассоциациям!

17 Двумерное контурное структурное описание, используемое при сопоставлении изображений Структурные описания включают огромные количества таких похожих простых контурных элементов ! Исходное полутоновое изображение Контуры, относящиеся к большим градиентам яркости Контурное структурное описание

18 Структурное сопоставление выполняется путем оптимизированного обхода дерева решений

19 3 3 Структурное сопоставление контурных элементов нижнего иерархического уровня Каскадный механизм удаления «неперспективных» ветвей дерева поиска сокращает время решения Структурные элементы первого изображения Структурные элементы второго изображения d1 l1 d2 l2 3 2 1 d1  d2 ? Преобразо-вание системы координат l1  l2 ? Собственные параметры сопоставляемых элементов Попарные отношения структурных элементов Интегральная мера сходства двух множеств структурных элементов должна быть высока  i < Порога ? i Нет Нет

20 Коррекция групп элементов 2й иерархический уровень (сопоставление групп структурных элементов) 1й иерархический уровень (сопоставление элементов каждой группы с элементами каждой группы другого изображения) Нулевой иерархический уровень (построение контурных структурных описаний) Коррекция формы структурных элементов a b G1 G2 Gn g1 g2 gm Группы элементов 1го изображения Группы элементов 2го изображения ... ... No 1 No 3 No 2 Иерархическое структурное сопоставление

21 Коррекция контурных структурных описаний на нижнем иерархическом уровне сопоставления с использованием принципа адаптивного резонанса Существенно различающиеся контурные структурные описания пары изображений Контурные структурные описания, хорошо соответствующие друг другу в результате выполнения структурного сопоставления

22 Такое робастное сопоставление достигается именно за счет применения иерархической процедуры с использованием адаптивного резонанса Радиолокационный снимок Снимок, сделанный в оптическом диапазоне Результат сопоставления и мозаичной регистрации снимков

23 Структурные описания состоят из огромного количества таких похожих простых контурных элементов Какой ценой достигнута робастность сопоставления? Структурные элементы 1го изображения d1 l1 d2 l2 3 2 1 Двумерное структурное сопоставление Структурные элементы 2го изображения Отличная робастность сопоставления достигается ценой применения глобальной модели аффинного преобразования, жестко ограничивающей взаимные положения структурных элементов!

24 Нельзя применять единую модель геометрического преобразования к всему изображению трехмерной сцены Изображение трехмерной сцены (камера находится внутри сцены) Преобразование изображения должно быть описано отдельной моделью для каждой наблюдаемой поверхности

25 Структурные элементы 1го изображения l`1≥ l1 d1 l1 d2 l2 3 2 1 Двумерное структурное сопоставление Структурные элементы 2го изображения Трехмерное структурное описание d`1≥ d1 Переход от двумерных к трехмерным структурным описаниям В современных условиях стали доступны достаточно точные и недорогие датчики трехмерных видеоданных !

26 , . y x 0 x1 x2 y1 y2 d a y x z 0 x1 x2 y2 y1 z1 z2 d' b' Переход от двумерных к трехмерным описаниям длины и ориентации прямой линии a' d

27 y x z 0 X1 X2 d (x1, y1, z1)T (x2, y2, z2)T (x3, y3, z3)T (x4, y4, z4)T Вычисление углов между контурными линиями в трехмерном пространстве : Величины d углов, образованных не скрещивающимися контурными линиями, вычисляются следующим образом: Для не скрещивающихся сегментов прямых линий:

28 Переход от двумерной модели аффинного преобразования к трехмерной в задаче структурного сопоставления изображений Вектор преобразованных координат Параметры преобразования Вектор преобразуемых координат

29 Переход от двумерной модели проективного преобразования к трехмерной в задаче структурного сопоставления изображений Вектор преобразованных координат Вектор преобразуемых координат Параметры преобразования

30 Пример модельных видеоданных, использованных в задаче трехмерного структурного сопоставления Смоделированное полутоновое изображение трехмерной сцены Смоделированная карта глубины

31 Трехмерные видеоданные, реально полученные сенсором Kinect в помещении с разных ракурсов Карты глубины Двумерные изображения Контуры, выделенные в двумерных изображениях

32 Сравнительный анализ точности регистрации изображений при использовании алгоритмов их двумерного и трехмерного сопоставления Двумерное структурное сопоставление (на заднем плане наблюдается существенное пространственное рассогласование) Трехмерное структурное сопоставление (удовлетворительная точность регистрации на переднем и заднем плане)

33 Сравнение точности регистрации изображений при корректных и некорректных действиях со скрещивающимися прямыми Лучшие результаты сопоставления и регистрации получены когда все контурные углы построены из не скрещивающихся прямых Худшие результаты сопоставления и регистрации получены когда некоторые контурные углы построены из скрещивающихся прямых

34 Замена трехмерной аффинной на трехмерную проективную модель взаимного преобразования изображений трехмерных сцен Вектор преобразованных координат Вектор преобразуемых координат Параметры преобразования

35 Пара сопоставляемых изображений трехмерной сцены Улучшение точности сопоставления контуров с применением проективной модели преобразования Проективная модель преобразования Аффинная модель преобразования

36 Чтобы убедиться в этом, необходимы подходящие наборы трехмерных видеоданных, полученных на открытом воздухе ! Отличные возможности обобщения, полученные ранее для нашего механизма двумерного сопоставления, должны сохраниться в случае трехмерного сопоставления ?

37 Выводы Использование разработанного объектно-независимого подхода к контурному структурному анализу и заимствование механизмов человеческого зрительного восприятия сделало сопоставление изображений реального окружения инвариантным к естественным изменениям условий наблюдения Результаты работы алгоритма трехмерного структурного сопоставления заметно лучше результатов двумерного сопоставления. Это подтверждает корректность используемых математических моделей. Использование модели трехмерного проективного преобразования вместо модель трехмерного аффинного преобразования увеличило точность структурного сопоставления. Наконец, необходимо перейти к анализу трехмерных видеоданных, реально полученных на открытом воздухе.

38 Благодарю за внимание