Обнаружение препятствий перед наземным мобильным объектом в бортовой

Обнаружение препятствий перед наземным мобильным объектом в бортовой системе технического стерео зрения реального времени Выголов О. В. , Желтов С. Ю. , Визильтер Ю. В. Федеральное государственное унитарное предприятие Государственный научно-исследовательский институт Авиационных Систем (ФГУП Гос. НИИАС)

Актуальность проблемы Обнаружение препятствий – одна из ключевых задач автономного управления наземными мобильными объектами www. mobileye. com www. nasa. gov www. robotfrontier. com

Информация о препятствиях Анализ Самопозиционирование окружающего пространства Планирование маршрута движения

Подход к решению задачи Анализ стереоскопических видео изображений Преимущество – возможность отличать 3 D-объекты от объектов, принадлежащих поверхности: блики, тени, спец. рисунок

Дифференциальное ортофото • Проекция стереоизображений на 3 D-поверхность • Пиксел ортофото (i, j)→(X, Y, Z): X=i*Sx, Y=j*Sy, Z=Z(X, Y) (1) • Яркость пиксела ортофото – проектирование (X, Y, Z) на исходное изображение Правое изображение стереопары Фрагмент левого и правого ортофото Разность левого и правого ортофото

Радиальное ортофото • Полярная система координат ( , R): где R – расстояние от фокальной плоскости камеры до 3 D точки, X, Y – координаты точки во внешней системе координат, - угол между проекциями на горизонтальную плоскость оптической оси камеры и линии, соединяющей оптический центр с 3 D точкой, Xs , Ys – координаты оптического центра камеры во внешней системе координат. • Пиксел ортофото ( i, Ri) →(Xi, Yi, Zi): Xi=Ri*cos( i)+ Xs, Yi=Ri*sin( i)+ Ys, Zi=Z(Xi, Yi) (2)

Преимущества радиального ортофото: • Равномерное распределение яркости по дальности • Границы объекта не искажаются как на прямоугольном ортофото • Характерный признак объекта - структура простой формы: совокупность вертикальных границ контрастности Левое изображение Левое радиальное ортофото Правое изображение Правое радиальное ортофото

Обнаружение вертикальных границ контрастности (контуров) объекта Формирование признакового изображения • Получение краевых точек - свертка радиального ортофото с оператором вертикального края • Атрибуты контуров - величина и знак частной производной функции яркости в горизонтальном направлении Ортофото изображение левого снимка стереопары Признаковое изображение

Поиск n концевых точек контуров Вычисление вертикальной проекции яркости признакового изображения: X (3) V(x) – вертикальная проекция яркости, I(x, y) – яркость пиксела в точке (x, y), DX, DY – ширина и высота изображения. Y V(x) • Контура - области характерной формы на проекции (3) • Мера близости формы проекции к искомой модели: x 1 H 0 (4) HV 1 x 2 X HV 2 KV Th Х

Вычисление горизонтальной проекций яркости признакового изображения в области контура: n (5) • Мера близости формы проекции к искомой модели: (6) X Th V(y) H 0 Y Hh 1 Hh 2 Y V(x) x 1 x 2 X Y KH

Глобальное стереоотождествление контуров n n n (7) Левая проекция яркости Правая проекция яркости n Цель – снижение вероятности ложного срабатывания Решение - максимизация суммарной меры сходства контуров левого и правого изображений Оценка меры сходства интервалов левой и правой вертикальной проекции яркости Поиск на графе стереосоответствия глобального оптимального пути – метод динамического программирования Стоимостная функция - корреляция интервалов проекций яркости На каждом шаге решение принимается исходя из критерия: Отождествление интервалов вертикальных проекций яркости признакового изображения – стоимость вершины m, – стоимость пути от начальной вершины до вершины ni

Преимущества метода стереоотождествления: Проблема: частичное загораживание объектов Левое изображение Правое изображение Формирование признаковых изображений • Решение: каждый контур отождествляется отдельно • Информация между контурами также учитывается Вертикальная проекция яркости Объект 1 Объект 2 Вертикальная проекция яркости Путь, задающий стереосоответствие

Проблема: ложное стерео отождествление в случае областей периодической структуры • Решение: В периодических структурах учитывается число контуров • Дополнительно: Возможность отождествления слабоконтрастных границ

Cистема обнаружения препятствий (СОП) на пути движения транспортного средства по скоростным автомагистралям

Технические параметры Объект-цель: • Высота – не менее 10 см. над уровнем дороги • Ширина – от 20 см. до 1. 5. м. • Дальность – от 5 до 100 м. • Скорость – от 0 до 100 км. /ч. • Обнаружение в собственной полосе движения ТС CCD Камеры 1. 13 m

Общая структура программноалгоритмического обеспечения СОП

Алгоритм обнаружения линий дорожной разметки Глава № 7

Модифицированное преобразование Hough - Парное голосование горизонтальных отрезков - Параметризация (x. Top, x. Bottom) - Пучку параллельных прямых в 3 D-пространстве, лежащих в одной плоскости и на изображении сходящихся в одной точке, соответствует множество точек, лежащих на одной прямой.

Выделение линий разметки. Этап стерео прослеживания Показаны зоны итеративного поиска линии разметки на этапе прослеживания.

Структура алгоритма обнаружения препятствий

Алгоритм построения радиального ортофото • 3 D модель подстилающей поверхности (9) Z(X, Y) = a 0 + a 1 X + a 2 Y + a 3 Y 2 • Кусочно-билинейная трансформация исходных изображений x=x(u, v), y=y(u, v), (10) x=B*u+C*u*v+E*v+F, (11) y=H*u+K*u*v+M*v+N. ( x 1 , y 1 ) ( x 3 , y 3 ) ( x 2 , y 2 ) Исходное изображение ( x 4 , y 4 ) ( u 1 , v 1 ) ( u 2 , v 1 ) (u 1 , v 2 ) ( u 2 , v 2 ) Радиальное ортофото

Алгоритм стереоотождествления контуров Предложен оригинальный алгоритм формирования области поиска оптимального пути исходя из условия расположения препятствия в собственной полосе движения ТС. Достоинства: • Существенное повышение быстродействия • Удаление контуров, лежащих вне зоны интереса

Динамическая фильтрация контуров объекта n Сопровождение отдельных признаков (контуров), а не объектов в целом • Идентификация измерений. Распределение измерений между сопровождаемыми на текущем такте объектами. • Фильтрация измерений – фильтры Калмановской структуры • Анализ оценок для проверки реальности сопровождаемых объектов: - Удаление источников маломощных и неустойчивых измерений. - Формирование признаков маневрирования объекта. n В результирующей сборке гипотез участвуют контуры: • • информация о которых подтверждена последовательностью кадров динамические атрибуты укладываются в рамки реально возможных перемещений исследуемых объектов

Характеристики алгоритма обнаружения препятствий • Вероятность обнаружения – 0. 97 • Вероятность ложного срабатывания – 0. 02 • Быстродействие – 27 fps • Конфигурация - Pentium III 500 MHz, 128 MB RAM • Кадр стереопары - 640 х480 пикс. • Размер ортофото - 256 х128 пикс.

Примеры работы системы