Проблемы технического зрения в современных авиационных системах Генеральный директор ФГУП «Гос. НИИАС» , д. т. н. , член-корреспондент РАН Желтов С. Ю. Нач. лаб. ФГУП «Гос. НИИАС» , д. ф. -м. н. , с. н. с. Визильтер Ю. В. ИКИ РАН, 16 марта 2010 г.
Технологии машинного зрения в авиационных системах оборонного назначения 2
Общая структура систем C 4 I ( система командования, управления связи, вычислительной техники и разведки) космические и авиационные платформы получения данных планирование операций, моделирование, навигация, управление движением системы, данные, службы/сети географическая поддержка связанные с изображениями и географическими координатами разведка, управление, целеуказание наземная разведка С 4 I – «нервная система» военной структуры с целью эффективного использования «мускульной силы» военной структуры, т. е. оружия, платформ носителей и войск
Комплексирование информации от датчиков различной физической природы Космоснимки ИК-данные Радары Авиаснимки Видео Лазерные системы
Информационные потоки ЛА начала XXI века 2, 5 млрд. бит/с 500 Мбит/с Оптоэлектронные и тепловизионные датчики Датчики РЛС и РЭП 100 Мбит/с Датчики ИС и госопознавания Переключательная сеть 1800 Мбит/с Интегрированные ВС обработки сигналов ИУП ВС верхнего уровня (СЕИ, ЭС, БЗ) Самолетные системы 25 млрд. оп/с + 19 млрд. пт. /с, 170 Мбайт 2 млрд. оп. /с, 45 Мбайт 150 МБ/с
Функциональные задачи самолетов XXI века в новых условиях Обеспечение быстрой и помехоустойчивой передачи объемных данных Обеспечение высоко оперативного целеуказания Обеспечение высокой точности навигационных систем Подготовка данных для АСП Обеспечение сверх большой дальности боевого применения Обеспечение всепогодности выполнения боевой задачи Обеспечение малой заметности Обеспечение высокой точности самонаведения
Авиационные системы, требующие анализа изображений Системы разведки и целеуказания на базе космических, авиационных и БЛА носителей; Системы подготовки полётных заданий; Высокоточная геопространственная привязка; Высокоточное оружие; Перспективные робототехнические комплексы.
Главные направления развития технического зрения в системах управления l Интеллектуализация систем управления, решение новых целевых задач l Улучшение характеристик точности и надёжности Технические предпосылки прогресса l l Совершенствование оборудования для получения цифровых изображений Прогресс в области аппаратных средств обработки изображений Датчики изображения (тенденции развития) l l Высокое разрешение Высокая частота кадров Малый размер Интеллектуальные камеры
Высокое разрешение (CAMELIA 8 M) l l l Высокое разрешение (до 8 Megapixels) CCD Сенсор большого формата с прогрессивной разверткой Высокая чувствительность и цветопередача 3 x 12 bit захват и оцифровка Высокое отношение с/ш (>63 d. B) Высокая частота кадров (DALSA DS-4 x-65 K 955) l l DS-4 x-65 K 955 Поток данных 100 MHz, размер пиксела 10 mkm, частота 955 fps, размер изображения 260 x 260 пикселов, 4 выхода Высокая разрешение + высокая частота l l DS-4 x-06 M 18 Поток данных 160 MHz, размер пиксела 12 mkm, частота 18 fps, размер изображения 3072 x 2048 пикселов, 4 выхода
Предельно большие матрицы Philips, размер изображения 9216 х7168 (для сравнения- человеческий глаз – 108 колбочек) Миниатюризация датчиков разрешение более 470 -ТВЛ Размер 26 mm (L) x 12 mm (D) Интеллектуальные камеры (INCA 6+, 250000 pps) l l CCD Сенсор высокого разрешения (Kodak Mega. Plus series) 16 мегапиксел и больше Интегрированный высокопроизводительный компьютер: 64 MB RAMl Flexible PCMCIA Дистанционное управление вспышкой TTL
Фреймграбберы и специализированные средства обработки изображений l l DT 2867 фирмы DATATRANSLATION интегрированный фреймграббер и фреймпроцессор на одной плате Обеспечивает основный функции обработки в реальном времени, Такие как: усреднение, ALU, гистограммы, 3 х3 морфологические операторы и др. l Сигнальные процессоры (TEXAS INSTRUMENTS и др. ) l ПЛИСы l специальные архитектуры для параллельной обработки изображений (пример: специализированная платформа MVC 150/40 фирмы IMAGING TECHNOLOGIES).
Рост быстродействия процессоров 100 ПГц 10 ПГц Быстродействие процессора 1 ПГц 100 ТГц Предел кремниевой технологии 10 ТГц 100 ГГц 10 ГГц Pentium IV Pentium III Pentium 1 ГГц 100 МГц Intel 486 DX Intel 386 DX 10 МГц 100 КГц 1970 1975 1980 1985 1990 1995 2000 2005 2010 2015 2020 2025
Вывод: основной сдерживающий фактор интеллектуализации систем управления с использованием изображений -отставание в разработке алгоритмического обеспечения
Основные технологические проблемы, требующие разработки новых алгоритмов машинного зрения для систем управления подвижными объектами. l самокалибровка датчиков (построение их подробных математических моделей) l самоориентация и самопозиционирование; l обнаружение и распознавание объектов; l обнаружение изменений в сцене наблюдения; l слежение за объектами; l комплексирование изображений различных спектральных диапазонов; l реконструкция поверхностей и обнаружение трехмерных структур, высокоточные измерения элементов сцены.
Самокалибровка – установление точной метрической связи между датчиком и сценой Тестовая сцена с кодированными метками l Вектор оцениваемых параметров l l l Параметры внешнего ориентирования Параметры внутреннего ориентирования Координаты тестовой сцены Считываемые номера меток Модель камеры l Ограничение на заданные опорные расстояния
Автоматическая самоориентация датчика в сцене Необходима пространственная модель стационарной части сцены, что требует: l Устойчивого (робастного) обнаружения элементов характерных черт сцены наблюдения l 3 D анализа видимой части сцены l Установления координатной системы [Tommaselli, Antonio, 2000]
Обнаружение объектов в сцене наблюдения-ключевая задача машинного зрения Основное требование к разработке новых алгоритмов обнаружения Увеличение робастности (устойчивости) алгоритмов. Основные факторы, влияющие на робастность (устойчивость) обнаружения в динамических ситуациях. l шумовые эффекты; l сложный текстурированный фон; l эффекты загораживания; l искажающие оптические эффекты; l эффекты резкой смены освещения; l разнообразие или изменчивость самих объектов обнаружения; l эффекты изменения среды между сенсорами и объектами наблюдения; l несинхронная запись и обработка данных; сбои в компьютерных программах обработки.
Недостаточность классических схем обнаружения CURRENT l яркостная сегментация и признаковое описание; l корреляционное обнаружение не обладают нужным запасом робастности MBTs Cross track APCs SPGs ADUs Down range
Исследование аномальных ошибок корреляционного обнаружения Корреляция: а в отсутствие шума; б низкий уровень шума; в средний уровень шума; г высокий уровень шума. Случай одного объекта Pextr (h, x, r) – плотность вероятности распределения высоты абсолютного максимума гауссовского процесса х с корреляционной функцией r(u, v). Вероятность аномальных ошибок перепутывания сигнального отклика с локальным шумовым выбросом корреляционного поля: é (b b )2 ù¥ 1 0 P = ò exp ê ú ò P (h, x, r)dhdb extr a 2 2π σ ê 2σ úb -¥ ë û +¥ b – величина отклика объекта, b 0 = R(0, 0) - максимальное значение автокорреляции объекта, 2 – дисперсия случайной составляющей.
Основной современный подход к задаче обнаружения и распознавания – обнаружение и распознавание объектов, основанное на их структурированных яркостно-геометрических моделях. 1. 2. Составление яркостно-геометрической конструкции (модели объекта) – неформальный элемент алгоритмизации Поиск и локализация объекта распознавания – формальный элемент алгоритмизации Схема модельного подхода к обнаружению объектов сцена сенсоры изображения Неформальная структурированная яркостно-геометрическая модель объекта сегментация (выделение) характерных черт робастные алгоритмы голосования или сопоставления (matching)
Характерные элементы (черты), используемые в иерархических алгоритмах обнаружения Точки Углы, соединения линий, точки высокой кривизны градиента яркости, центр тяжести области, концы линий, точки экстремальных значений признаков Линии Прямые или криволинейные структуры, границы областей ХЧ Области Структуры Сегментированные области, специфические формы (эллипсы, прямоугольники и т. д. ) Комбинации ХЧ
Свойства (атрибуты) характерных черт Характерные черты на изображении имеют следующие виды атрибутов: 1. Положение: Концы отрезка, центр тяжести области, вершины многоугольников; 2. Геометрические атрибуты: Ориентация, длина, кривизна, площадь, периметр, ширина линии, минимальный и максимальный диаметр области, оси симметрии, число и положение особых точек, показатель компактности; 3. Радиометрические атрибуты: Контраст, статистика распределения яркости, знак и величина края, автокорреляция; 4. Текстурные атрибуты: Матрица смежности, показатель однородности, энергия, энтропия, статистика градиентов текстуры, результаты применения текстурных фильтров, моменты; 5. Топологические атрибуты: Связность, соседство, общие точки, пересечение, параллельность, перекрытие, включение; 6. Цветовые/многозональные атрибуты: вектор атрибутов для каждого канала; 7. Динамические атрибуты: атрибуты статических и движущихся объектов; 8. Временные атрибуты: функции изменения атрибутов со временем.
Примеры атрибутов характерных черт я и мац р о нф яи на ход Ис ‘. ’ - близость; ‘!’ - коллинеарность; ‘=‘ - параллельность; ‘L’- перпендикулярность; ‘<‘ – угол. Выбранный отрезок Другие линии
Критерии выбора ХЧ и их атрибутов для построения алгоритмов обнаружения 1. Присутствие/плотность: наличие данных ХЧ на всех используемых изображениях, достаточная плотность ХЧ для покрытия интересующего района; 2. Редкость/Уникальность: редкость конкретной ХЧ на изображении, уникальность ХЧ в окрестности; 3. Инвариантность/Устойчивость: робастность по отношению к геометрическим и радиометрическим искажениям, нечувствительность к шуму; 4. Локализация: возможность точной локализации; 5. Интерпретация: возможность быстрого распознавания и интерпретации; 6. Скорость: время выделения данного класса ХЧ из исходного изображения.
Обобщённый метод объединения свидетельств – базовый подход к созданию алгоритмов обнаружения. l строится экспертная вероятностная модель, описывающая связь между особенностями изображения (характерными чертами) и гипотезой о принадлежности объекта заданной яркостногеометрической модели l вероятностная модель используется непосредственно в ходе низкоуровневого анализа изображения l каждая обнаруженная особенность изображения (ХЧ) рассматривается как событие, свидетельствующее в пользу гипотезы (ряда гипотез) о наличии и характеристиках искомого объекта (голосование в специальном аккумуляторном пространстве). Способы повышения вычислительной эффективности. l независимое аккумулирование свидетельств l декомпозиция вектора параметров модели регистрации S( )=S'( ') S"( ") l редукция вектора параметров модели регистрации S( ) S'( ') l загрубление модели объекта M M' M
Пример автоматического обнаружения зданий с летательного аппарата исходное изображение
Пример автоматического обнаружения зданий с летательного аппарата Контурный препарат
Пример автоматического обнаружения зданий с летательного аппарата Выделение характерных черт - областей поддержки линеаментов
Пример автоматического обнаружения зданий с летательного аппарата Выделение первичных линеаментов
Пример автоматического обнаружения зданий с летательного аппарата Выделение крупных и/или параллельных линеаментов
Пример автоматического обнаружения зданий с летательного аппарата Фильтрация по размеру
Пример автоматического обнаружения зданий с летательного аппарата Поиск П-образности
Пример автоматического обнаружения зданий с летательного аппарата Окончательная 2 D-модель
Пример автоматического обнаружения зданий с летательного аппарата Межкадровое соответствие
Окончательная модель
Пример работы алгоритма наведения
Планирование авиационной операции • Планирование за время < 15 мин с процессорной системой на базе Intel • Прокладка маршрута • Интеграция с системой АСУ ВВС Основа: 3 -х мерное изображение местности с точной координатной привязкой целей
Реконструкция поверхностей и обнаружение трехмерных структур, высокоточные измерения элементов сцены. • Основные применения - создание высокоточных метрических геопространственных данных для навигации и наведения ЛА • Точная координатная привязка цели • Использование стереоскопических демаскирующих факторов для повышения вероятностей распознавания объектов
Высокоточное стереоотождествление – ключевая процедура реконструкции поверхности и обнаружения трёхмерных структур по стереопаре изображений. Методы стереосоответствия (matching) l площадные l на основе характерных черт l комбинированные Необходимые свойства алгоритма 1. Скорость 1000 точек/секунду и больше 2. Субпиксельность до 1/20 -1/50 пиксела
Иерархическое субпиксельное стереоотождествление 1 Выбор информативных участков эталона для стереоотождествления 2 Стереоотождествление с пиксельной точностью по пирамиде субизображений 3 Стереоотождествление с субпиксельной точностью (субпиксельное уточнение) Особенности: 1. Использование информативности окрестности точки эталона. 2. При помощи специальных критериев проверяется, является ли данный фрагмент информативным. Если нет, то можно ли изменить размер фрагмента так, чтобы он стал информативным. 2. Обобщение на любую геометрическую форму эталона. 3. Обобщение на априорную значимость точек эталона: следствиевозможность отождествления отдельных точек, линий, областей.
Пирамидальная обработка Поиск в реальном времени по пирамидальной структуре с использованием адаптивного субпиксельного шести-параметрического коррелятора. Пирамида ортоизображений с разным разрешением Правильная локализация
Метод субпиксельного уточнения x 1 = x 1(x, y, p) y 1 = y 1(x, y, p) где р-вектор параметров искажений Функция взаимной корреляции k(p) = å f(x, y)g(x 1, y 1) Nf g (x, y) ( å f 2 (x, y) Nf 2 )1/2 ( å g 2 (x 1, y 1) N g 2 )1/2 (x, y)
Технология получения ортофотоизображения Ортофотоплан снимок, привязанный к 3 -D поверхности, содержит геометрические искажения Ортотрансформирование - Цифровая 3 D-модель подстилающей поверхности, полученная на предыдущем этапе из автоматического решения задачи стереосоответствия
Комплексирование данных на основе ортофотопланов Накопление и уточнение информации Изображения с космических и авиа носителей Идентификация цели и точная привязка Изображения перспективных датчиков (ИК, ММ и др. ) Данные наземных исследований РЭР, РТР Селекция движущихся целей ГИС Точные координаты цели Обработанная информация для принятия решений
Методы обработки динамических последовательностей изображений l Использование межкадровой обработки, оптических потоков l устранение движений фоновой части сцены l оптимальная фильтрация геометрии зон интересов (ROI) для обнаружения объектов в последовательности кадров l широкое использование Калмановской фильтрации
Комплексирование ДРФП
Экспериментальные съемки ДРФП Регистрации движущегося объекта на малой дальности (150 м) Регистрации объекта на средней дальности (300… 500 м) Регистрации объекта на большой дальности (2000 м)
Экспериментальные съемки ДРФП
Структура систем обработки информации ДРФП Уровни анализа данных Символьный уровень Уровень свидетельств Признаковый уровень Уровень измерений
Структура систем обработки информации ДРФП Уровни организации данных Данные, структурированные во времени 3 D-структурированные данные 2 D-структурированные данные Растровые данные
Типы данных для многозональной платформы обработки данных Структура/ Элементы Растровые данные 2 Dструктурированные 3 Dструктурированные Динамические данные Измерения Изображение Сегментированное изображение Сегментированное пространство трехмерной сцены Динамическая последовательность сегментированных пространственных данных Признаки Признаковое изображение (каждый пиксел вектор признаков) Список 2 D-областей, характеризуемых векторами признаков Список 3 D-объектов, характеризуемых векторами признаков Список движущихся объектов с признаками и параметрами движения Soft-векторы Soft-изображение (каждый пиксел soft-вектор) Список 2 D-областей, характеризуемых softвекторами Список 3 D-объектов, характеризуемых soft -векторами Список движущихся объектов с softвекторами и параметрами движения Символы Cимвольное изображение (пикселы представляют символьные атрибуты) Список 2 D-областей (каждая область имеет символьные атрибуты) Список 3 D-объектов (каждый объект имеет символьные атрибуты) Список движущихся объектов с символьными атрибутами и параметрами движения
Комплексирование на уровне объектов Параметры обнаружения: • k 1 - максимальная корреляция объекта с эталонами класса 1; • k 2 - максимальная корреляция объекта с эталонами класса 2; • Sf(1) - нормированная достоверность отнесения объекта к классу 1; • Sf(2) - нормированная достоверность отнесения объекта к классу 2; • Sf( ) - достоверность того, что объект не относится ни к классу 1, ни к классу 2. Пример комплексирования: Диапазон k 1 k 2 Sf(1) Sf(2) Sf( ) ТВ 0, 303 0, 345 0, 161 0, 184 0, 655 ИК 0, 469 0, 549 0, 253 0, 296 0, 451 ТВ+ИК 0, 568 0, 674 0, 308 0, 366 0, 326
Архитектура программного обеспечения для анализа изображений и ДРФП
Этапы разработки системы обработки изображений ДРФП • предварительное исследование свойств типовых изображений; • анализ применимости известных методов обработки изображений в данной конкретной задаче; • разработка новых алгоритмов; • первичная программная реализация новых алгоритмов и качественная проверка их эффективности; • окончательная программная или программноаппаратная реализация алгоритмов.
Фрейм-ориентированное программирование (ФОП) • фреймы - объекты, объединяющие данные, процедуры и линки • линки - связи с другими фреймами • схема обработки - сеть фреймов • сообщения распространяются по линкам между фреймами и определяют порядок "запуска" процедур обработки данных
Фреймовое визуальное программирование • создание требуемого числа экземпляров фреймов данных и размещение их в поле рабочего окна фреймов • создание требуемого числа экземпляров фреймов обработки и размещение их в поле рабочего окна фреймов • настройка связей фреймов обработки с фреймами данных
Фреймовый интерфейс пользователя • адаптивная настройка меню, справки и подсказки в зависимости от активного фрейма, активного окна и характера выполняемых действий; • адаптивная настройка режима ввода/вывода интерактивной векторной графической информации (маркеры, линии, кривые, прямоугольники и т. п. ) во всех необходимых окнах одновременно; • проблемно-ориентированная навигация в многооконном интерфейсе.
Пример интерфейса системы обработки информации ДРФП (1995)
Системы улучшенного видения для самолетов гражданской авиации 59
Функции EVS 1. Системы улучшенной визуализации (Enhanced Vision System - EVS). Формируют улучшенное изображение внешней среды по изображениям с ТВ и ИК каналов и отображают его на ИЛС или МФИ. 2. Системы синтезированного видения (Synthetic Vision System - SVS). Дополнительно визуализируют данные о рельефе, используют БД рельефа местности, аэропортов и объектов ВПП. 3. Системы автоматизированного видения (Automatic Vision System - AVS). Дополнительно автоматизируют обнаружение ВПП при заходе на посадку и посадке, а также обнаружение препятствий при рулежке ЛА на ВПП.
Устройства визуализации • HUD/EVS – визуализация на ИЛС. Для крупных авиалайнеров. Airbus A 300, A 310 (HUD/EVS от компании Kollsman Inc. ), Global Express компании Bombardier (HUD/EVS от компании CMC Electronics). • MFD/EVS – визуализация на МФИ. Для широкого класса ЛА. Например, система компании Max-Viz Inc сертифицирована для установки как на авиалайнерах класса Boeing 767, так и на небольших вертолетах Bell 206.
Стандарты на разработку EVS Регулирующие организации • Федеральное управление гражданской авиации США (FAA - http: //www. faa. gov) • Комиссия по радиотехническим средствам для аэронавтики (Radio Technical Commission for Aeronautics – RTCA http: //www. rtca. org/) • Европейская организация по оборудованию для гражданской авиации (European Organisation for Civil Aviation Equipment – EUROCAE http: //www. eurocae. org/)
Стандарты на разработку EVS Электронное оборудование RTCA DO-254 - Design Assurance Guidance for Airborne Electronic Hardware Программное обеспечение RTCA DO-178 B - software Considerations in Airborne Systems and Equipment Certification. Требования по охране окружающей среды RTCA DO-160 - Environmental Conditions and Test Procedures for Airborne Equipment.
Стандарты на разработку EVS Данные по аэропортам, рельефу и препятствиям RTCA DO-200 A / EUROCAE ED-76 – “Standards for Processing Aeronautical Data”. RTCA DO-276 A / EUROCAE ED-98 A - “User Requirements for Terrain and Obstacle Data”. RTCA DO-272 A / EUROCAE ED-99 A - “User Requirements for Aerodrome Mapping Information”. RTCA DO-291 / EUROCAE ED-119 - “Interchange Standards for Terrain, Obstacle and Aerodrome Mapping Data”. ICAO Annex 15 Amendment 33, mandate to states for 2010 for Area 1 and Area 2 data – Terrain and Obstacle data. Разрешение На 56 км от ВПП данные о подстилающей поверхности: • шаг сетки - 30 угловых секунд, • разрешение данных по высоте - 30 м. На 12 км от ВПП: • шаг сетки — 15 или 6 угловых секунд, • разрешение данных по высоте — 30 м.
EVS первого поколения Kollsman All Weather Window/Night Window • • охлаждаемый ИК-датчик (cooled FLIR), спецвычислитель, дисплей с подогревом, ПО обработки и визуализации изображений. Поле зрения Вес 30 по горизонтали, 22. 5 по вертикали 10 кг. (FLIR - 5. 4 кг. , вычислитель - 3. 6 кг. , дисплей - 1 кг. ) Спектральный диапазон ИК -датчика от 1 до 5 мкм Температурный диапазон от -55 С до +70 С Высотный диапазон до +16, 764 м.
EVS первого поколения Gulfstream Enhanced Vision System • ИК-датчик Kollsman FLIR с сапфировым экраном (специально адаптирован для распознавания ВПП и сигнальных огней в условиях ограниченной видимости). • ИЛС компании Honeywell. • ПО обработки и визуализации изображений.
EVS первого поколения Max-Viz EVS 2500, EVS 1000 • Длинноволновой ИК-датчик – для формирования изображений рельефа и потенциальных препятствий • Коротковолновой ИК-датчик – для обнаружения ярких сигнальных огней ВПП. EVS-2500 ИК-датчик Неохлаждаемый, с твердотельным детектором 53° x 40° или 30° x 22. 5° Угол обзора Вес Датчики: 4. 5 кг. ; Вычислитель 2. 26 кг. Размер изображения 256 х256 пикс. Рабочие температуры -55° to +70° C Логика комплексирования данных
EVS первого поколения Rockwell Collins EVS • ИК изображения внешней среды выводятся на дисплей навигационной системы на лобовом стекле HGS®-4000.
EVS первого поколения 1. Большинство представленных на рынке сертифицированных коммерческих систем EVS представляют собой простые неинтеллектуальные системы «датчик-дисплей» , обеспечивающие передачу на индикатор в кабине изображения, полученного от ИК или ММ датчика. Лишь некоторые системы представляют возможность визуализации синтезированных географических данных (по данным GPS). 2. Задача полноценного комплексирования и отображения данных, одновременно поступающих от ТВ, ИК, ММ – пока не рассматривается и не решается ни в одной из этих систем. 3. Ни в одной из сертифицированныхкоммерческих систем EVS не рассматривается ни задача автоматического выделения препятствий / распознавания объектов из базы, ни задача стыковки EVS с системой автоматического управления ЛА.
EVS следующего поколения Задача: Создание авиационной системы EVS, существенно превосходящей EVS предыдущего поколения по набору функций комплексирования и интеллектуальной обработки видеоданных различной физической природы. Состав EVS: • система технического зрения (СТЗ), выполняющая операции ввода, комплексирования и обработки многоспектральной видеоинформации; • система компьютерной визуализации (СКВ), непосредственно формирующая и представляющая пилоту графические образы закабинной обстановки.
Назначение и функции СТЗ Назначение: СТЗ предназначена для ввода, обработки и комплексирования многоспектральной видеоинформации с целью формирования в реальном времени растровой и/или векторной оперативной графической информации, представляемой летчику системой улучшенной компьютерной визуализации закабинной обстановки при заходе на посадку, посадке и рулежке по взлетнопосадочной полосе. Функции: • регистрация многоспектральной видеоинформации; • комплексирование многоспектральной видеоинформации; • автоматическая привязка оперативной видеоинформации к априорной информации о закабинной обстановке с учетом имеющихся навигационных данных; • автоматическое обнаружение ВПП и других типовых объектов интереса с использованием или в отстутсвие навигационных данных и априорной информации о закабинной обстановке; • автоматическое обнаружение препятствий на ВПП.
Аппаратное обеспечение СТЗ В состав системы могут входить: • телевизионные видеодатчики (ТВ) различного разрешения; • инфракрасные (ИК) видеодатчики различных диапазонов; • миллиметровые радары (МР); • лазерные локаторы (ЛЛ); • специализированные бортовые вычислители.
Программно-алгоритмическое обеспечение СТЗ • модули управления видеодатчиками различных диапазонов; • модули обмена информацией с другими бортовыми подсистемами; • модуль организации информационного обмена, синхронизации захвата и обработки многоспектральных видеоданных; • модули раздельной поканальной обработки видеоданных; • модуль комплексирования многоспектральной видеоинформации; • модуль автоматической привязки оперативной двумерной видеоинформации к априорной двумерной или трехмерной информации с учетом текущих навигационных данных; • модули автоматического обнаружения ВПП и других типовых объектов интереса в отсутствие навигационных данных и априорной информации; • модуль автоматического обнаружения препятствий на ВПП.
Ключевые моменты разработки СТЗ • Получение экспериментальных регистраций • Создание вспомогательного аппаратного и программного обеспечения • Компьютерное моделирование • Использование специальных технологий разработки и тестирования модульного программно -алгоритмического обеспечения. • Использование на всех этапах разработки реальных видеодатчиков • Интеграция и отработка взаимодействия с другими датчиками и системами на борту ЛА
Примеры Пример видеорегистрации полета • Ролик ФГУП «ПИЦ» Пример моделирования полета • Ролик ФГУП «Гос. НИИАС» Пример синтеза изображения EVS • Ролик ФГУП «ПИЦ»
Проблемы и методы • Улучшение изображений в отдельных каналах • Комплексная обработка многоспектральных изображений • Обнаружение ВПП • Обнаружение препятствий на ВПП
Комплексирование ДРФП
Комплексирование на пиксельном уровне Исходные изображения в видимом и ИК диапазоне
Комплексирование на пиксельном уровне Оценки информативности в скользящем окне 5 x 5 и 31 x 31
Комплексирование на пиксельном уровне Комплексирование на основе оценки информативности
Комплексирование на пиксельном уровне Комплексирование на основе добавления отличий
Комплексирование на пиксельном уровне Использование морфологического подхода Ю. П. Пытьева Описание формы Нормированный коэфициент корреляции Морфологический коэффициент корреляции: 1. 0 km 1 2. Km не зависит от Морфологический проектор преобразования яркости F(f(x, y)). 3. Сравнение форм: > = arccos ku, = arccos km
Обнаружение ВПП
Преобразование Хафа Параметризация и процедура голосования преобразования Хафа
Преобразование Хафа в окне Edge Transform Thresholding Reconstruction
Преобразование Хафа в окне
Преобразование Хафа. Обнаружение ВПП Обнаруженные элементы ВПП Аккумулятор HT
Приниципы обнаружения препятствий на ВПП
Метод сведения задачи 3 -D обнаружения к 2 -D задаче l Обнаружение 3 -D объектов находящихся в наблюдаемой сцене на криволинейной поверхности l Распознавание возможной ситуации: 1) объект лежит на 2) поверхности; 2) объект нарисован на поверхности. 1
Получение модели подстилающей поверхности (пример дорожной сцены) l обнаружение модельных элементов поверхности с помощью алгоритмов компьютерного зрения l вычисление точек соответствия и 3 -D координат
Получение разности ортофото Основной приём – сведение задачи трёхмерного обнаружения к обнаружению двумерных структур с предсказанными свойствами V-структуры являются основным признаком 3 D-объекта Параметры V-структуры могут быть получены из геометрии камер (размеры a, b, угол )
Результат применения 2 D алгоритмов обнаружения Разность ортофото изображений image D(X, Y) Результат фильтрации P(X, Y) = MXY * D(X, Y) Критерий обнаружения - правило решения, основанное на статистике
Архитектура программного обеспечения для анализа ДРФП
Элементы интерфейса системы обработки информации ДРФП (2010)
Элементы интерфейса системы обработки информации ДРФП (2010)
Элементы интерфейса системы обработки информации ДРФП (2010)
Спасибо за внимание!
Скачать презентацию Проблемы технического зрения в современных авиационных системах Генеральный
8aa1bd6e2bd2cbedb901e4280c84e331.ppt