Гиперспектральная система зрения для мобильных роботов Овчинников А

Гиперспектральная система зрения для мобильных роботов Овчинников А. М. , Платонов А. К. Институт прикладной математики им. М. В. Келдыша РАН

Photogrammetric Engineering and Remote Sensing, Vol. 63, No. 7, July 1997 The Evolution of Landsat Data Analysis David Landgrebe 1958 г. NASA, мониторинг Земли, 1960 г. «Спектральная сигнатура» , 1966 г 0, 32. . 14 мк 1971 г неурожай, 3 х3, 7, 9, 17 x 6 b аналоговых каналов, видекон на борту, 1972 г Landsat ! 1973 спасение Great Lakes, 1974 г. LACIE 6% урожай СССР, » Зерновой календарь»

Классификация наиболее распространенных методов дистанционного зондирования поверхности Земли (ДЗПЗ) Мобильный

ПОНЯТИЕ ГИПЕРСПЕКТРОСКОПИИ • Гиперспектроскопия – метод спектрального анализа, позволяющий исследовать видимую структуру объектов с одновременным пространственным и спектральным разрешением получать спектральные характеристики всего массива видимых точек исследуемой поверхности ( “спектральный гиперкуб” - зависимость F(x, y, λ)). «Гиперкуб» Зависимость коэффициента отражения от длины волны Предполагается – однозначное соответствие между отраженным сигналом и составом отражающей поверхности

Принцип формирования гиперспектрального изображения Движение носителя происходит по оси Y По оси X регистрируется пространственная координата По оси λ регистрируется спектральная координата

Структурная схема АПКДЗПЗ

Оптическая схема гиперспектрометра

Выбор компонент гиперспектрометра Камера SDU-259

Спектральная восприимчивость матрицы

Матрица SONY CCD ICX 259 AL Оптический формат (дюйм) Размер ПЗС (мм) 1/3 4. 8 x 3. 73 Размер пиксела (мкм) 6. 5 x 6. 25 Разрешение 744 x 576 Максимальная (кадр/с) частота съемки 25 Пределы установки экспозиции 5 мкс - 4. 5 мин Пределы установки запуска съемки 40 мс - 18 мин периода Динамический диапазон (д. Б) 60 Разрядность АЦП (бит) 12 Напряжение питания (В) 5 Потребляемый ток (не более, А) Режим сложения (биннинг) пикселов Рабочий режим: 0. 4 Спящий режим: 0. 001 2 х2, 4 х4

Выбор компонент гиперспектрометра Основные характеристики КМОП-приемника (LUPA-4000) фирмы CYPRESS Размеры 24, 6× 24, 6 мм Число пикселей 2048× 2048 Размеры пиксела 12× 12 мкм Частота считывания пикселов 66 МГц Максимальная скорость считывания всего кадра 15 кадр/с Отношение сигнал/шум 2000: 1 Область спектра 400 -1000 нм

Основные узлы макета гиперспектрометра Оптическая часть Одноплатный компьютер Цифровая камера Долговременная память

Регулируемая оптическая щель

Проблема характеристик спектрального разрешения локального гиперспектрометра

Компановка компонент гиперспектрометра Размеры: Длина: 30 см, Ширина: 35 см, Высота: 12 см Масса: около 3 кг Энергопотребление: около 70 Вт

Робот

Подсистемы комплекса программ для обработки данных Получение видеоинформации спектральных в видимом данных диапазон камерой гиперспектрометром обзора Первичная обработка видеоматериалов Преобразование пространственной и спектральной информации в структуру данных гиперкуба Видеорезультаты фотографии , видео ( ) База эталонов Обработка спектральных данных

Проблема масштабирования и привязки слоёв гиперкуба данных

Проблема спектральной дисторсии

Спектральное разрешение, полученное с помощью разработанного программного комплекса

Тематическая обработка данных

Тематическая обработка данных а) Спектральная функция f, характеризуемая тремя значениями спектральных каналов б) Ее проекция на подпространство реперных компонент f – векторное представление спектральной функции элемента изображения; Si – векторное представление реперных компонент; βi – вклады реперных компонент; M – число реперных компонент; e - вектор ошибки, обусловленный шумами прибора и неизвестными веществами; 27

Достигнутые параметры • Соотношение сигнал-шум S/N = 40 • Спектральное разрешение: 6, 2 nm • Число каналов - 35

Эксперименты

Белорусский государственный университет http: //akoct 2009. narod. ru/ppt. ppt Микрозеркальная матрица Устройство, содержащее 1024× 768 микрозеркал с размерами 10, 8× 10, 8 мкм каждое, которые могут независимо переключать в два положения, вращаясь вокруг своих диагоналей на углы ± 12° относительно нормали к плоскости матрицы Преимущества по сравнению с другими приборами мультиспектроскопии (ПМС) - высокое пространственное и временное разрешение (скорость переключения ≈30 мкс) - малые потери света и высокий фактор заполнения (>91%) - практическое отсутствие спектральной и поляризационной селективности (в отличие от LCD).

Оптическая схема микрозеркального гиперспектрометра Оптимизация с целью уменьшения аберраций, связанных с непараксиальным прохождением через оптические узлы, и достижения достаточно высокой светосилы. 1 – микрозеркальная матрица 2, 4 – конфигурационные зеркала 3 – детектор спектрального канала (LUPA) 5 – камерное зеркало 6 – дифракционная решетка 7 – коллиматорное зеркало 8 – светосильный проекционный объектив с увеличением β=2 9, 10 – детектор и объектив наблюдательного канала, сделанного по рефрактивной схеме http: //akoct 2009. narod. ru/ppt. ppt

ИНТЕРАКТИВНАЯ МУЛЬТИОБЪЕКТНАЯ ГИПЕРСПЕКТРОСКОПИЯ • Гинтеракивная мультиобъектная иперспектроскопия – метод спектрального анализа, позволяющий получать спектральные характеристики выбираемой части массива точек исследуемой поверхности (столбец спектрального гиперкуба зависимость I(x, y, λ)). http: //akoct 2009. narod. ru/ppt. ppt

Торговая мехатроника

Выводы • У локальной гиперспектроскопии есть безусловное будущее, как дистанционного средства информационного обеспечения мехатронных автоматов. • Однако для достижения этого светлого будущего необходимо выполнить большой объём работ в следующих направлениях: – построение спектральных сигнатур материалов, – разработка способов комплексирования сигналов, – создание средств интерактивной спектроскопии, – разработка алгоритмов распознавания среды, – создание комплекса программных средств всего этого !