Компьютерная фотоника и видеоинформатика Осень 2011 г

Скачать презентацию Компьютерная фотоника и видеоинформатика Осень 2011 г

Введение_осень_2011.ppt

Количество слайдов: 101

Компьютерная фотоника и видеоинформатика Осень 2011 г.

• Фотоника – Компьютерная фотоника – Видеоинформатика. Что это такое? • Основные направления: – Интерферометрия – Оптическая когерентная томография – Цифровая голография – Обработка изображений – Компьютерное зрение • Рынок компьютерной фотоники • Как зарабатывать деньги? • Чем можно заняться на кафедре?

• Фотон – частица/волна, которая переносит энергию (свет). • Фотоника – наука о фотонах (аналог: электроника – наука об электронах). – генерация излучения (источники); – перенос излучения (материалы, взаимодействие с веществом, эффекты); – регистрация (приемники); – хранение.

Фотоника охватывает область науки и техники, связанную с использованием светового излучения (или потока фотонов) в оптических элементах, устройствах и системах, в которых генерируются, усиливаются, модулируются, распространяются и детектируются оптические сигналы, а также производится их запись или отображение. (The Photonics Dictionary, Laurin Publishing Co inc. , 2004)

Laurin Publishing Co. Inc. , 1982

«Оптоинформатика» - область науки и техники, связанная с исследованием, разработкой, созданием и эксплуатацией новых материалов, технологий, приборов и устройств, направленных на передачу, прием, обработку, хранение и отображение информации на основе оптических технологий.

• Компьютер + фотоника ≠ Компьютерная фотоника • Компьютер: – управление оптическими узлами (лазеры, камеры, усилители, модуляторы и т. д. ) – управление механическими узлами – обработка данных • в т. ч. системы с обратной связью – сетевые технологии • ГРИД • удаленный эксперимент ≠

• Видеоинформатика – информационные технологии (информатика) применительно к изображениям, видео и т. п. – компьютерное зрение • распознавание • управление – обработка изображений – хранение и передача видеоданных • в т. ч. алгоритмы сжатия изображений и видео

• Методы компьютерной фотоники – прежде всего методы фотоники, принципиально невозможные без использования компьютера. • Методы видеоинформатики – методы информатики, учитывающие физические ( «фотонические» ) особенности формирования, передачи, хранения и т. п. изображений.

Магистры Компьютерная фотоника Прикладная информатика Фотоника и оптоинформатика Математика Видеоинформатика Информатика Компьютерная фотоника Физика (фотоника) Бакалавры Компьютерная видеинформатика

– микрорельеф (в т. ч. внутренняя структура) – температурные поля (и др. процессы в плазме) – быстропротекающие процессы – показатель преломления – длины волн – микроперемещения – концентрация примесей в жидкостях и газах – др.

• Компьютерные методы восстановления фазы интерферограмм для контроля микрорельефа. – Волков Михаил Владимирович • Кандидатская диссертация «Анализ параметров двумерных картин интерференционных полос на основе нелинейной адаптивной фильтрации» • 2009 год

• Пример 1: зеркало телескопа (обработка данных ОАО «ЛОМО» )

• Пример 2: линза (обработка данных ОАО «ЛОМО» )

• Пример 3: какая-то поверхность (обработка данных ОАО «ЛОМО» )

• Пример 4: интерферометрия фазового сдвига

• Пример 5: измерение температурного коэффициента линейного расширения Заказчик – ВНИИМ им. Д. И. Менделеева

1991 год – Джеймс Фуджимото предложил термин «ОКТ» - офтальмология - диагностика рака - реставрация ценных предметов искусства - … многое другое

• Разрешающая способность • • Быстродействие Длины волн Глубина проникновения Анализируемые параметры – функциональная ОКТ

• Исследование бумаги (а)

(а) • Исследование масляной живописи (работы совместно с Русским музеем)

(а) (а)

• Основывается на записи и формировании голографических изображений электронными средствами на основе компьютерной реконструкции волн, формирующих изображение. • В принципе не требуется запись голограммы на фотопленке.

Схема записи голограмм

Схема воспроизведения записанного изображения

Цветная цифровая голография in Green Color in Red

Голограмма Восстановленная фаза Восстановленная амплитуда 3 D

Исходное изображение Изображение с внедренным водяным знаком Результат восстановления водяного знака

Исходные изображения Опознаваемое изображение Изображение, извлеченное из базы Результат совмещения Результат структурного совмещения

in USD Billion 600 500 400 300 200 100 0 1998 2002 2004 2006 2008 2010 2013 by M. Kujawińska, Optoinformatics conference-2006

• • 01. Безопасность и противодействие терроризму 02. Живые системы 03. Индустрия наносистем и материалов 04. Информационно-телекоммуникационные системы 05. Перспективные вооружения, военная и специальная техника 06. Рациональное природопользование 07. Транспортные, авиационные и космические системы 08. Энергетика и энергосбережение

01. Базовые и критические военные, специальные и промышленные технологии 02. Биоинформационные технологии 03. Биокаталические, биосентетические и биосенсорные технологии 04. Биомедицинские и ветеренарные технологии жизнеобеспечения и защиты человека и животных 05. Геномные и постгеномные технологии создания лекарственных средств 06. Клеточные технологии 07. Нанотехнологии и наноматериалы 08. Технологии атомной энергетики, ядерного топливного цикла, безопасного обращения с радиоактивными отходами и отработавшим ядерным топливом 09. Технологии биоинженерии 10. Технологии водородной энергетики 11. Технологии механотроники и создания микросистемной техники 12. Технологии мониторинга и прогнозирования состояния атмосферы и гидросферы 13. Технологии новых и возобновляемых источников энергии 14. Технологии обеспечения защиты и жизнедеятельности населения и опасных объектов при угрозах террористических проявлений 15. Технологии обработки, хранения, передачи и защиты информации 16. Технологии оценки ресурсов и прогнозирования состояния литосферы и биосферы 17. Технологии переработки и утилизации техногенных образований и отходов

18. Технологии производства программного обеспечения 19. Технологии производства топлива и энергии из органического сырья 20. Технологии распределенных вычислительных систем 21. Технологии снижения риска и уменьшения последствий природных и техногенных катастроф 22. Технологии создания биосовместимых материалов 23. Технологии создания интеллектуальных систем навигации и управления 24. Технологии создания и обработки композиционных и керамических материалов 25. Технологии создания и обработки кристаллических материалов 26. Технологии создания и обработки полимеров и эластомеров 27. Технологии создания и управления новыми видами транспортных систем 28. Технологии создания мембран и каталических систем 29. Технологии создания новых поколений ракетно-космической, авиационной и морской техники 30. Технологии создания электронной компонентной базы 31. Технологии создания энергосберегающих систем транспортировки, распределения и потребления тепла и электроэнергии 32. Технологии создания энергоэффективных двигателей и движителей для транспортных систем 33. Технологии экологически безопасного ресурсосберегающего производства и переработки сельскохозяйственного сырья и продуктов питания 34. Технологии экологически безопасной разработки месторождений и добычи полезных ископаемых

Фотоника в России

Федеральное агентство по промышленности (РОСПРОМ) Проект второй ФЦП «Развитие ОПК на 2007 -2010 годы и на период до 2015 года» Раздел «Базовые промышленные технологии» Технологии: Ш . . . Ш микрооптики Ш волоконной и градиентной оптики Ш нового поколения твердотельных лазеров Ш нового поколения оптических материалов Ш новой элементной базы фотоники Ш . . . ФОТОНИКА

Медицинские и биотехнологии 1. Медицина будущего 2. Биоиндустрия и биоресурсы — Био. Тех2030 3. Биоэнергетика Информационно-коммуникационные технологии 4. Национальная программная платформа 5. Национальная суперкомпьютерная технологическая платформа Фотоника 6. Инновационные лазерные, оптические и оптоэлектронные технологии — фотоника 7. Развитие российских светодиодных технологий Авиа-космические технологии 8. Авиационная мобильность и авиационные технологии 9. Национальная космическая технологическая платформа 10. Национальная информационная спутниковая система Ядерные и радиационные технологии 11. Замкнутый ядерно-топливный цикл с реакторами на быстрых нейтронах 12. Управляемый термоядерный синтез 13. Радиационные технологии Энергетика 14. Интеллектуальная энергетическая система России 15. Экологически чистая тепловая энергетика высокой эффективности 16. Перспективные технологии возобновляемой энергетики 17. Малая распределенная энергетика Технологии транспорта 18. Применение инновационных технологий для повышения эффективности строительства, содержания и безопасности автомобильных и железных дорог 19. Высокоскоростной интеллектуальный железнодорожный транспорт Технологии металлургии и новые материалы 20. Новые полимерные композиционные материалы и технологии 21. Материалы и технологии металлургии Добыча природных ресурсов и нефтегазопереработка 22. Технологическая платформа твердых полезных ископаемых 23. Технологии добычи и использования углеводородов 24. Глубокая переработка углеводородных ресурсов Электроника и машиностроение 25. Технологии мехатроники, встраиваемых систем управления, радиочастотной идентификации и роботостроение 26. СВЧ технологии Освоение океана 27. Освоение океана Экологическое развитие 28. Технологии экологического развития

• Рынок приборов ОКТ

• Системы компьютерного зрения в бытовых роботах • 2003: робо-охранники (подвижные автоматизированные системы видеонаблюдения) • MARON-1 (Fujitsu); стоимость 1500$; • Существуют модели со стоимостью >10000$. • Коммуникационные роботы: • 2005: Wakamaru (Mitsubishi), стоимость 15000$. Роботы этих типов используют камеры. С 2008 года использование камер для навигации оказалось экономически оправданным для роботов-пылесосов.

Необходимо, что бы про Вас узнали! • Конференции • Публикации • Участие в коммерческих проектах (в первую очередь, выполняемых кафедрой) SPIE

• Международное общество оптики и фотоники • spie. org – Контакты с ведущими мировыми учеными – Доступ к публикациям – Гранты – Крупнейшие конференции в области фотоники

SPIE Scholarship – 2000 – 11000 USD Travel Grant Outreach Grant Optical Student Chapter in St Petersburg State University ITMO osc. ifmo. ru

Гуров И. П. Математическое моделирование, компьютерная обработка и анализ изображений и сигналов, стохастические динамические системы, когерентная оптика, интерферометрические системы Потапов А. С. Компьютерное зрение, распознавание образов, машинное обучение, искусственный интеллект Жукова Е. В. Научные методы и приборы для исследования поверхностных свойств материалов, методы расчета и компьютерное моделирование оптических свойств материалов Красавцев В. М. Колориметрия, методы и аппаратные средства дистанционного зондирования Земли в оптическом диапазоне Маргарянц Н. Б. Оптическая когерентная томография, цифровая голография, цифровая микроскопия Волков М. В. Интерферометрия, компьютерный анализ картин полос, компьютерная обработка сигналов и изображений Волкова М. А. Цифровая микроскопия Волынский М. А. Интерферометрия, оптическая когерентная томография, стохастические методы обработки сигналов Гендин В. Г. Цифровая голография Ефремов А. В. Компьютерная графика Захаров А. С. Языки описания правил визуализации объектов . . .

Оптоинформатика

• Механические машины (до 1940 г. ) • Компьютеры на вакуумных электронных лампах (1943 – 1959 г. г. ) • Транзисторные компьютеры (1959 – 1968 г. г. ) • Компьютеры на интегральных схемах (1969 – 1977 г. г. ) • Комьютеры на больших интегральных схемах (1978 – 2003 г. г. ) • Цифровые оптические компьютеры (1990 г. – до наст. времени) • Фотонно-кристаллические компьютеры? • Биокомпьютеры?

• • • Электронный компьютер 1947 – открытие транзистора (Бардин, Браттейн, Шокли) 1958 – интегральная схема (Джек Килби) 1978 – большая интегральная схема (Интел) Цифровой оптический компьютер 1984 – оптоэлектронная логическая ячейка (Белл) 1994 – акусто-оптическая матрица (Оптиком)

Закон Мура для числа транзисторов с 1970 по 2007 г. г. 1 миллиард транзисторов в 2007 г. N = exp[(X-1975)*0. 35 + 9] (1975… 2003)

Закон Мура для тактовой частоты Можем ли мы ожидать в 2020 г. электронный процессор с тактовой частотой 100 ГГц?

Проблема отвода тепла от микрочипа Плотность мощности, Вт/см 2 Поверхность Солнца Сопло ракеты Ядерный реактор Утюг

Что может оптика? • Частота светового излучения 1015 Гц • Передача информации со скоростью света • Большое число световых пучков могут свободно проходить по одной и той же области пространства, пересекаться и не влиять друг на друга • Использование дву- и трехмерного характера световых полей

Шкала электромагнитных волн. 4 закона оптики а) Закон прямолинейного распространения света. б) Закон независимости световых лучей. в) Закон отражения света. г) Закон преломления света.

Аналоговый оптический процессор Аналоговые операции

Внешний вид оптического процессора DOC II Размер 48 х 36 см

Информационные возможности оптических систем

Основные понятия теории информации « 2128506…я не знаю, как идет сигнал…» Б. Гребенщиков. Исторические предпосылки создания Морзе 1830 П. Шиллинг 1832 г. Белл 1876 г. А. С. Попов 1905 Телевидение 1925 -1927 Телетайп 1931 ЧМ (Амстронг) 1936 ИКМ (Ривс) 1937 Informatio (лат. ) - разъяснение, осведомление. Клод Шеннон

Голографическое устройство записи и считывания информации In. Phase Technologies

Геометрия и плотность записи на CD, DVD и Blu-Ray дисках

Лазеры

Laser. . . inter eximia naturae dona numeratum plurimis compositionibus inseritur. . . Лазер—один из чудеснейших даров природы, имеющий множество применений Плиний Старший, «Естественная история» , XXII, 49 (1 в. н. э. ). . . Light Amplification Stimulated Emission of Radiation Усиление света вынужденным испусканием излучения

A. Einstein. Zur Quantentheorie der Strahlung. // Phys. Z. , 18 (1917) 121

История создания лазеров • • • 1900 – М. Планк (квант) 1916 – А. Эйнштейн (вынужденное излучение) 1924 – Ш. Бозе, А. Эйнштейн (статистика фотонов) 1927 – П. А. М. Дирак (квантовая теория) 1939 – В. А. Фабрикант (усиление в газах) 1951 – Ч. Таунс, А. Шавлов (мазер) 1954 – Н. Г. Басов и А. М. Прохоров (генерация) 1960 – Т. Мейман (рубин), Е. Снитцер (Nd: glass) 1961 – А. Джаван (He-Ne) 1962 – Р. Холл (Ga. As) 1968 – Ж. И. Алферов (гетероструктуры)

Н. Г. Басов Ч. Таунс А. М. Прохоров

Роберт Холл и первый Ga. As лазер

Оптическая схема считывания информации в CD-ROM

Что такое искусственный интеллект?

Мифы Русские сказки • ковер-самолет • скатерть-самобранка • самоходные повозки • меч-кладенец Прочее • гомункулусы • големы • …

Суть технического прогресса История техники – история замены или дополнения живого искусственным • палка • колесо • рычаг • счеты • линза • … Но техника пассивна => неавтономна

История мехатроники До н. э. Позднее Механические: • птицы • танцовщицы • музыканты • … • Железный «человек-привратник» Альберта Великого (XIII в. ) • Искусственный шахматист и говорящая машина Вольфганга фон Кемпелена (XVIII-XIX в. ) • Промышленная революция XIX в. : механические швеи и т. д.

История интеллектуальных систем До н. э. Позднее • счеты • часы • … • Арифметические машины Блеза Паскаля на основе часового механизма (XVII в. ) воспроизводят искусство счета, доступное лишь интеллектуалам • Идеоскоп Корсакова (XIX в. )

Чего не хватало роботам?

Что такое компьютер?

Разделы ИИ, выделяемые на основе решаемых задач Ø Машинный перевод; Ø Автоматическое реферирование; Ø Информационный поиск; Ø Системы речевого общения; Ø Игровой интеллект; Ø Автоматическое доказательство теорем; Ø Автоматическое программирование; Ø Извлечение данных; Ø…

Разделы ИИ, выделяемые на основе используемых методов Ø Искусственные нейронные сети; Ø Эволюционные вычисления; Ø Распознавание образов; Ø Экспертные системы; Ø Эвристическое программирование; Ø Мультиагентный подход; Ø…

Поколения роботов • Программные • Адаптивные • Интеллектуальные ~ Когнитивные Суть различий: в степени недетерминированности среды

Области применения робототехники • промышленные роботы • медицинские роботы • роботы для оборонных задач • беспилотные летательные аппараты и роботизированные автомобили • роботы в сфере услуг • бытовые роботы Особенности бытовых роботов: • применяются не организациями, а отдельными людьми жесткие требования к отношению стоимости к полезности, а также к компактности • наименьшая детерминированность условий функционирования

Приложения бытовой робототехники • роботы-игрушки • большое различие по функциональным возможностям • роботы, выполняющие работу по дому • роботы-пылесосы • роботы-газонокосилки • роботы-повара • роботы-посудомойки • роботы-охранники • … • роботы, взаимодействующие с людьми • роботы, помогающие инвалидам, больным и пожилым людям • роботы, приглядывающие за детьми (например, роботизированные люльки) или домашними животными (автоматическое кормление и т. д. ) Большинство продуктов не окупают стоимость разработки непосредственно за счет продаж.

Развитие бытовой робототехники • Коммерческое освоение рынка бытовой робототехники начинается с середины 1990 -х годов. До этого существовали преимущественно академические исследования и разработки. • Первые полноценные бытовые роботы стали выходить в продажу в 1999 -2002 гг. ; темпы их продаж составили свыше 100 экз. /год. • К 2005 г. некоторые типы роботов были проданы по несколько миллионов экземпляров. • Тем не менее, до сих пор лишь отдельные типы роботов являются умеренно прибыльными; в большинстве же своем они используются для повышения престижа компании и отработки новых технологий.

Примеры развития бытовой робототехники • 1999: AIBO (Sony); стоимость 2500$; темп продаж в среднем (1999 -2006 гг): 20000 экз. /год. • 2003: Робот-газонокосилка Robomow (Friendly. Robotics); стоимость 1000$; темп продаж 10000 экз. /год. • 2002 -3: роботы-пылесосы: • Roboking (LG), стоимость 2500$; • Roomba (i. Robots), стоимость >300$; • Характерная стоимость сейчас: ~500$; темпы продаж одной модели: 10000 -100000 экз. /год (в сумме >500000 экз. /год). • Исходно эти модели роботов для навигации использовали сонары и датчики касания

Примеры развития бытовой робототехники • 2003: робо-охранники (подвижные автоматизированные системы видеонаблюдения) • MARON-1 (Fujitsu); стоимость 1500$; • Существуют модели со стоимостью >10000$. • Коммуникационные роботы: • 2005: Wakamaru (Mitsubishi), стоимость 15000$. • Роботы этих типов используют камеры. С 2008 года использование камер для навигации оказалось экономически оправданным для роботов-пылесосов.

Особенности компьютерного зрения в бытовой робототехнике • Современная тенденция развития бытовой робототехники заключается в добавлении видеокамер в «бюджетные» модели, а не только в «высокотехнологичные» разработки. • По-прежнему существуют существенные ограничения на вычислительную мощность бортовых вычислителей: • Наиболее дешевыми решениями являются мобильные процессоры типа ARM. • Возможно использование DSP и FPGA, которые, однако, также менее эффективны процессоров персональных компьютеров. • В «высокотехнологичных» моделях могут использоваться более мощные процессоры, однако и их производительность недостаточна для решения многих задач анализа изображений существующими методами.

Особенности задач компьютерного зрения в бытовой робототехнике • Использование низкокачественных видеокамер. • Существенно трехмерные изображения. • Отсутствие фотограмметрических меток и векторных моделей объектов. • В ряде решений подобные метки используются. • Непредсказуемое взаимодействие пользователя с роботом. • Для многих задач компьютерного зрения в бытовой робототехнике, характеризующихся высокой априорной неопределенностью, вообще отсутствуют методы решения.

Существующие технологии • Методы быстрого выделения контуров и построение на их основе структурных элементов. • Решение задач стереозрения, определения точек схода. • Восстановление трехмерной структуры сцены (например, неплотной карты диспаратности). • Системы локальных признаков. • Решение задач сопоставления изображений. • Сенсорная локализация мобильного робота. • Распознавание объектов с низкой изменчивостью. • Метод каскадов Хаара. • Обнаружение и распознавание лиц. • Коммуникационные и игровые роботы. • Построение и анализ оптического потока • Решение задач обнаружения движущихся объектов и слежения за ними; распознавание жестов. • Робо-охранники. • Частные методы. • Пример: текстурный анализ по априорным признакам. • Приложение: обнаружение смятой одежды.

Решение задачи стереозрения Изображения Контуры Структурные описания

Измеренная глубина сцены

Сопоставление изображений Приложение: навигация мобильных роботов

Чего сейчас не могут зрительные системы бытовых роботов • Распознавать объекты с высокой изменчивостью. • Распознавать «неограниченные» классы объектов ( «посуда» , «мебель» , …). • Интерпретировать сцены. • Работать в условиях изменяющегося и плохого освещения. • Строить «плотные» карты дальности. • Обучаться. • …