Скачать презентацию Введение в техническое зрение Степанов Дмитрий Николаевич Начальник Скачать презентацию Введение в техническое зрение Степанов Дмитрий Николаевич Начальник

Семестр 1 лекция 1 - введение.pptx

  • Количество слайдов: 41

Введение в техническое зрение Степанов Дмитрий Николаевич Начальник лаборатории систем технического зрения dnstepanov@gmail. com Введение в техническое зрение Степанов Дмитрий Николаевич Начальник лаборатории систем технического зрения dnstepanov@gmail. com Image by kirkh. deviantart. com

Организационные вопросы q Презентации будут доступны (флешка, дропбокс, BTSync) q Вместо упражнений по пятницам Организационные вопросы q Презентации будут доступны (флешка, дропбокс, BTSync) q Вместо упражнений по пятницам – домашние задания q 1 -2 домашних задания => экзамен/зачёт за СЕМЕСТР автоматом q Возможные задания: q 1) практическая работа + её демонстрация на лекции q 2) реферат + доклад q Список вопросов/тем будет ближе к середине семестра q Меня можно найти почти каждый день, 10: 00 -18: 00, к. 5014/5017 q Электронная почта: dnstepanov@gmail. com q Кафедра требует отмечать посещаемость, 4 пропуска – объяснения с Юревичем

НИР и бакалаврские работы q Есть возможность написания НИР и бакалаврских работ q Тематика: НИР и бакалаврские работы q Есть возможность написания НИР и бакалаврских работ q Тематика: техническое зрение и/или нейронные сети, машинное обучение q Требования: чтение иностранных статей, программирование (Matlab, C/C++, Python) q Бонусы: реальное внедрение, возможность устройства на работу

Сегодняшнее занятие - введение q Что такое компьютерное зрение? q Почему это сложно q Сегодняшнее занятие - введение q Что такое компьютерное зрение? q Почему это сложно q Примеры использования q Смежные области q Мобильные роботы q Вопросы

Что такое компьютерное зрение? Основная идея q Позволить компьютерам понимать изображения и видео Смежные Что такое компьютерное зрение? Основная идея q Позволить компьютерам понимать изображения и видео Смежные области q Компьютерная графика: модели – в изображения q Компьютерная фотография: изображения – в изображения q Компьютерное зрение: изображения – в модели q Что изображено на сцене? q Где автомобили? q Как далеко до здания?

Почему это сложно Зрение q Потрясающая способность живых существ q 50% головного мозга макаки Почему это сложно Зрение q Потрясающая способность живых существ q 50% головного мозга макаки q Самая большая часть мозга человека среди других функций q До 93% информации – из зрения Это король или ферзь?

Почему это сложно Почему это сложно

Почему это важно Безопасность Здоровье Охрана Комфорт Развлечение и др. Почему это важно Безопасность Здоровье Охрана Комфорт Развлечение и др.

Самая короткая история технического зрения Зрение q 1966: Марвин Минский сформулировал студенту летнюю задачу Самая короткая история технического зрения Зрение q 1966: Марвин Минский сформулировал студенту летнюю задачу в области технического зрения (connect a television camera to a computer and get the machine to describe what it sees) Guzman ‘ 68 q 1970’s: Некоторый прогресс в понимании отдельных изображений q 1980’s: нейросети; сдвиг в сторону геометрии и математической строгости Ohta Kanade ‘ 78 q 1990’s: распознавание лиц; статистический анализ q 2000’s: широкое признание; большие размеченные базы данных; начало обработки видео q 2030’s: восстание машин? Turk and Pentland ‘ 91

Optical character recognition (OCR) Технология для преобразования сканированных документов в текст Распознавание цифр, AT&T Optical character recognition (OCR) Технология для преобразования сканированных документов в текст Распознавание цифр, AT&T labs http: //www. research. att. com/~yann/ Распознавание номерных знаков http: //en. wikipedia. org/wiki/Automatic_number_plate_recognition

Обнаружение лиц • Камеры, смартфоны сейчас легко обнаруживают лица Обнаружение лиц • Камеры, смартфоны сейчас легко обнаруживают лица

Обнаружение улыбок Sony Cyber-shot® T 70 Digital Still Camera Обнаружение улыбок Sony Cyber-shot® T 70 Digital Still Camera

3 D из тысяч изображений Building Rome in a Day: Agarwal et al. 2009 3 D из тысяч изображений Building Rome in a Day: Agarwal et al. 2009

3 D из тысяч изображений Building Rome in a Day: Agarwal et al. 2009 3 D из тысяч изображений Building Rome in a Day: Agarwal et al. 2009

3 D из тысяч изображений Building Rome in a Day: Agarwal et al. 2009 3 D из тысяч изображений Building Rome in a Day: Agarwal et al. 2009

Распознавание объектов (в супермаркетах) Штрих-коды Lane. Hawk by Evolution. Robotics q “A smart camera Распознавание объектов (в супермаркетах) Штрих-коды Lane. Hawk by Evolution. Robotics q “A smart camera is flushmounted in the checkout lane, continuously watching for items. When an item is detected and recognized, the cashier verifies the quantity of items that were found under the basket, and continues to close the transaction. The item can remain under the basket, and with Lane. Hawk, you are assured to get paid for it… “

Биометрия Как «афганская девушка» Шарбат Гула была идентифицирована спустя 18 лет по радужной оболочке Биометрия Как «афганская девушка» Шарбат Гула была идентифицирована спустя 18 лет по радужной оболочке (iris recognition)

Вход без пароля Сканеры отпечатков – смартфоны, мыши, системы безопасности, автомобили Распознавание лиц (по Вход без пароля Сканеры отпечатков – смартфоны, мыши, системы безопасности, автомобили Распознавание лиц (по небольшой базе – вполне надёжно)

Распознавание объектов Point & Find, Nokia Google Goggles Распознавание объектов Point & Find, Nokia Google Goggles

Спецэффекты The Matrix movies, ESC Entertainment, XYZRGB, NRC Спецэффекты The Matrix movies, ESC Entertainment, XYZRGB, NRC

Реконструкция 3 D-модели движущегося лица Total Moving Face Reconstruction, ECCV 2014 Supasorn Suwajanakorn, Ira Реконструкция 3 D-модели движущегося лица Total Moving Face Reconstruction, ECCV 2014 Supasorn Suwajanakorn, Ira Kemelmacher-Shlizerman, Steven M. Seitz

Реконструкция 3 D-модели движущегося лица Total Moving Face Reconstruction, ECCV 2014 Supasorn Suwajanakorn, Ira Реконструкция 3 D-модели движущегося лица Total Moving Face Reconstruction, ECCV 2014 Supasorn Suwajanakorn, Ira Kemelmacher-Shlizerman, Steven M. Seitz

Реконструкция 3 D-модели движущегося лица What Makes Tom Hanks Look Like Tom Hanks, ICCV Реконструкция 3 D-модели движущегося лица What Makes Tom Hanks Look Like Tom Hanks, ICCV 2015 Supasorn Suwajanakorn, Ira Kemelmacher-Shlizerman, Steven M. Seitz

Захват движения (Mo. Cap) Pirates of the Carribean, Industrial Light and Magic Захват движения (Mo. Cap) Pirates of the Carribean, Industrial Light and Magic

Захват движения (Mo. Cap) Захват движения (Mo. Cap)

Захват движения (Mo. Cap) Захват движения (Mo. Cap)

Анализ спортивных игр Sportvision first down line Nice explanation on www. howstuffworks. com http: Анализ спортивных игр Sportvision first down line Nice explanation on www. howstuffworks. com http: //www. sportvision. com/video. html

«Умные» автомобили Slide content courtesy of Amnon Shashua • Mobileye – BMW, GM, «Умные» автомобили Slide content courtesy of Amnon Shashua • Mobileye – BMW, GM, Volvo и др. (70% производителей ещё в 2010 году)

Google Oct 9, 2010. Google Oct 9, 2010. "Google Cars Drive Themselves, in Traffic". The New York Times. John Markoff June 24, 2011. "Nevada state law paves the way for driverless cars". Financial Post. Christine Dobby Aug 9, 2011, "Human error blamed after Google's driverless car sparks five -vehicle crash". The Star (Toronto)

Игры • Object Recognition: http: //www. youtube. com/watch? feature=iv&v=f. Q 59 d. XOo 63 Игры • Object Recognition: http: //www. youtube. com/watch? feature=iv&v=f. Q 59 d. XOo 63 o • Mario: http: //www. youtube. com/watch? v=8 CTJL 5 l. Uj. Hg • 3 D: http: //www. youtube. com/watch? v=7 Qrnwo. O 1 -8 A • Robot: http: //www. youtube. com/watch? v=w 8 Bmgt. MKFb. Y

Медицина 3 D imaging MRI, CT Image guided surgery Grimson et al. , MIT Медицина 3 D imaging MRI, CT Image guided surgery Grimson et al. , MIT

Промышленные роботы Vision-guided robots position nut runners on wheels Промышленные роботы Vision-guided robots position nut runners on wheels

Мобильные роботы NASA’s Mars Spirit Rover http: //en. wikipedia. org/wiki/Spirit_rover http: //www. robocup. org/ Мобильные роботы NASA’s Mars Spirit Rover http: //en. wikipedia. org/wiki/Spirit_rover http: //www. robocup. org/ Saxena et al. 2008 STAIR at Stanford

Космос NASA'S Mars Exploration Rover Spirit captured this westward view from atop a low Космос NASA'S Mars Exploration Rover Spirit captured this westward view from atop a low plateau where Spirit spent the closing months of 2007. Vision systems (JPL) used for several tasks • • Panorama stitching 3 D terrain modeling Obstacle detection, position tracking For more, read “Computer Vision on Mars” by Matthies et al.

СТЗ для роботов q. Навигация q По визуальным маркерам q PTAM, LSD-SLAM, ORB-SLAM q. СТЗ для роботов q. Навигация q По визуальным маркерам q PTAM, LSD-SLAM, ORB-SLAM q. Обеспечение безопасного вождения, обнаружение препятствий q Плоскость q Стерео q Kinect q Структурированная подсветка

Комплексирование q. Соединение информации от датчиков различной физической природы q. СТЗ + q Одометрия Комплексирование q. Соединение информации от датчиков различной физической природы q. СТЗ + q Одометрия (пройденный путь) q GPS q (сканирующий) лазерный дальномер

Новый подход (самое начало пути) q. Качественная навигация q Как мы определяем, куда идти Новый подход (самое начало пути) q. Качественная навигация q Как мы определяем, куда идти q Как ставим и описываем себе и другим цели навигации q Уровень абстракции – «какой-то розовый 9 -этажный дом» q Без метрики и чисел

Дальше q Камера и человеческий глаз q Восприятие света и цвета q Пиксели q Дальше q Камера и человеческий глаз q Восприятие света и цвета q Пиксели q Модель камеры, преобразование геометрии q Фильтрация изображений

ГОСУДАРСТВЕННЫЙ НАУЧНЫЙ ЦЕНТР РОССИИ ЦЕНТРАЛЬНЫЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ И ОПЫТНО-КОНСТРУКТОРСКИЙ ИНСТИТУТ РОБОТОТЕХНИКИ И ТЕХНИЧЕСКОЙ КИБЕРНЕТИКИ Спасибо ГОСУДАРСТВЕННЫЙ НАУЧНЫЙ ЦЕНТР РОССИИ ЦЕНТРАЛЬНЫЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ И ОПЫТНО-КОНСТРУКТОРСКИЙ ИНСТИТУТ РОБОТОТЕХНИКИ И ТЕХНИЧЕСКОЙ КИБЕРНЕТИКИ Спасибо за внимание! Россия, 194064, г. Санкт-Петербург, Тихорецкий пр. , 21 тел. : (812) 552 -0110 (812) 552 -1325 факс: (812) 556 -3692 http: //www. rtc. ru e-mail: rtc@rtc. ru