Классификация геометрических моделей Модели на основе интерполяции изображений

Классификация геометрических моделей. Модели на основе интерполяции изображений Алексей Игнатенко Лекция 5 9 ноября 2006 Основы синтеза изображений

На прошлой лекции n n Тонирование: процесс вычисления исходящего излучения для точки поверхности Точность, выразительность, скорость Физически обоснованные и эмпирические модели Модели: q q q Ламберт Фонг и Блинн-Фонг Лафортюн Торранс-Спарроу Табличная BRDF 9 ноября 2006 Основы синтеза изображений 2

На лекции n n n Пленоптик-функция и геометрические модели Спектр моделей на основе представления пленоптик-функции Модели на основе интерполяции изображений 9 ноября 2006 Основы синтеза изображений 3

Задача геометрического моделирования n Знаем q q q n n Принципы распространения света Принципы взаимодействия света с объектами Принципы перевода энергии в цвет Как объединить это вместе? Условие: быстрое вычисление излучения в данном направлении 9 ноября 2006 Основы синтеза изображений 4

Воображаемые лучи n Чтобы полностью описать любую сцену, достаточно сохранить излучение со всех направлений, попадающих в данную точку n Пространство заполнено всевозможными лучами разной интенсивности n Можно описать математически с помощью функции 9 ноября 2006 Основы синтеза изображений 5

Пленоптик-функция: определение Угол Длина волны Время Точка наблюдения Для получения изображения нужно сохранить лучи, проходящие через матрицу камеры или сетчатку глаза 9 ноября 2006 Основы синтеза изображений 6

Пленоптик-функция: упрощение n n Статичные изображения Рассматриваем для фиксированной длины волны 9 ноября 2006 Основы синтеза изображений 7

Пленоптик-функция: набор изображений n Изображение (фотография) является выборкой из непрерывной пленоптик-функции! q q Каждый пиксель = луч в пространстве, проходящий через заданный телесный угол При условии, что известны параметры камеры для этого изображения n калибровка 9 ноября 2006 Основы синтеза изображений 8

Пленоптик-функция: набор изображений (2) n Увеличивая число изображений, можно добиться точной передачи любой сцены q n «Табличное» задание пленоптик-функции Недостающие части можно достроить с помощью интерполяции или экспраполяции 9 ноября 2006 Основы синтеза изображений 9

Набор изображений: проблема n Проблема – огромный объем данных! n Что если перейти от табличного к параметрическому заданию пленоптикфункции? q Вместо лучей хранится информация о том, как рассчитать излучение в нужном направлении n 9 ноября 2006 Основы синтеза изображений Тут пригодятся модели материалов 10

Пленоптик-функция: от изображений к поверхностям и объемам n В пространство добавляются геометрические объекты фотографии Дискретизация 9 ноября 2006 Геометрия + материалы Основы синтеза изображений 11

Пленоптик-функция: изображения vs. геометрия n Моделирование на основе изображений q Любые материалы, n Геометрическое моделирование q эффекты q памяти представление Скорость экранизации не зависит от сложности геометрии и материалов q Высокие требования к q Статичность Поддержка динамичных сцен q Медленно для сложных материалов или моделей освещения объемам памяти q Эффективное по q Ограниченная сложность материалов и сред 9 ноября 2006 Основы синтеза изображений 12

Спектр моделей Изображения Только изображения Изображения + частичная геометрия Световые Изобр. с поля, глубиной Люмиграф 9 ноября 2006 Геометрия Многосл. изобр. с глубиной Полная геометрия Камерозависимая геометрия, камерозависимая текстура Камерозависимая геометрия, фиксир. текстура Основы синтеза изображений Фиксир. геометрия, камерозависимая текстура 13

Спектр моделей: только изображения n. Интерполяция Изображения в плотном (dense) Геометрия наборе исходных изображений Изображения + частичная Только n. Часто с помощью поиска геометрия изображения Полная геометрия соответствий n. Высокие требования к количеству исходных фотографий Световые Изобр. с Многосл. Камеро. Фиксир. Камеро(изображений) поля, глубиной изобр. с зависимая геометрия, Люмиграф n. Нетглубиной геометрия, изменения возможности геометрия, камерозависимая фиксир. освещения и анимации зависимая текстура 9 ноября 2006 Основы синтеза изображений 14

Спектр моделей: изображения + частичная геометрия n Обычно дискретная геометрия q Только Карты изображения глубины Изображения + частичная геометрия Световые Изобр. с поля, глубиной Люмиграф 9 ноября 2006 Геометрия Многосл. изобр. с глубиной Полная геометрия Камеро. Фиксир. Камерозависимая геометрия, n Либо грубая геометрия, камеро- Упрощенная зависимая фиксир. q форма зависимая текстура объекта текстура Основы синтеза изображений 15

Спектр моделей: геометрия n Синтез Изображения (трассировка, Изображения + частичная Только растеризация) геометрия изображений геометрических моделей Изобр. с Многосл. Световые поля, глубиной Люмиграф n изобр. с глубиной Текстурирование в разных формах 9 ноября 2006 Геометрия Полная геометрия Камерозависимая геометрия, камерозависимая текстура Основы синтеза изображений Камерозависимая геометрия, фиксир. текстура Фиксир. геометрия, камерозависимая текстура 16

Моделирование на основе изображений n n Основа: набор изображений задают пленоптик-функцию на заданной области определения Задача: максимально уменьшить объем входных данных 9 ноября 2006 Основы синтеза изображений 17

Как можно уменьшить размер данных? n Уменьшение размерности функции q q n Ограничение области Vx, Vy, Vz Ограничение угла обзора Уменьшение степени дискретизации q Меньше изображений, «умная» интерполяция 9 ноября 2006 Основы синтеза изображений 18

Изображение n n n Да, это тоже модель Легко создавать Не можем двигаться n Не можем вращаться 9 ноября 2006 http: //www. flickr. com/photos/71398376@N 00/292956357/ Основы синтеза изображений 19

Movie Maps n Один из первых подходов на основе изображений q n Данные представляют собой набор фотографий через каждые 10 -15 м, совмещенных с планом города q n 1978 г. Четыре кадра в разные стороны для каждой точки Революционный подход! q Для нужд армии n 9 ноября 2006 Ознакомление солдат с территорией противника Основы синтеза изображений 20

Movie Maps: свойства Легко создавать n Высокая скорость экранизации n n Просто выбор нужного изображения Дискретное движение n Вместо поворота – четыре кадра из n одной точки 9 ноября 2006 Основы синтеза изображений 21

Панорамные изображения n Простейший метод n Экранизация – репроекция части панорамы на планарную плоскость камеры 9 ноября 2006 Основы синтеза изображений 22

Типы панорам n n n Цилиндрические панорамы Сферические панорамы Кубические панорамы Цилиндрическая панорама 9 ноября 2006 Кубическая панорама Сферическая панорама http: //www. panoguide. com/howto/panoramas/types. jsp Основы синтеза изображений 23

Панорамы: свойства Легко создавать n Высокая скорость экранизации n Популярность n Невозможно двигаться n 9 ноября 2006 Основы синтеза изображений 24

Панорамы: Quick. Time VR n n Первый и наиболее популярный подход к созданию и демонстрации панорам 1994 г, Apple 9 ноября 2006 Основы синтеза изображений 25

Панорамы: демонстрация 9 ноября 2006 Основы синтеза изображений 26

Концентрические мозаики (concentric mosaics) n Развитие панорам в сторону возможности перемещения пользователя n Ограничение перемещения наблюдателя q На одной высоте q Внутри окружности небольшого радиуса n n Несколько метров Получение с помощью специальной аппаратуры q Камера, закрепленная на вращающейся штанге 9 ноября 2006 Основы синтеза изображений 27

Концентрические мозаики: получение 9 ноября 2006 Основы синтеза изображений 28

Концентрические мозаики: экранизация n Каждый столбец изображения выбирается из соответствующего изображения мозаики 9 ноября 2006 Основы синтеза изображений 29

Концентрические мозаики: свойства n n Нет вертикального параллакса Все объекты бесконечно далеко 9 ноября 2006 Основы синтеза изображений 30

Концентрические мозаики: демонстрация 9 ноября 2006 Основы синтеза изображений 31

Четырехмерные параметризации n Трехмерные параметризации сильно ограничивают возможность перемещения наблюдателя n Для большей свободы требуется ввести еще один параметр q Увеличение объема данных 9 ноября 2006 Основы синтеза изображений 32

Световые поля (light fields) n База данных изображений объекта n Равномерная ортогональная сетка, в узлах – камеры q n Задают плоскость с координатами (u, v) В каждом узле делается фотография объекта q Поворот камеры задается координатами (s, t) на плоскости за объектом 9 ноября 2006 Основы синтеза изображений 33

Световые поля: экранизация n n 1. Построение луча из камеры 2. Пересечение с первой плоскостью (u, v) q n Найдено исходное изображение 3. Пересечение со второй плоскостью q Найдена точка в исходном изображении 9 ноября 2006 Основы синтеза изображений 34

Световые поля: свойства Возможность свободного перемещения n Почти любые объекты и материалы n n В том числе пух, шерсть – нет геометрии! Большой объем данных n Только небольшие отдельные объекты n q Довольно сложная технология получения 9 ноября 2006 Основы синтеза изображений 35

Световые поля: демонстрация 9 ноября 2006 Основы синтеза изображений 36

Пленоптик-склейки (plenoptic stitching) n Другой вариант четырехмерной параметризации q n Нужна всенаправленная камера q n Ориентирован на навигацию внутри помещений Получает сферические изображения Для получения всенаправленную камеру перемещают по сетке q Положение камеры сохраняется вместе с видеопоследовательностью 9 ноября 2006 Основы синтеза изображений 37

Пленоптик-склейки: экранизация n Новые виды создаются с помощью комбинации столбцов пикселей из исходных изображений 9 ноября 2006 Основы синтеза изображений 38

Пленоптик-склейки: свойства n Возможность свободного перемещения на большом пространстве Почти любые объекты и материалы n Большой объем данных n Перемещение только по горизонтали n Нет вертикального параллакса n 9 ноября 2006 Основы синтеза изображений 39

«Море изображений» (Sea of images) n n n Развитие пленоптик-склеек в сторону поддержки любых окружений Подход «грубой силы и сжатия» Вместо сложных алгоритмов поиска соответствий и интерполяции используется простейший подход q Но со сложными алгоритмами сжатия, предвыборки и т. п. 9 ноября 2006 Основы синтеза изображений 40

Море изображений: свойства n Возможность свободного перемещения на произвольном пространстве Почти любые объекты и материалы n Очень большой объем данных n 9 ноября 2006 Основы синтеза изображений 41

Итоги n n Пленоптик-функция задает излучение во всех возможных направлениях Задача моделирования – эффективно представить пленоптик-функцию Спектр методов: от набора изображений до полной геометрии Методы на основе интерполяции изображений: q q q Панорамы Мозаики Световые поля Склейки «Море изображений» 9 ноября 2006 Основы синтеза изображений 42