5 Амир 3 D ТВ.ppt
- Количество слайдов: 43
Безочковые устройства воспроизведения объемного изображения. 1
• Безочковые устройства воспроизведения объемного изображения. • Зачем же нам трехмерный дисплей? Ответов множество. Для нас, как исследователей и инженеров, ответ прост: технически это возможно, значит, нельзя не делать. Так вот техническим аспектам создания 3 Dдисплея посвящена эта статья, а во введении мы попытаемся привлечь внимание публики к самой проблеме 3 D, для всестороннего ее осмысления. 2
• • Введение с тремя отступлениями. Наш, без всяких преувеличений, совершенный зрительный аппарат имеет множество настроек, выработанных обстоятельствами жизни в трехмерном мире. Например, глаз настраивается по фокусу для наблюдения объектов на разном расстоянии — такая настройка называется аккомодацией. Отклонения в функционировании фокусировки вызывают хорошо всем известную близорукость и дальнозоркость. Но при бинокулярном, то есть двумя глазами, наблюдении какого-либо объекта мало настроиться по фокусу, надо еще и скорректировать направление оптических осей глаз для сведения их на интересующем объекте. Такое поведение глаз называют конвергенцией. В быту существует выражение "рассеянный взгляд" — это чаще всего такая настройка оптического аппарата человека, когда конвергенция не соответствует аккомодации. Особенностью нашего зрения является то, что разрешающая способность сетчатки глаза очень неоднородна. В так называемом желтом пятне разрешение максимальное, а на периферии довольно низкое. Поэтому рассматривание, то есть внимательное, высокоразрешающее считывание информации об объекте, обеспечивается проектированием изображения именно на желтое пятно, а это невозможно одновременно для двух глаз, если аккомодация и конвергенция не согласованы. Есть и другое замечательное выражение, метко определяющее суть настройки зрения — "потупить взгляд", то есть другой случай неадекватной настройки, когда оптические оси сильно сведены и тоже не соответствуют настройке аккомодации. Здесь невозможно не восхититься богатством и образностью русского языка, отлично, кстати, подходящего для научного описания природных феноменов. Благодаря согласованной работе аккомодации и конвергенции мы и получаем довольно точную информацию об огромном объеме окружающего 3 D мира — от масштаба "комара на носу" до чудес меткости Робин Гуда. 3
• Отступление первое (околофилософское). • Проблема засасывания современного человека в мир виртуальной реальности, непосредственного включения человеческих чувств в информационный поток совсем даже не безобидная, поскольку нарушает фундаментальный "водораздел" между социальным поведением, обусловленным этикой и законами общества, и миром выдуманным, миром грез и фантазий. Когда возможности компьютерных игр переносятся каким-нибудь заигравшимся подростком на окружающих его людей, недолго до трагедии. Например, подросток из Огайо Дэниел Петрич (Daniel Petric) в октябре 2007 расстрелял своих родителей из-за того, что они отняли его любимый диск с играми, при этом сам чудовищный поступок совершен по "Дуумовски" просто. 4
Отступление первое (околофилософское). • Одним из сильнейших отрезвляющих факторов для отделения естественной окружающей реальности от виртуального мира является двухмерность отображения информации на большинстве информационных дисплеев, весь искусственно созданный информационный поток отделен рамкой дисплея или телевизора от окружающей жизни. Все естественное — трехмерно, все искусственное — двухмерно для обыденного современного сознания. Есть, конечно, исключения, такие как, например, голография, но именно изучение таких исключений и дает возможность уяснить опасность виртуализации повседневной жизни. Более того, опыт общения человека с трехмерными объектами, по той или иной причине имеющими аномалию по отношению к обыденному опыту, часто воспринимается как общение с божеством, а вот с двухмерными объектами человек общается без всякого благоговения или страха. А если создаваемые ныне 3 D-дисплеи наконец достигнут степени естественного отображения, что будет отрезвлять наши ощущения? 5
• • Отступление второе (околотехническое). Зададимся вопросом: много ли в поступающем в наш мозг информационном потоке трехмерного? Оказывается, немного. Исследования систем цифрового сжатия информации показали, что "добавка" в общей информации, соответствующей стереоизображению по сравнению с моно, достаточно мала — до 10%. Это вытекает из подобия стереокартинок для правого и левого глаз и приводит к хорошей сжимаемости данных для отображения на стереодисплеях. Однако доля трехмерных признаков в распознанном изображении гораздо выше, потому что исходные данные для ориентации и движения человека — это, как правило, составление картины взаимного расположения и пропорций 3 D-объектов. Человек для лучшего распознавания использует не только "глядение в оба", но и оглядывание предмета с разных сторон. Таким образом, можно сделать первый практический и, как нам представляется, существенный вывод: следует разрабатывать схемы стереодисплеев, способных расширяться на многоракурсные варианты, поскольку в ближайшем будущем системы сжатия стереоинформации позволят передавать по существующим коммуникационным каналам информацию для многоракурсного воспроизведения. Если же системы сжатия перейдут на передачу описаний объектов вместо передачи картинок объектов, то количество ракурсов станет вообще любым. 6
• Нужен ли зайцу "трехмерный дисплей" (почти физиологическое отступление). • Вопрос стоит так: всем ли нужен стереодисплей? Ну, если у человека два глаза, то, вроде, нужен, а зачем у человека два глаза, и зачем они именно горизонтально расположены? Скажете, как у всех млекопитающих. Но у всех глаза предназначены для разного. Зайцам, например, нужно не только ушки держать на макушке, но и глаза, ведь обзор в 360 градусов — это выживание в догонялках с хищниками. Глаза зайца — широкоугольные объективы, посаженные почти на одной оси в противоположных направлениях. Стереоскопическое зрение у зайцев хоть и возможно в довольно узкой зоне впереди и симметричной зоне сзади, но на стереодисплее ему точно нечего смотреть. А вот у лисы или собаки глаза сдвинуты к носу, с оптическими осями почти параллельными и небольшими искажениями по полю зрения, иначе зубами не схватишь маневрирующую добычу. 7
• Вот им стереодисплей, пожалуй, пригодился бы, но только такой, который не отделял бы 3 D-картинку от окружающей обстановки, а то рефлексы двигательные пришли бы в противоречие с работой зрительного аппарата, а это для детей природы — смерть. Ну а горизонтальное расположение глаз — это благодаря жизни и охоте на поверхности земли или, вернее, жизни в поле сил тяжести, где все, рано или поздно, падает на землю и перемещается по 2 D-плоскости. А у человека все еще совершенней: постоянное сканирование окружающей 3 Dобстановки движением глаз и головы, система распознавания и запоминания 3 D-окружающего мира, возможность осмысления связи внешнего представления 3 D-объектов с его сущностью и поведением и, наконец, активное воздействие на 3 D-среду обитания — все это проявление удивительных способностей человеческого зрения. Обмануть такой совершенный механизм 3 D-видения непросто, но человек сам не прочь обмануться, тем более современный человек общества потребления, особенностью восприятия которого стал синдром ТВ– пассивности: вы мне завлекательно представляйте, пока я тут перед телевизором буду свой хот-дог жевать. 8
• Вот когда обстоятельства позволяют разделить для зрителя восприятие 3 D-сцены с активной деятельностью или заменой естественной активности работой с манипуляторами, тогда появляется возможность внедрения 3 D-дисплеев как естественное развитие систем отображения информации. Обращаясь в этой статье к проблеме создания трехмерных дисплеев, хотелось бы надеяться, что не только техническая сторона всей проблемы будет соответствующим образом осмыслена человеческим сообществом и послужит не только технологическому прогрессу, но и приблизит человека к этическому 9 совершенству.
• Мы рассмотрим здесь только безочковые системы, то есть такие дисплеи, когда для рассматривания стереоизображения никакие оптические приборы зрителю не понадобятся. Очковые системы просты и практически доступны, но все же противоестественны. Задача безочкового стереодисплея — каким-либо образом разделить в пространстве световые потоки для правого и левого глаз, эта общая задача решается множеством способов. Хотя бы для видимости порядка разделим их на следующие группы: • - растровые 3 D-дисплеи; • - дисплеи с управляемым осветителем; • - проекционные 3 D-дисплеи; • - волюметрические дисплеи; • - голографические дисплеи. 10
• Растровые 3 D-дисплеи. • В растровых дисплеях функцию разделения световых потоков для правого и левого глаз выполняет так называемый "оптический растр". Понятие "растр" довольно широкое. Обычно под этим понимают некую периодическую структуру из однотипных элементов. Применительно к существующим 3 D-дисплеям нас интересуют следующие два вида растров: пассивные щелевые и активные линзовые. 11
• • Дисплеи с периодическим пассивным растром. Пассивный щелевой растр представляет собой структуру из чередующихся прозрачных и непрозрачных полос. Например, это может быть набор прорезей (щелей) в непрозрачном материале или черные полосы, нанесенные на прозрачную пленку. Наши глаза разнесены в пространстве по горизонтали, поэтому при наблюдении через вертикальный щелевой растр, например, картины, каждый из глаз видит разные участки полотна. Можно так подобрать положение и шаг полос щелевого растра, что наблюдатель будет видеть одинаковые по ширине чередующиеся полосы полотна: правым глазом нечетные, а левым — четные (рис. 1). 12
• Если нечетные полоски полотна будут содержать элементы изображения, подготовленного специально для правого глаза (правый ракурс), а четные полоски — для левого глаза (левый ракурс), то наблюдатель сможет воспринять "объем" изображения, то есть почувствовать расположение объектов в пространстве. Рассмотрим подробнее, как это происходит. При наблюдении двух отличающихся ракурсов сцены возникает такое явление, как параллакс — различие в положении одного и того же объекта относительно других объектов (рамки картины или дисплея) для правого и левого глаз. Например, если правый глаз видит некоторый объект в одном месте, а левый глаз видит этот же объект в другом месте, то в мозгу наблюдателя появляется ощущение, что объекта не два, а один, но расположен он не в плоскости рисунка, а позади него или перед ним (рис. 2). 13
14
• Так как щелевой растр позволяет добиться появления параллакса объектов, его часто называют параллакс-барьером (parallax-barrier). Параллакс-барьер, пожалуй, можно считать одним из самых старых способов воспроизведения объемного изображения. Например, еще в 1692 году французский художник Буа-Клэр (G. A. Bois. Clair) использовал в своих картинах решетку из пластин для передачи пространства. Эти работы можно увидеть в замке Розенборг в Копенгагене. В 1935 году советские ученые из НИКФИ оформили патент на стереоэкран с пассивным проволочным растром для проекции кинофильмов. А в 1941 году в кинотеатре "Москва" (в Москве) транслировался первый стереофильм "Концерт", и зрители могли видеть объемное изображение без очков или каких-либо индивидуальных сепарирующих устройств. В настоящее время 3 D-дисплеи с пассивным растром выполняются, в основном, на основе матриц жидкокристаллических дисплеев (ЖКматриц, ЖКМ). 15
• Первым промышленным образцом такого дисплея стал Sharp LL-151 -3 D. Дисплей состоит из двух ЖКМ, размещенных друг за другом. Наружная ЖКМ воспроизводит так называемое кодированное изображение, состоящее из чередующихся столбцов изображений правого и левого ракурсов. А внутренняя ЖКМ, размещенная между наружной ЖКМ и лампами подсветки, выполняет роль параллакс-барьера • (рис. 3). 16
• Нетрудно заметить, что для обеспечения заданных траекторий световых лучей шаг пикселей внутренней матрицы должен быть несколько больше шага пикселей наружной матрицы (рис. 4, а). Однако для удешевления 3 D-дисплея можно использовать линзу Френеля, расположенную между двумя матрицами. В этом случае становится возможным использовать две одинаковые ЖКМ (рис. 4, б). 17
• Существуют модификации 3 D-дисплеев с пассивным растром, способных воспроизводить не два, а пять ракурсов (например, NEC A 19 -3 D и SVI MU 1913), шесть ракурсов (например, Siemens DCS 1804 -D-3 D и Newsight 8. 4 multiview AD) и даже восемь ракурсов (X 3 D technologies Grundig Tharus 3 D). В настоящее время 3 D-экраны с пассивным растром используются многими известными фирмами в составе мониторов, сотовых телефонов и ноутбуков. • Для отображения двухмерных изображений (режим 2 D) внутренняя ЖКМ становится прозрачной, а наружная воспроизводит обычную картинку. При этом по качеству картинка практически ничем не уступает изображению обычного LCD. Именно для достижения высокого качества изображения в режиме 2 D параллакс-барьер размещается не перед информационной матрицей, а позади нее. Такая универсальность 3 D-дисплеев с пассивным растром является важным достоинством. Однако есть у таких дисплеев два существенных недостатка. Первый — очень узкая зона видения стереоскопического изображения. 18
• Для раздельного восприятия двух ракурсов наблюдатель должен занять определенное положение относительно дисплея, так, чтобы правый глаз попал в центр зоны видения правого ракурса, а левый — в зону видения левого (рис. 5, а). Любые смещения наблюдателя по горизонтали относительно оптимального положения будут приводить к ухудшению степени разделения (сепарации) ракурсов, то есть заметности "чужого" ракурса — ghost-эффекту (от. англ. ghost — привидение). 19
• • • . Протяженность зоны, в пределах которой ghost-эффект практически незаметен и, следовательно, возможен стереоэффект, составляет порядка 1… 2 см. Таким образом, 3 D-дисплей с пассивным растром требует от наблюдателя фиксации головы в строго заданном положении, что обычно приводит к быстрому утомлению. Второй недостаток таких дисплеев — наличие инверсных зон видения. Дело в том, что оптический растр обладает так называемым множащим свойством — способностью формировать не одну, а множество зон видения для каждого ракурса. Смещаясь по горизонтали относительно дисплея, наблюдатель последовательно видит чередующиеся ракурсы. И если в некотором положении его правый глаз видит правый ракурс, а левый глаз — левый ракурс, то при смещении на 65 мм наблюдатель попадает в инверсную зону видения, когда правый глаз видит левый ракурс, а левый глаз — правый ракурс (рис. 5, б). Наблюдение стереоизображения в инверсной зоне вызывает ощущение дискомфорта. Однако определить причину неприятных ощущений и устранить ее, сместившись влево или вправо, может далеко не каждый наблюдатель. Дисплей с нерегулярным пассивным растром. 20
• Дисплей с нерегулярным пассивным растром. • Принципиально иной способ формирования стереоскопического изображения с помощью "двухматричного" 3 D-дисплея предложили российские ученые А. Н. Путилин и А. А. Лукьяница [1]. Как и в описанном выше случае, дисплей состоит из двух ЖКМ. Отличие лишь в том, что между двумя матрицами находится рассеивающая свет пластина. А вот идея формирования стереоскопического изображения отличается принципиально. Рассмотрим ее подробнее. Любой субпиксель ЖКматрицы сам по себе не является источником света, а лишь управляет интенсивностью проходящего сквозь него излучения от лампы подсветки, пропуская через встроенный светофильтр красную, зеленую или синюю составляющую. Таким образом, изменению яркости субпикселя на самом деле 21 соответствует изменение прозрачности ячейки ЖКМ.
• Если расположить друг за другом две ЖКМ, то правым и левым глазом мы увидим каждый субпиксель передней панели (Front LCD) через разные субпиксели задней панели (Back LCD). Следовательно, можно так рассчитать прозрачности всех трех субпикселей, чтобы яркость одного и того же субпикселя передней панели имела два заданных значения: одно — для правого глаза и другое — для левого. Однако в действительности расчет получается значительно сложнее, так каждый субпиксель задней панели участвует в формировании яркости не одного субпикселя передней панели, а двух, причем все субпиксели передней панели, вообще говоря, могут иметь совершенно разные значения для правого и левого глаз. 22
• Для решения столь сложной задачи используется математический аппарат нейронных сетей. Для каждой стереопары существует множество решений — различных вариантов "изображений" для тыльной и фронтальной ЖКматриц, при которых формируемое стереоизображение приближается к исходному. Для выбора наилучшего решения процедура вычислений организована в цикле, который повторяется до тех пор, пока не будет достигнут минимум ошибки между формируемой и исходной стереопарами (рис. 6). 23
• Нетрудно показать, что существуют такие комбинации яркостей отдельных пикселей правого и левого кадров стереопары, для которых невозможно добиться полного разделения ракурсов (при использовании только двух LCD-панелей). Однако в среднем по всему полю изображения для типичных телевизионных изображений рассмотренный выше алгоритм позволяет сформировать две зоны видения протяженностью в несколько сантиметров каждая, с достаточно высокой сепарацией ракурсов. Это позволяет наблюдателю перемещаться относительно экрана дисплея в больших пределах, нежели в случае обычного 3 D-дисплея с регулярным параллаксбарьером. А так как зон видения всего две (для правого и левого глаз), возможность попадания наблюдателя в инверсную зону видения исключена. Кроме того, наблюдатель видит каждый из ракурсов стереопары в полном разрешении, соответствующем разрешению фронтальной матрицы. Описанная конструкция реализована в виде дисплея Smartr. ON фирмы Neur. Ok. 24
• Дисплеи с линзовым растром. • Наряду с параллакс-барьером, для сепарации ракурсов стереопары применяется активный линзовый растр (lenticular screen). Линзовый растр представляет собой прозрачную пластину, одна из сторон которой плоская, а другая имеет форму примыкающих друг к другу цилиндрических линз [2]. Как и в случае с параллакс-барьером, линзовый растр применяется совместно с кодированным изображением, состоящим из чередующихся элементов правого и левого ракурсов. Каждая линза растра приходится на два столбца кодированного изображения. Благодаря фокусирующему свойству цилиндрической линзы световые потоки от четных и нечетных столбцов матричного дисплея разделяются в пространстве и попадают, соответственно, в левый 25 и правый глаза наблюдателя.
• Процесс изготовления линзового растра достаточно сложен, поэтому первые линзовые растры появились только в начале XX века. В нашей стране методика изготовления первых линзовых растров и теория их применения были разработаны сотрудниками НИКФИ. Так, в 1947 в Москве открылся кинотеатр "Стереокино" с линзорастровым экраном, а в 1972 году на кафедре телевидения ЛЭИС на основе двух линзовых растров был создан просветный экран, который использовался для воспроизведения многоракурсного телевизионного изображения. А вот компактные линзорастровые дисплеи на основе LCD и плазменных панелей (PDP) появились сравнительно недавно — около десяти лет назад. • Рассмотрим особенности линзорастрового 3 D-дисплея. Так же как и параллакс-барьер, линзовый растр обладает множащим свойством, то есть в области наблюдения тоже формируются чередующиеся зоны видения для правого и левого глаз, а потому существует возможность попадания наблюдателя в инверсные зоны. Линзорастровый дисплей, так же как и дисплей с параллакс-барьером, способен воспроизводить более двух ракурсов, однако разрешение каждого ракурса уменьшается 26 пропорционально их количеству.
• 3 D-дисплей с линзовым растром имеет следующие достоинства. • Во-первых, это повышенная яркость изображений каждого из ракурсов благодаря применению линз вместо непрозрачных щелей. • Во-вторых, зона видения каждого ракурса имеет ширину, равную глазному базису (65 мм), причем сепарация ракурсов приближается к максимально возможному значению на протяжении всей зоны видения (рис. 7). Это означает, что наблюдатель может смещаться по горизонтали в пределах примерно 6 см без заметного ухудшения качества стереоизображения. 27
• В-третьих, на изображении каждого из ракурсов нет заметных вертикальных черных полос. Избранные столбцы (четные или нечетные) кодированного изображения мы видим через цилиндрические линзы, вплотную примыкающие друг к другу. Можно сказать, что изображение ракурса в случае использования линзового растра формируется путем удвоения ширины избранных столбцов кодированного изображения (рис. 8). В отличие от параллакс-барьера, линзовый растр размещается исключительно поверх матричного дисплея, воспроизводящего кодированное изображение. 28
• Поэтому линзорастровый 3 D-дисплей неспособен воспроизводить обычное 2 D-изображение в полном разрешении и не может применяться как полноценная замена обычному ТВприемнику или монитору. Указанный недостаток делает серийное производство двухракурсных линзорастровых стереодисплеев технически непривлекательным. 29
• Изменить ситуацию можно за счет повышения зрелищности изображения, формируемого дисплеем, например путем увеличения количества воспроизводимых ракурсов и создания тем самым эффекта оглядывания трехмерной сцены. Однако при наличии, например, девяти ракурсов разрешение формируемого изображения каждого ракурса уменьшится в девять раз по горизонтали, что приведет к неприемлемому снижению качества картинки (рис. 9). 30
• Решением проблемы может послужить использование наклонного линзового растра [3]. При угле поворота (наклона) линзового растра в 9, 460 (arctg(1/6)) появляется возможность раздельного воспроизведения девяти ракурсов, причем разрешение каждого из ракурсов снижается по горизонтали и по вертикали одинаково — в три раза (рис. 10). 31
• Как видно из рис. 9, формируемые изображения каждого из ракурсов имеют приемлемое качество по сравнению с изображениями, в которых разрешение уменьшалось в девять раз только в одном направлении — по горизонтали. Наклонный линзовый растр применяется в дисплеях Syntha. Gram американской фирмы Stereo. Graphics (ныне принадлежит фирме Real. D), дисплеях 3 DWOW голландской фирмы Philips и аналогичных дисплеях других фирм, например Super. D (HDL-46). • Для работы девятиракурсных дисплеев требуется входной сигнал, содержащий информацию о девяти ракурсах сцены. Так, для дисплеев Syntha. Gram и Super. D в стандартном сигнале, например с разрешением 1920 х1080, необходимо разместить девять изображений с разрешением 640 х360 в три ряда и три столбца. 32
• Получить девять ракурсов сцены и при натурной съемке, и в программах трехмерного моделирования достаточно сложно, поэтому фирма Philips выбрала другой формат представления данных об объеме сцены — "2 D+depth map", то есть один ракурс сцены и соответствующая этому ракурсу карта глубины (рис. 11). 33
• • Формат очень удобен при получении объемного изображения на персональном компьютере. В случае же натурной съемки требуется либо специальная камера, способная фиксировать расстояние до объектов в кадре, (например, камера японской фирмы NHK), либо конвертация из обычного стереоскопического изображения. Дисплей Philips самостоятельно выполняет преобразование сигнала из формата 2 D + Depth map в девятиракурсное изображение. При расчете каждого нового ракурса положение объектов сцены изменяется, и требуется восстановление изображений новых элементов сцены. Однако кроме информации об удалении предмета (Depth map) никакой информации о его "внешнем виде", наблюдаемом под другим ракурсом, в формате не приводится. Поэтому образующиеся в кадре "черные области" замещаются экстраполяцией участков изображения фона [4]. Для частичного устранения указанной проблемы в дисплее Philips предусмотрена поддержка формата Declipse, в котором дополнительно передается информация об изображении фона. В дисплее Philips также реализована функция повышения качества изображения в режиме 2 D. Как уже говорилось выше, при использовании линзового растра формируется девять ракурсов, но разрешение каждого в девять раз меньше разрешения LCD. И казалось бы, единственной возможностью получения полноценного двухмерного изображения является механическое удаление растра с поверхности экрана LCD. Однако инженеры Philips нашли другое решение — 34 управление преломляющей способностью линз.
• Линзовый растр выполнен из двух различающихся по показателю преломления материалов: прозрачного полимера и ЖКвещества (ЖКВ), разделенных перегородкой, идентичной по форме поверхности линзового растра (рис. 12). На двухслойную конструкцию с обеих сторон наложены прозрачные токопроводящие электроды. При отсутствии электрического поля коэффициенты преломления двух слоев пластины различаются, и она ведет себя как линзовый растр, собирая расходящиеся пучки света в сходящиеся. 35
• При появлении электрического поля молекулы ЖКВ разворачиваются в направлении его силовых линий, и коэффициенты преломления ЖКВ и полимера становятся приблизительно одинаковыми. Двухслойная конструкция ведет себя почти как плоскопараллельная пластина из прозрачного материала, и разрешение изображения в режиме 2 D повышается. Однако качество картинки при этом все равно довольно низкое и дисплей Philips не может использоваться как полноценная замена обычному LCD. Линзорастровые автостереоскопические дисплеи, благодаря возможности наблюдения многоракурсного изображения без каких-либо очков, широко используются в рекламной сфере, например для представления нового продукта в витринах 36 магазинов, на выставках и презентациях.
37
38
300 Ф А К У Л Т Е Т Ы Ректорат Отдел Ректор 3 этаж Проректор 2 этаж Пр Приемный монитор 3 этаж 1 этаж П 1 этаж ЛУ 39
300 УЗТС звук камера К О М М У Т А Т О Р 300 Пульт распределитель IIIIII Видеомагнитофонное воспроизведение Видеомагнитофонная запись Монитор контрольный ЛУР Сервер 40
41
42
43
5 Амир 3 D ТВ.ppt