Авторы научно-фантастических произведений в своих трудах описывают технологии, которые казались чем-то невероятным в период жизни того или иного автора. Часть из этих вымышленных технологий в результате научного прогресса стали реальностью. Другие же до сих пор существуют лишь в теоретической плоскости. Одной из распространенных технологий, ассоциированных с миром будущего, являются голографические дисплеи. Зачатки этой технологии уже существуют, но их пока сложно назвать полноценными. Большинство из них имеют низкий геометрический фактор (этендю), что приводит либо к снижению поля зрения, либо к снижению размеров дисплея. Ученые из Принстонского университета (США) смогли обойти эти ограничения, достигнув высоких значений этендю. Что именно сделали ученые, какие результаты их работы, и что значит для технологии голографических дисплеев? Ответы на эти вопросы мы найдем в докладе ученых.
Основа исследования
Голография — это метод регистрации информации, основанный на интерференции волн (взаимное увеличение или уменьшение результирующей амплитуды двух или нескольких когерентных волн при их наложении друг на друга). Эта дисциплина имеет приложения в разных областях, особенно в устройствах виртуальной и дополненной реальности. Хотя статические голограммы можно создавать с помощью подходящего носителя записи, в современных голографических дисплеях обычно используются пространственные модуляторы света (SLM от spatial light modulator), которые динамически модулируют волновой фронт когерентного луча. Однако, несмотря на то, что SLM являются фундаментальной основой голографии, они страдают от небольших углов дифракции, вызванных ограничениями современной технологии жидких кристаллов на кремнии (LcoS от liquid crystal on silicon).
Достижение динамического управления с помощью LCoS вызывает ряд инженерных проблем (например, пропускная способность дисплея, перекрестные помехи между пикселями, энергопотребление). Следовательно, этендю* голографических дисплеев фундаментально ограничено при сохранении компактного размера SLM.
Этендю* (геометрический фактор) — физическая величина, характеризующая то, насколько свет в оптической системе «расширен» по размерам и направлениям. Эта величина соответствует параметру качества пучка (BPP от beam parameter product) в физике Гауссовых пучков.Голографическим дисплеям приходится жертвовать полем зрения в угоду размеров дисплея или наоборот, хотя оба эти параметра имеют решающее значение для большинства приложений. Для устройств виртуальной/дополненной реальности (VR/AR от virtual reality / augmented reality) желательны поле зрения не менее 120° и размер поля зрения более 10 × 10 мм, при этом размер окна глаза или дисплея определяется как область, внутри которой должен находиться глаз, чтобы видеть голограмму. Для достижения этендю, необходимого для этих спецификаций, требуется более одного миллиарда пикселей SLM, что на два порядка больше, чем то, чего достигает сегодняшняя технология LcoS. Изготовление такого дисплея и динамическое управление им выходят за рамки современных производственных и вычислительных возможностей.
Для решения этой проблемы было предложено несколько методов, включая динамическую обратную связь в форме отслеживания взгляда, пространственную интеграцию с несколькими SLM и временную интеграцию с лазерными матрицами или цифровыми микрозеркальными устройствами с быстрым переключением. Однако эти подходы требуют дополнительных динамических компонентов, что приводит к высокой сложности, большим форм-факторам, точным временным ограничениям и дополнительному энергопотреблению.
Вместо этого исследователи изучили возможность расширения площади дисплея за счет использования оптических элементов со свойствами случайного рассеяния перед SLM. Статическая природа этих элементов позволяет создавать области пикселей микронного размера, что на порядок ниже, чем у динамических элементов, таких как SLM. Это приводит к увеличению угла дифракции. Однако существующие элементы этого типа демонстрируют случайное рассеяние, которое не зависит от оптической установки и отображаемых изображений. Поскольку современные SLM имеют ограниченную степень свободы в формировании волнового фронта, случайная модуляция, создаваемая этими рассеивающими элементами, приводит к образованию расширенных голограмм с малым этендю.
В рассматриваемом нами сегодня труде ученые попытались обойти все вышеописанные ограничения с помощью нейронных расширителей этендю, нового поколения статических оптических элементов, которые были оптимизированы для расширения этендю и точного воспроизведения естественных изображений в сочетании с SLM.
Результаты исследования
Изображение №1
Голографические дисплеи модулируют волновой фронт когерентного светового луча с помощью SLM для формирования изображения в заданном месте. Затем этендю голографического дисплея определяется как произведение области А SLM и телесного угла дифрагированного света как:
где θs = sin-1(λ/2Δs) — максимальный угол дифракции SLM, λ — длина волны света, а Δs — шаг пикселя SLM. Большинство SLM имеют большие Δs, что приводит к малым θs (1a). Ученые увеличивали этендю дисплея, помещая нейронный расширитель этендю перед SLM в виде статического оптического элемента с шагом пикселя Δn < Δs (1b). Меньший шаг пикселя Δn увеличивает максимальный угол дифракции θn, что приводит к увеличению этендю Gn =4Asin2θn.
Для создания высокоточных голограмм с расширением этендю ученые предложили вычислительный метод обратного проектирования, который изучает модуляцию волнового фронта нейронного расширителя этендю, рассматривая его как слой обучаемых нейронов, которые обучаются минимизировать потери, вносимые в сформированное голографическое изображение (1c). В частности, проводилось моделирование формирования голографического изображения полностью дифференцируемым образом, следуя оптике Фурье. Связывание отображаемого голографического изображения (I) с модуляцией волнового фронта нейронного расширителя этендю (E) как:
где F — двумерное преобразование Фурье, S — модуляция SLM, U(⋅) — оператор повышающей дискретизации нулевого порядка из SLM с низким разрешением в нейронный расширитель этендю с высоким разрешением, ⊙ — произведение Адамара.
Дифференцируемость уравнения №2 по переменным модуляции E и S позволяет изучить оптимальную модуляцию волнового фронта нейронного расширителя этендю (E) путем оптимизации статического нейронного расширителя совместно с динамическими шаблонами модуляции SLM. SLM и нейронный расширитель этендю взаимодействуют для создания высококачественной голограммы. Эту совместную оптимизацию можно сформулировать как:
где Sk — модуляция волнового фронта SLM для k-го целевого изображения Tk в наборе данных естественных изображений с K обучающими выборками, * — оператор свертки, а f — фильтр Баттерворта нижних частот, аппроксимирующий разрешение сетчатки пользователя как функцию среза частоты:
где F-1 — обратное двумерное преобразование Фурье, w — пространственная частота, а c — частота среза. Ученые установили c равным (ΔnN)/√π, где N — количество пикселей SLM.
Это позволяет использовать собственную полосу пропускания SLM только для низкочастотных функций, которые воспринимает человек. Затем можно настроить поле зрения и размер окна обзора так, чтобы было достигнуто угловое разрешение не менее 60 пикселей на градус.
Цель оптимизации в уравнении №3 заключается в оптимизации одного статического элемента (E) и набора шаблонов SLM (S{1,...,K} f1,:::,Kg) так, чтобы набор сгенерированных голограмм соответствовал целевому набору естественных изображений T{1,...,K}. Эта целевая функция полностью дифференцируема относительно модуляций волнового фронта SLM и нейронного расширителя этендю.
В ходе обучения использовалось 105 изображений высокого разрешения. Во время тестирования использовалось 20 изображений. Процедура обучения не использовала никакого временного мультиплексирования и оптимизируется только для максимального качества реконструкции, которого можно достичь с помощью одного кадра SLM и одного расширителя.
Изображение №2
Далее ученые приступили к экспериментальной проверке нейронного расширения этендю с помощью прототипа голографического дисплея (2a). Расширители этендю были изготовлены с шагом в 2 мкм, затем их размещали в сопряженную плоскость SLM для установления попиксельного соответствия между SLM и расширителем. Блок постоянного тока дополнительно использовался для фильтрации недифрагированного света от SLM. Для оценки предлагаемых элементов ученые также сравнивали их с изготовленными бинарными случайными расширителями, разработанными для 660 нм. Снимки микроскопии обоих расширителей показаны на 2b.
В ходе опытов были получены голограммы, соответствующие обычной голографии без расширения этендю, голограммы с 64 × этендю, созданные с помощью двоичных случайных расширителей, и голограммы 64 × этендю, созданные с помощью нейронных расширителей. Длины волн освещения составили 450 нм, 520 нм и 660 нм (2c и видео №1).
Видео №1
Результаты экспериментов подтвердили, что стандартная голография без расширения этендю способна создавать голограммы высокого разрешения, но с небольшим полем зрения. Увеличение этендю с помощью двоичного случайного расширителя приводило к увеличению поля зрения, но и к снижению качества голограммы. Использование нейронных расширителей этендю позволило создать голограммы, обладающие и высоким разрешением, и большим полем зрения (2d).
В то время как экспериментальный прототип был построен для HOLOEYEPLUTO с разрешением 1K пикселей, что соответствует окуляру диаметром 1 мм и углом обзора 77.4° по горизонтали и вертикали, улучшение точности голограмм сохраняется при любом разрешении.
Изображение №3
Чтобы охарактеризовать реконструкцию голограммы с помощью предложенного нейронного расширителя этендю, ученые смоделировали голографическую установку Фурье, которая была дополнена нейронным расширителем. На 3a представлены качественные примеры трихроматических и монохроматических реконструкций, достигнутых с помощью нейронных расширителей этендю, бинарных случайных расширителей, фотонных сит и обычной голографии.
Обычная голография подвержена низкому расширению изображения, которое ограничено собственным разрешением SLM, что приводит к низкому полю зрения. Фотонные сита, бинарные случайные расширители и однородные случайные расширители имеют низкую точность реконструкции, что приводит к сильному шуму и низкому контрасту в генерируемых голограммах. В случае трихроматических голограмм как однородные, так и бинарные случайные расширители не способствуют последовательному расширению этендю на всех длинах волн, что приводит к хроматическим артефактам. Фотонные сита рассеивают свет одинаково по длинам волн, но их рандомизированная амплитудная модуляция не позволяет с высокой точностью восстанавливать естественные изображения (3d). Нейронное расширения этендю оказалось единственным методом, который облегчает высококачественную реконструкцию как для трихроматических, так и для монохроматических установок.
Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых и дополнительные материалы к нему.
Эпилог
В рассмотренном нами сегодня труде ученые описали новый метод генерации голограмм, основанный на нейронном расширении этендю.
Голограммы обладают реальной глубиной, так как они трехмерны, а вот обычные мониторы лишь имитируют глубину на двумерном экране. Учитывая, что мы видим в трех измерениях, голограммы могут быть легко интегрированы в то, что мы видим. Результатом этой интеграции являются дисплеи виртуальной или дополненной реальности. Надевая очки виртуальной реальности, мы можем двигать головой в разные стороны, при этом трехмерные объекты будут оставаться в поле зрения.
Если же подобный эффект попробовать реализовать с помощью монитора, то пользователю пришлось бы сидеть вплотную пред экраном. Оптические элементы, которые используются для воссоздания трехмерных объектов, достаточно малы и потенциально могут поместиться в обычных очках. Для дисплеев виртуальной реальности, использующих монитор, как и для нынешних дисплеев, требуется полноценная гарнитура. И они, как правило, громоздки, поскольку в них необходимо разместить экран и оборудование, необходимое для его работы.
Ученые отмечают, что голография может сделать гарнитуру для виртуальной или дополненной реальности значительно меньше в размерах. Чтобы в такой модификации была суть, визуализированные объекты, сцены и изображения должны обладать высоким разрешением. Голографические изображения создаются небольшим чипоподобным устройством, называемым пространственным модулятором света. Это устройство позволяет получать либо малые и качественные изображения, либо большие и некачественные.
Авторам исследования удалось обойти это ограничение. Им удалось создать оптический элемент, который работает в паре с оптическим модулятором. Данное устройство фильтрует свет пространственного модулятора света, чтобы расширить поле зрения, сохраняя при этом стабильность и точность изображения. Оно создает увеличенное изображение с минимальным снижением качества.
Разработанное с помощью искусственного интеллекта и оптических технологий устройство напоминает линзу из матового стекла. Важной его частью является узор, нанесенные на его поверхность, который позволяет определенным образом рассеивать свет, создаваемый пространственным модулятором света, перемещая некоторые элементы изображения в диапазоны частот, которые нелегко воспринимаются человеческим глазом. Это улучшает качество голографического изображения и расширяет поле зрения.
Ученые уверяют, что их труд еще на шаг приблизил нас к созданию полноценных голографических устройств, которые так любят писатели-фантасты. Однако до этого еще далеко. Ученым предстоит еще много работы, которая будет включать объединение результатов исследований из множества ветвей науки.
Немного рекламы
Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
Dell R730xd в 2 раза дешевле в дата-центре Maincubes Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?
