Исследователи из Массачусетского технологического института разработали новый способ быстрого создания голограмм. Основанный на глубоком обучении метод может генерировать голограммы на ноутбуке моментально.
Кроме того, этот способ позволяет быстро создавать фотореалистичные цветные 3D-голограммы даже на смартфоне. Новой технологии можно найти применение в гарнитурах виртуальной и дополненной реальности и других приложениях.
Голографические видеодисплеи создают 3D-изображения, которые люди могут смотреть, не чувствуя напряжения глаз. Это отличает их от обычных 3D-дисплеев, которые создают иллюзию глубины с помощью 2D-изображений. Однако, хотя такие компании, как Samsung, недавно добились успехов в разработке оборудования, которое может отображать голографическое видео, фактическое создание голографических данных для отображения на таких устройствах остается серьезной проблемой.
Каждая голограмма кодирует большой объем данных, чтобы создать иллюзию глубины. Таким образом, создание голографического видео часто требует вычислительных мощностей.
Исследователи пытались задействовать ряд различных стратегий, позволяющих сократить количество необходимых вычислений, например, заменив сложные физические симуляции простыми справочными таблицами. Однако это приводит к снижению качества изображения.
Ведущий автор нового исследования Лян Ши отмечает, что использование физического моделирования для компьютерной голографии предполагает вычисление внешнего вида множества фрагментов голограммы с последующим их объединением. По его словам, использование таблиц поиска похоже на запоминание набора часто используемых фрагментов голограммы, но это сказывается на точности и требует шага комбинирования, что отнимает время.
Новый метод от МТИ использует глубокое обучение. Сверточная нейронная сеть изучает ярлыки для создания полной голограммы без необходимости отдельно вычислять, как выглядит каждый ее фрагмент.
Сначала исследователи создали специальную базу данных из 4000 сгенерированных компьютером изображений, каждое из которых включало информацию о цвете и глубине для каждого пикселя. Эта база данных также включала трехмерную голограмму, соответствующую каждому изображению.
Используя эти данные, сверточная нейронная сеть научилась вычислять, как лучше всего создавать голограммы из изображений. Она может создавать новые голограммы из изображений с информацией о глубине, которая предоставляется с типичными компьютерными изображениями и может быть рассчитана с помощью многокамерной установки или с помощью лидарных датчиков. Такие датчики уже присутствуют на некоторых новых iPhone.
Новая система требует менее 620 килобайт памяти и может генерировать 60 цветных 3D-голограмм в секунду с разрешением 1920х1080 пикселей на одном графическом процессоре потребительского уровня. Исследователи смогли запустить ее на iPhone 11 Pro со скоростью 1,1 голограммы в секунду и на TPU Google Edge со скоростью 2 голограммы в секунду.
По мнению авторов разработки, в недалеком будущем она сможет генерировать голограммы в реальном времени. Это поможет улучшить так называемые методы объемной 3D-печати, которые создают 3D-объекты путем проецирования изображений.
Ученые отмечают, что их метод может также найти применение в оптических и акустических пинцетах и в голографических микроскопах.
В будущих исследованиях в систему могут добавить технологию слежения за глазами. Это позволит создавать голограммы с учетом остроты зрения человека, поэтому пользователям в очках не понадобятся специальные гарнитуры VR.
Ранее группа исследователей сообщила о новом методе создания акустических голограмм. Улучшенная техника дает более высокую чувствительность и фокусирующий эффект, чем предыдущие методы. Особенность предложенной исследователями техники заключается в том, что она обладает высокой чувствительностью и поддерживает хороший фокусирующий эффект благодаря голографической линзе. Эти особенности приведут к меньшим потерям на рассеяние и распространение.
