Мы написали интересный доклад по технологиям виртуальной реальности для конференции EVA Florence 2015 (Флоренция, Италия). Статья нигде не публиковалась и, поскольку тема интересная и не слишком освещенная на Geektimes, решили разместить её здесь. Приводим адаптированный русский вариант статьи, в случае необходимости, любые дополнения, ссылки, примечания добавим.


Видео 360 + бинауральный звук

Введение

По мере эволюции компьютерной игровой индустрии и технологий виртуального представления объектов (3D-моделирование, фотопанорамы) одновременно совершенствовались устройства для индивидуального и коллективного погружения в среды виртуальной реальности. Подобные устройства и системы, за счет эффекта присутствия, позволяют человеку оказаться внутри виртуального мира: компьютерной игры, виртуального музея, виртуальной экскурсии и т.д.

В 2013 году появился прототип шлема виртуальной реальности нового поколения – Oculus Rift (Рис. 1.) от компании Oculus http://www.oculus.com, собравший более $90 млн. на краудфандинговых площадках в США, а также от различных инвесторов. Отличительной особенностью шлема Oculus Rift является линзовый способ построения изображения – зритель, надевший шлем, смотрит на стерео-изображение не напрямую, а через специальные асферические линзы. С помощью линз удалось существенно расширить угол обзора, сделав его близким к биологическому зрению человека (110° против 45-50° в обычных очках), благодаря чему шлем обеспечивает необыкновенно глубокое погружение в виртуальную реальность. Данная особенность определила дальнейшую судьбу очков – проект стал одним из самых динамично развивающихся в индустрии, по всему миру стали создаваться экспериментальные приложения для Oculus Rift, а в 2014 году произошла одна из рекордных сделок в индустрии – Facebook осуществил покупку компании Oculus за $2 млрд.


Рис. 1. Шлем виртуальной реальности Oculus Rift DK2 и пользователь, 2014 г.

Конец 2014 года был ознаменован появлением целого ряда различных шлемов (или, точнее сказать, — гарнитур) виртуальной реальности, построенных по аналогичному принципу и предназначенных для использования вместе со смартфоном. В гонку по созданию таких продуктов включились крупные компании — Samsung (Samsung Gear VR), Google (Google Cardboard), HTC (HTC Vive), также возникло множество стартапов по изготовлению шлемов – Homido (Франция), Fibrum (Россия), ColorCross (Китай) и другие (Рис. 2.).

Принципиальным отличием этих гаджетов от Oculus Rift являлось то, что перечисленные шлемы использовали в качестве экрана смартфон, вставляющийся внутрь шлема. Таким образом, отпала необходимость в использовании компьютера и соединительных проводов для подключения Oculus Rift, а стоимость шлема упала до $30.


Рис. 2. Гарнитуры виртуальной реальности

В настоящий момент (май 2015 г.) гарнитуры виртуальной реальности поддерживаются больши'м количеством компьютерных игр (Half-Life 2, Team Fortress 2, Mirror’s Edge, War Thunder,EVE Valkyrie (ex. EVR) от CCP, DCS: World, Ил-2 Штурмовик «Битва за Сталинград», Euro Truck Simulator 2, Minecraft, Live For Speed) и несколькими игровыми движками (CryEngine, Unreal Engine (версии 3 и 4), Unity, Unigine, Source, CopperCube, полный список. Виртуальную реальность можно просматривать и без шлема — вращая смартфон, но при этом существенно уменьшается эффект присутствия.

Появился и активно распространяется новый формат развлечений — аттракцион «виртуальная реальность», где клиент за небольшую плату может оказаться в 3D-мире. Один из таких аттракционов был собран и в Центре дизайна и мультимедиа ИТМО и неизменно пользуется успехом у зрителей (Рис. 3.).


Рис. 3. Губернатор Санкт-Петербурга Г.С. Полтавченко знакомится с аттракционом «Виртуальная реальность» (Санкт-Петербург, Россия, осень 2014 г.)

Использование гарнитур виртуальной реальности в образовательных и научно-исследовательских целях позволяет представлять объекты культуры (архитектурные объекты или музейные экспонаты) с новой степенью детализации и возможностями для просмотра пользователем.

Использование технологии видео 360° для культуры и искусства

С появлением гарнитур виртуальной реальности стало особенно актуальным направление фото и видео панорам, а также использование технологии Видео 360° в различных сферах – от музеев и интерактивных видео-экскурсий до съемки музыкальных и театрализованных представлений. В частности, концерт, записанный в таком формате, производит неизгладимое впечатление – зритель, надев шлем виртуальной реальности, оказывается прямо на сцене среди любимых музыкантов или актеров.

Центр дизайна и мультимедиа ИТМО в рамках проекта Video360Production одним из первых в России начал эксперименты по разработке технологии Видео 360 для шлемов виртуальной реальности. Один из первых экспериментов, проведенных совместно с Центром 3D-технологий СПбГУТ – съемка спектакля «Выбор» (театр «АХЕ», Санкт-Петербург, Россия, лето 2014 г.), адаптированная для воспроизведения в Oculus Rift DK1 (Рис. 4.).


Рис. 4. Спектакль «Выбор», в режиме стерео-пары (театр «АХЕ», Санкт-Петербург, Россия, лето 2014 г.)

Особенностью данной экспериментальной съемки являлось то, что съемка была произведена на обычную 3D-камеру — при просмотре через шлем виртуальной реальности пользователь видел стерео-эффект (для каждого глаза создавалась своя картинка), однако позиционирование по положению головы отсутствовало.

Большим успехом в разработке технологии Видео 360 стала съемка концерта Пола Маккартни, проведенная американской компанией Jaunt в августе 2014 г.


Рис. 5. Концерт Пола Маккартни, в формате 3D видео 360° («Live and Let Die», live at Candlestick park, San Francisco, США, 14 авг. 2014 г.)

В продолжение экспериментов по съемке культурно-массовых мероприятий с возможностью просмотра в шлеме виртуальной реальности, сотрудниками Центра дизайна и мультимедиа ИТМО было разработано специализированное оборудование для записи видео 360° для различных сценариев – статические сцены (камера стоит неподвижно в одной точке), динамические сцены (камера движется по выбранной траектории, управляемая дистанционно), различные способы крепления (катер, квадракоптер, шлем и др.).

Устройства для съемки видео 360°

Создание контента в формате видео 360° к настоящему моменту не является тривиальной задачей, несмотря на то, что разработано специализированное оборудование (видео-камеры 360°) и программное обеспечение для последующей обработки материала.

Постепенное распространение технологии можно объяснить целым рядом сложностей: большой объем обрабатываемых материалов, частично ручной процесс обработки, дороговизна оборудования, и, самое главное, — отсутствие удобного средства просмотра. Действительно, до появления гарнитур виртуальной реальности единственным способом просмотра видео 360° был специализированный плеер, в котором пользователь имеет возможность крутить мышкой видео «вокруг себя».

С появлением гарнитур виртуальной реальности ситуация изменилась – пользователь оказывается «внутри» видео и ощущает практически полную степень погружения в виртуальное пространство. В большом количестве появились различные творческие группы и стартапы, реализующие собственные технологические решения для съемки видео 360°, отличающиеся заметным разнообразием и характеристиками (Рис. 6-7).


Рис. 6. Различные компоновки камер для съемки фото и видео 360°

Особенно необычно выглядят решения, позволяющие снимать видео 360° в 3D формате (для каждого глаза создается своя видео-сфера, затем они совмещаются в специализированном плеере для воспроизведения). 3D видео 360° дает зрителю ощущение пространства более сильное, чем в обычном «моно» варианте, однако требует существенно больше ресурсов – как для обработки материалов, так и для решения различных технических задач. В частности, отдельной является проблема верхних камер и их размещения (таким образом, чтобы при любом повороте головы наверх зритель видел правильную картинку) (Рис. 7).


Рис. 7. Различные компоновки камер для съемки фото и видео 360,
включая стерео-компоновку для 3D видео 360 (на примере камер 360 Heros)

Бинауральный звук

Особой задачей при создании контента для виртуальной реальности, будь то 3D-моделирование или «Видео 360°» является запись и воспроизведение объемного звука – ведь пользователь, находясь в виртуальной реальности, должен слышать разный звук в зависимости от положения головы!

В компьютерных игровых движках эта проблема решена с помощью специальных программных средств, задающих расположение источников звука в виртуальном пространстве. Однако с появлением формата «Видео 360°» и возможности записи в этом формате музыкальных концертов, возникла необходимость записывать звук предельно точно – так, как его слышит человек, стоящий в определенной точке.

Для этой цели исследователи используют т.н. бинауральный звук – он записывается на специальные микрофоны, по форме повторяющие ушную раковину человека.


Рис. 8. Устройства для записи бинаурального звука от компании 3Dio

Одна из самых известных работ, снятых при помощи технологии бинаурального звука – концерт группы Beck:


Рис. 9. Beck, «Hello again» («Sound and Vision», 2013 г.)


Рис. 10. Beck, «Hello again» («Sound and Vision», 2013 г.)

Хостинг видео 360°

В связи с быстрым распространением технологии актуальным является вопрос организации хостинга для файлов в формате «Видео 360°». Важной составляющей такого хостинга является возможность не только воспроизвести видео с возможностью вращения мышкой, но и адаптация для гарнитур виртуальной реальности, как стационарных (Oculus Rift), так и мобильных.

В данный момент, полноценную поддержку «Видео 360°» осуществляют всего несколько сервисов – французский Kolor(на момент написания статьи куплен американской компанией GoPro), также частичную поддержку Видео 360 в 2015 году сделал Youtube (есть возможность вращения мышкой, но нет адаптации для гарнитур виртуальной реальности).

Борисов Николай Валентинович
Центр дизайна и мультимедиа, Университет ИТМО
Кафедра информационных систем в искусстве и гуманитарных науках, СПбГУ

Смолин Артем Александрович
Кафедра инженерной и компьютерной графики, Центр дизайна и мультимедиа, Университет ИТМО
Кафедра информационных систем в искусстве и гуманитарных науках, СПбГУ

Столяров Денис Андреевич
Центр дизайна и мультимедиа, Университет ИТМО
Кафедра математической лингвистики, СПбГУ

Наши контакты:
Проект Video360Production.com
denis1900@mail.ru Столяров Денис