Иммерсивное (360° видео) – краткий обзор современных технологий

    Недавняя публикация на одном из популярных сайтов Рунета подтолкнула меня к тому, чтобы сделать небольшой обзор современного состояния технологий так называемого иммерсивного («объемного», 3D 360°), видео. Для тех, кто, возможно, подобного еще никогда не видел, в двух словах это можно описать как Google Street View, только вместо статичных фото используется видео.


    Иммерсивное видео – видеозапись реального места/события, предусматривающая одновременную съемку изображения во всех направлениях (с охватом до 90..96% условной сферы вокруг камеры, кроме ее стойки). При проигрывании позволяет зрителю управлять (мышью, с помощью touch-screen или поворотом головы в случае использования специальных очков) направлением наблюдения, степенью приближения, а также скоростью показа [Wikipedia].

    Проще и быстрее это понять, конечно, на примерах: 1, 2, 3 (не забываем работать мышкой :)

    Где это может быть полезно: картирование и георазведка, видеонаблюдение и тренировка/подготовка военных, съемка туристических и проч. достопримечательностей, недвижимости и др. продаваемых объектов, реклама, съемка исторических событий и ТВ-программ, а также, вполне возможно, совершенно новый формат художественных фильмов. Если технология пойдет в массы и станет более-менее доступной финансово, безусловно, и just for fun :)

    Поиск по сети позволил обнаружить несколько проектов, активно занимающиеся разработкой в данном направлении. Это, в частности:


    Immersive Media (ранее на Хабре)– американская компания, созданная в 1994 г., первое иммерсивное видео сняли в 1995 г. В 2004 разработали первую сферическую полностью цифровую видеокамеру (Dodeca System). С 2006 г. развивают проект GeoImmersive City Collect – видео аналог Google Street View для крупных городов США и Канады (сайта с этими самими видео я почему-то, правда, так и не нашел). Прошли IPO, торгуются на рынке. Некоторое время поставляли StreetView-фотоданные для Google, но потом дорожки компаний, похоже, разошлись.

    Ключевой продукт компании IM – камера Dodeca 2360. Вкратце: додекаэдр с 11 объективами, снимает видео 30 fps (2400х1200 пикселей/фрейм); весит ~11,34 кг и может устанавливаться на различные транспортные средства, а также посредством специального каркаса вешаться на спину (в т.ч. парашютистам, серфингистам и проч.). Видео может дополняться метаданными (напр., GPS-координатами сьемки).



    Хотя сама IM больше не занимается съемкой для Google, последняя использует именно камеры Dodeca 2360. Стоят они, судя по всему, немало – $45 000, плюс каждая миля готового видео обходится еще в $125-700 (а только по США уже накатано, по крайней мере, 50 тыс. миль).



    Закономерно, что для показа своих видео компания разработала свой flash-плеер; предоставляет SDK для внедрения видео в сторонние приложения (есть интерфейсы для C++, C#, ActiveX, XPCOM).
    Разрабатывает приложение IM GIS Viewer (рис. ниже), позволяющий одновременно смотреть иммерсивное видео и наблюдать местоположение камеры на карте, также инструменты для обозначения точек, сохранения кадров и проч. Неплохое видеоописание данного приложения можно увидеть здесь (англ.).



    Ну и, наконец, есть достаточно много примеров иммерсивного видео, например, под водой, бейс-джампинг, американские горки и проч.

    Другая компания, которую мне удалось найти — yellowBird. Эта значительно моложе и меньше, была основана Marc Groothelm и Rafaël Redczus в марте 2009 г.

    Используют камеру с 6 объективами, генерирующую до 1200 Мбит/сек данных, со стереомикрофоном, пишущим звук при 96 кГц. Также весьма маленькая и может устанавливаться на транспорт или носиться человеком.

    На текущий момент якобы используется преимущественно для съемки разнообразных фестивалей, но в принципе может применяться и для других нужд, упомянутых выше. Собственно, в сети имеется только один пример их работы, как раз «фестивальный».

    В целом идея вроде бы «лежит на поверхности», и технологии, необходимые для ее реализации, вполне доступны, поэтому вполне вероятно, что имеются и другие начинания в данном направлении.

    Другие интересности по теме:

    * Известно, что подобную технологию используют американские военные для обучения своих солдат (там, кстати, используются очки для ВР и управление возможно поворотами головы) – видео.

    * Для тех, кому Dodeca 2360 не по карману, уже есть более бюджетные варианты, например, LadyBug2 (8 камер Sony 1/3" CCD по 0,8 мегапикселей, охватывающих 75% пространства; картинка 1024x768 на 30 fps по IEEE-1394b интерфейсу). Стоит около $10 000 (тут продавали б/у за $7500 :)

    * 360videoblog.blogspot.com – свежий (с июня 2009 г.) блог о 360° видео.

    Комментарии 18

      0
      Ничего — «Кулибыны» не дремлют :)
      Будет спрос будет и предложения.
      • НЛО прилетело и опубликовало эту надпись здесь
          0
          Кто знает :) Но не удивлюсь, если над этим уже работают.

          К слову, как написано в статье, Google использует Dodeca 2360, которая может снимать видео, но в Street View-то мы видим только фото-панорамы. Возможно, их используют только в фото-режиме, а может, Google просто еще не выкладывает видео (т.к. это заметно больший трафик и более трудоемко, а монетизация картографических сервисов, похоже, еще не столь большая) и просто его накапливает (?)
            +1
            Мечта детства — порнофильмы со свободно камерой. :)

              0
              а в России кто нибудь в прокат предлагает такие штуки?
                0
                как бизнес — вряд ли. Не удивлюсь, если есть в России несколько таких девайсов, используемых в шоу-бизнесе, но на прокат это, наверное, не выгодно
                  0
                  жалко, хотелось сделать что то подобное, www.armanijeans.com/armani_jeans_index.html. Камеры рапид уже использовали в рекламе, теперь бы подняться на новый уровень
                    0
                    да уж, паркур, авто/вело/мото/водные трюки и виды спорта смотрелись бы просто шикарно. Или, например, представьте себе трансляцию футбольного матча, где вы можете крутить головой и самому прикидывать, куда лучше было бы отдать пас :)
                0
                Не хватает еще гиростабилизированного мини-вертолета, чтобы носил такую штуку (12 кг — думаю, вполне реально), и кинематограф может здорово поменяться.
                  0
                  Может кто-нибудь встречал эксперименты с дешевыми аналогами?
                    0
                    Вы про LadyBug2 или, возможно, про какие-то самодельные системы? По LadyBug2 вот, к примеру, небольшое видео с youtube о возможностях, а вот, если я правильно понял, пример иммерсивного видео (снято в помещении, качество картинки так себе).
                      0
                      Да, я имел ввиду самодельные системы для съемки. Может быть попадались где-то?
                      Спасибо за ссылки.
                        0
                        Такого, к сожалению, не нашел.

                        К слову, думал, как это работает (описания технологии не видел) — возможно, зритель фактически перемещается в последовательном ряду фотопанорам (?). Если так, то, соответственно, идея: нельзя ли сделать чисто оптическую насадку на объектив (цифрового фотоаппарата с достаточно большой матрицей), которая бы направляла на матрицу, допустим, 7 картинок (с частично перекрывающимися краями). Т.е. чтобы на одном снимке получалось 7 поменьше, вместе охватывавших, допустим, около 75% сферы. А дальше программно разбирать их и сшивать в панорамы, которые, соответственно, транслировать в качестве видео. Так, мысли вслух :)
                          0
                          Я думаю, так и есть, видео — это просто последовательность панорам.
                          В объективе как раз все и заключается, наверное. Я не видел панормных фотоаппаратов, снимающих шире 180°.
                          Поэтому они и используют несколько камер. Ну и в размере матрицы конечно же дело.

                          Если найду что-то по самодельным, отпишу сюда комментарий.
                    0
                    Картинки в статье в муках сдохли…
                      0
                      А заглушки ничего такие, симпатичные)
                        0
                        а где все картинки? :(
                          0
                          Привет из 2015!

                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                          Самое читаемое