Как работает VR? Разбор

    У VR есть такая особенность. Все, кто попробовал нормальный VR обязательно хотят подсадить на эту тему всех своих друзей и близких. Всё дело в том, что VR — это потрясающие ощущения, о которых невозможно рассказать. Это обязательно надо пробовать самому.

    Но VR — это не только крутой опыт. Это еще и крутые технологи, которые какие-то 10 лет назад назвали бы фантастикой, а теперь они доступны нам в домашних условиях.


    Сегодня мы расскажем вам про все крутые технологические фишки в современных VR-девайсах. А поможет мне в этом первая в мире модульная VR система — HTC Vive Cosmos Elite.

    Трекинг




    Как понимаете, подменить нашу реальность на виртуальную — задача непростая. Поэтому в мире VR применяются очень хитрые технологии. И первый интересный набор технологий, который используется в VR шлемах — это трекинг.

    К трекингу в современных VR шлемах есть два кардинально разных подхода. Первый называется inside-out tracking или внутренний трекинг. Он работает незамысловато.

    На шлеме размещаются несколько камер с широким углом обзора, которые отслеживают ваши контроллеры и положение шлема относительно предметов окружающей среды. А чтобы контроллеры точно были видны — они подсвечиваются. Плюс такого подхода, в том что он дешевый и простой в настройке и использовании.

    Минус — такой трекинг не самый точный, а также камеры не могут фиксировать положение рук когда они вне обозрения — например, за спиной. А руки за спиной в VR-играх — это не редкость. Например, когда вы машете лазерным мечами like-a-pro в Beat Saber. Также там часто прячут инвентарь и тяжелое оружие.

    Такая система трекинга используется в Oculus Rift S и Quest, а также у младшего HTC Vive Cosmos.



    Другая система называется Lighthouse, что переводится на русский как маяк. Но проще всего систему назвать внешний трекинг. В ней маяки или базовые станции ставятся друг напротив друга очерчивая вашу игровую зону и поехали.

    Сначала первая базовая станция мигает инфракрасным светом. Сразу за ним испускается широкий падающий лазерный луч. Каждое ИК-мигание это начало отсчета. И так 60 раз в секунду.

    С момента получения первого мигания шлем и контроллеры начинают отсчет 1,2,3 и так далее. Затем их датчики улавливают лазерный луч. Но из-за смещения датчиков в пространстве один датчик уловит луч на отсчете 3, другой на 5, третий, например, на 11. И как раз базируясь на этой задержке в отсчете от датчиков и рассчитывается положение шлема и контроллеров в пространстве.



    Внешний треккинг куда более точный и надежный. Но в начале немного времени придется потратить на установку маяков — я их поставил на штативы, но можно положить на полку или прикрепить к стене.

    Такая система используется в Oculus Rift, Valve Index, HTC Vive первой волны, и в текущем HTC Vive Cosmos Elite. Но конкретно с Vive Cosmos есть нюансы.

    В самом начале я вам сказал, что Vive Cosmos — это целая модульная экосистема. Которая состоит на данный момент состоит из двух предложений:

    • Обычный Cosmos
    • Премиальный Cosmos Elite



    В обеих версиях используется один и тот же шлем, но в них используются разные модули. Так в базовой комплектации в шлеме установлена передняя панель с внутренним трекингом. На ней целых шесть камер с широким обзором на 310 градусов. Также в комплекте нет маяков и контроллеры соответственно там для внутреннего трекинга — светящиеся.



    А в Elite в комплекте идут все модули для внешнего трекинга. Но весь прикол в том, что меняя модули одну модель можно превратить в другую.



    Например, можно проапгрейдиться с младшей модели на старшую. А можно пойти дальше и подключить к старшей модели самые продвинутые контроллеры с трекингом всех пальцев Knuckles от Valve Index. Представляете, они прекрасно будут работать, если вы конечно где-то их найдёте.

    Экраны




    Следующая важная технология — это экраны. Критичным для экрана в VR является время задержки отображения. OLED-экраны самые быстрые, поэтому с них и началось освоение. Но с ними возникла другая проблема.

    Дело в том, что когда вы используете VR шлем, ваши глаза находятся очень близко к дисплеям и крайне важно иметь очень высокое разрешение и плотность пикселей. Поэтому OLED-дисплеи для VR сегодня — не лучший выбор. В OLED диоды находятся на почтенном расстоянии друг от друга и используется PenTile-раскладка. Поэтому такие дисплеи выглядят зернистыми и появляется эффект москитной сетки. В будущем эти проблемы скорее всего решит microLED.

    А пока лучший выбор для VR — это именно Super-Fast LCD. По сути, это тот же IPS только быстрый. Именно такой стоит в HTC Vive Cosmos Elite.



    Второй важный параметр — это частота обновления она должна быть минимум 80 Гц, а лучше 90 или выше. Сейчас самая высокая частота у шлема Valve Index — 144 Гц, но на практике вряд ли вы найдет компьютер, который может выдавать такой FPS, ведь в VR нужно рендерить две разные картинки одновременно, для левого и правого глаза.

    Что мы имеем в Vive Cosmos Elite? Те самые Super-Fast LCD дисплеи, частота обновления 90 Гц и самое высокое на потребительском рынке разрешение 1440 × 1700 пикселей для каждого дисплея, в итоге получается 2880 x 1700 пикселей.

    В Valve Index и HTC Vive Pro разрешение немногим меньше — 1440 × 1600, то есть разница всего 100 пикселей в высоту. И кажется что это немного, но в VR-шлеме эта разница ощущается и в том числе играет в пользу угла обзора.

    Это третий важный параметр в VR. Тут он 110 градусов благодаря линзам, которые наложены на экран для придания изображению сферической картины, привычной нашему глазу.

    Чем больше угол обзора, тем меньше выражается эффект «экранного окна» и мы больше приближаемся к полному охвату человеческого зрения. Более того в HTC Vive Pro был OLED-экран, поэтому переход на IPS (Super Fast LCD) и увеличение разрешения тут очень заметны.

    Еще одна крутая технология, о которой хотелось бы рассказать, сейчас есть в профессиональных решениях от HTC. Это система трекинга глаз — Vive Pro Eye и она позволяет реализовать технологию фовеального рендеринга.



    Дело в том, что наш глаз видит четко только ту область куда он сфокусирован, все что вокруг он воспринимает чуть размыто. Зная, куда направлен взгляд в тот или иной момент, можно отображать эту область с максимально возможным качеством. А остальную область на экране можно не рендерить в полном качестве. В итоге такой лайфхак дает серьезное улучшение картинки при одинаковом железе. Это очень крутая технология. Сейчас даже научились отслеживать саккады.

    Беспроводные технологии


    Окей идём, дальше. Как вы считаете, что больше всего мешает погружению в виртуальную реальность. Думаете невысокое разрешение? Нет, это не так. Самое большое ограничение сегодня — провода!



    И вот у HTC есть огромный козырь в рукаве. Существует беспроводной набор — VIVE Cosmos Wireless Adapter Attachment Kit. Эта штука работает на особенном стандарте Wi-Fi — 802.11ad. Это не Wi-Fi 6 и не Wi-Fi 5. Стандарт называется WiGig и работает он на частоте 60 ГГц, поэтому скорость фантастическая и нет задержек.



    Правда батарейки хватает всего на 2 -2 ,5 часа игры, и в компьютер нужно вставить отдельную плату PCI express. Но в любом случае на сегодня это самое передовое решение, чтобы играть без проводов. И хоть конструкция кажется немного громоздкой, это дает совершенно новый опыт -полноценный VR без проводов.

    Игры




    Но самая главная VR-технология — это игры! Поэтому подрубаем всё и играем!

    Один из Мифов VR, что не во что играть, а это вообще не так. У HTC есть свой сервис подписки Viveport. Cейчас там 1168 тайтлов, совместимых с Cosmos Elite. При этом 2 месяца подписки вам сразу дают в подарок. Но если сразу с головой пустить в VR, то это безусловно Half Life Alyx!

    Поверьте мне, только ради этого одного стоит попробовать VR. Когда я впервые включил Alyx, я минут сорок стоял в первой локации на балконе кидал вниз банки разглядывал все вокруг и просто восторгался.

    Многих волнует вопрос укачивания в шлемах виртуальной реальности. Проблема может возникать от нескольких параметров — низкая точность трекинга или например высокая задержка — тут с этим проблем нет. В играх, где вы стоите на месте, например, в том же Beat Saber, я сразу чувствовал себя комфортно!

    Но при этом, если вы хотите чувствовать себя как рыба в воде в любом VR мире, вестибулярку придется подучить. Это больше касается моментов, когда ваш персонаж в игре перемещается, а вы стоите или сидите на месте. Именно от этого и возникает конфликт: мозг не понимает, как такое может быть. Поэтому для плавного погружения лучше выбирать режим перемещения «телепорт», а потом плавно пробовать полное перемещение, мне хватило недели, играя час в день, чтобы весь дискомфорт прошел. Потом остается только кайфовать — и это того стоит!



    Half Life Alyx отлично подходит для такого обучения — но это всего один проект, который при этом безусловно лучший. Я уверен, что будут появляться проекты еще круче, они уже в разработке.

    Другой отличный пример Walking Dead: Sins and Sinners. Но этот проект я не рекомендую людям со слабыми нервами. Ещё есть вирусный Beat Saber, в котором я провел немало часов. В общем и целом, игр хватит не на один месяц игры.

    Кстати, чего не хватает во многих шлемах, это связи с внешним миром. В HTC Vive Cosmos можно «открыть забрало» — откинуть экран и посмотреть, что происходит вокруг.

    Будущее VR


    Но давайте заглянем, куда же будет двигаться в VR в ближайшие годы. Естественно, мы хотим полного погружения в виртуальные миры как в фильме Get Ready Player One или в русском переводе «Первому игроку приготовиться». Поэтому уже сейчас начали появляться VR-костюмы с отдачей, либо их можно собрать самому.



    Экосистема Vive Cosmos подразумевает подключение дополнительных модулей, которые можно закрепить на ногах или других частях тела. Это даст вашему аватару еще больше живости. Уже сейчас некоторые энтузиасты используют такие модули для VR-чата и в других социальных VR-платформах. История с Covid только подталкивает это развитие вперед.

    Лично я уже посетил несколько VR-ивентов, презентаций, концертов, даже ходил в кино с друзьями. Это целый мир, который появляется и быстро развивается при нас. Мир с безграничными возможностями не только в играх.

    Кроме общения вы можете творить в VR, создавая 3D-модели, как скульпторы, архитекторы, аниматоры.



    Говоря о кино, Джон Фавро при съемках Маугли активно использовал VR для погружения актеров в мир будущего фильма. И с каждым днем появляется все больше профессионального софта для разных областей. Уверен, что скоро появятся профессии, которые будут существовать только в VR.

    Понятно что сейчас VR — это дорогое удовольствие. Шлем HTC Vive Cosmos Elite в России стоит 100 тысяч рублей. При этом можно докупить беспроводной адаптер. Не стоит забывать, что для игр в VR понадобится и еще и мощный ПК.

    Порог входа — высокий, но за билет в будущее иногда стоит заплатить, особенно когда хочется попасть туда раньше остальных.
    Droider.Ru
    Компания
    Реклама
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее

    Комментарии 7

      +3
      Опять реклама самого бессмысленного к покупке шлема. А почему его рекламируют? А потому что только он официально продается в России. Кто не знает в чем проблема поясняю — HTC не осилили нормальный камерный трекинг для космоса, и в попыхах скостылили версию на стимтрекинге. А контроллеры сколхозить не успели, в итоге в 2021 году продают комплект из шлема (вполне нормального самого по себе) и контроллеров от шлема 2016 года, те самые вайвопалки. Совет для тех кто все же хочет купить это чудо из-за шлема — покупайте шлем, и отдельно станции 2.0 и кастеты от Valve + беспроводной модуль, это ультимативный вариант на данный моммент времени. Для всех остальных есть универсальный квест2 за 300 баксов, или 27 тысяч рублей с доставкой и растаможкой.
        0
        Почему же только он? есть еще PS VR
          0

          PS VR — это всё же другая экосистема, с компом он нормально не совместим. Если не считать цирк с использованием одновременно PC с дополнительным софтом сторонних разработчиков, PS4 и PS VR.

          0
          Совет для тех кто все же хочет купить это чудо из-за шлема — покупайте шлем, и отдельно станции 2.0 и кастеты от Valve + беспроводной модуль, это ультимативный вариант на данный моммент времени.

          Я бы не был так категоричен. Имею HTC Vive Pro с заменёнными линзами от Samsung Gear VR (гуглите HTC Vive Lense Mod), покупал более года назад как Pro Full Kit, к нему имею беспроводной адаптер. Так же имею Valve Index, который покупал так же как Full Kit полгода назад. И вот мой опыт: этот ваш Valve Index очень сильно переоценён! Но обо всём по порядку.
          image

          1. Линзы. Вот нафига и в так дорогую систему ставить эти гадкие френели? Тот, кто не знает: линза френели это математический аналог полноценной линзы и работает он только в идеальных условиях. В реальности мы имеем мыло/вазелин, очень маленький «sweat spot» по центру (и то, если откалибруешь положение шлема на голове так, чтобы глаз попадал в фокусное растояние линзы, но глаз же не статичен, а с очкариками вроде меня отдельная песня) и постоянные God Rays. Последнее особенно раздражает в тёмных сценах с малым количеством источников света, а образуются они из-за переотражения в призматических гранях линзы. Но самое странное то, что в дорогущих шлемах ставят строго френели, в то время как в дешёвых шлемах под мобилки ставят полноценные линзы! Даже в китайские! Причём, там даже есть подстройка диоптрий, чтобы очкарик мог использовать без очков! Вот поэтому все Lens Mod и делают, используя линзы из дешёвых шлемов. Но это срабатывает только на однолинзовых системах, вроде HTC Vive, у Indx'а же линзовая система из 2х линз френели. Какая там происходит каша знают только те, кто его использовал. Но все молчат что король то голый! Это раз.

          2. Эти самые ваши экраны. Я так скажу, я строго за OLED. До покупки Index'а я уже полгода рубился в HTC Vive Pro. В том числе ужастики, в которых просто много тёмных локаций. В Index'е на его LCD чёрного нет. От слова совсем. Он серый. На LCD в принципе чёрного нет, но при дневном свете вы этого не замечаете. А вот ночью попробуйте и поймёте. А внутри шлема источников «подсветки» нет кроме экрана. И всё, тёмные локации в Alyx? Не, просто серость с ощущением слабого контраста. Может быть тёмная ночь среди зомби в Walking Dead? Забудьте, серое это не страшно. Там, где на Vive я бывало просто обделывался, на Index проходил с покерфейсом. А ужастики бывают страшные. Например, вот Куплинов в первом Vive с OLED: Калинка моя! При этом, особого преимущества 144 герца действительно не имеют, 90 достаточно. В некоторых играх моя система не может обеспечить даже стабильные 90, а это i9 9900KF с 64ГБ ОЗУ и RTX3080, а игры на 2TB NMVe Gigabyte Aorus. Какая нужна система для стабильных 144 не представляю, но в 80% играх эти самые 144 получить удаётся, если не жадничать с настройками графония. И последнее про экраны: цветопередача. У OLED все цвета сочные и естественные, а на фоне настоящего чёрного контраст прямо бросается в глаза. На LCD цвета отличаются, причём, некоторые цвета с примесью серого вместо чёрного выглядят ужасно. С этим можно смириться, в принципе. Что касается сетки пикселей, то на Index она и вправду больше угадывается, чем бросается в глаза. Но тут есть одно «но»: она так же была плохо заметна и на Vive, пока я не поставил нормальные линзы. Сейчас же она отлично видна в Vive, но самое интересное то, что когда ты увлекаешься уже игровым процессом она совсем не мешает и практически незаметна, если конкретно не обращать на неё внимание. Но я всё равно бы перешёл на какой-нибудь Pimax 8kx с его 4к на каждый глаз ради детализации в некоторых симуляторах. Но для большинство обычных доступных игр этого не требуется. Даже для Alyx.

          3. Контроллеры. Я бы не голосовал однозначно за кастеты Valve. Они тоже немного переоценены. И игр, где требуются чисто они 1,5 штуки, причём половина — технодемки под кастеты и написанные. Например, Aperture Hand Lab, которую невозможно пройти на чём-то другом, кроме кастетов: вы не сможете обеспечить «крепкое дружеское рукопожатие». Есть ещё несколько игр, где я обнаружил, что индивидуальное движение пальчиками может быть полезно. Но остальные игры все с оружием и тут эти, как вы там их называете, «вайвопалки» гораздо удобнее кастетов потому, что их надо реально держать в руке и ты чувствуешь их вес. Виртуальный пистолет с ними прямо ощущается. А кастеты, что висят на ладошке, всё портят. Ну и не зря же для отдельных игр есть специальные контроллеры в форме настоящего оружия. Кстати, этот вирусный Beat Saber тоже на «вайвопалках» играется приятнее, чем на кастетах.

          4. Трекинг. Тут строго лайтхаус. И дело даже не в спрятанном за спиной инвентаре. Дело в том количестве игроков, которых укачивает. Быстрый и точный трекинг действительно снижает вероятность укачивания, как и правильная настройка IPD. Но если тем, кто уже опытен и передвигается скольжением (от которого сильнее всего укачивает) не требуется часто заводить руку за спину, то остальным приходится использовать телепорты. А телепорт работает просто: куда направил руку туда и прыгает. Так вот, когда я начинал, я левую руку задействовал строго под телепорт и направлял её по ходу игры автоматически куда мне надо. И для отступания я просто заводил её за спину чтобы телепортироваться без разворота, иначе в динамике игры пока ты развернёшься на месте тебя могут сильно покоцать. Вот так и стрейфился, пока не привык к скольжению. И, внезапно, это открыло для меня совершенно новый уровень игры! Например, во всех частях Serious Sam что на VR можно оружие брать в обе руки. Пока одна занята телепортом, она бесполезна. Когда ты уже на скольжении, то ты двигаешься большим пальцем на трекпаде, а направлять руку можно на цель, держа оружие. Так вот, с двух рук боссы или орда убиваются гораздо эффективнее, так как вести огонь по двум целям одновременно (ну или по одной с 2х дамагом) — бесценно. А чего стоят полноценные стрэйфы да отпрыжки.

          5. Беспроводной адаптер. Тут я просто настоятельно рекомендую, но он действительно не так обязателен. Во-первых, его нет для Valve Index, он только под линейку HTC. Во-вторых, большая часть игр либо со слабой динамикой, либо стоячие/сидячие (особенно симы, где требуются рули или штурвалы). Но если он у вас есть, то это так же отдельный яркий опыт. особенно в той же Alyx или PayDay 2/Pavlov, во время боя тебя ничего не сдерживает, кроме игрового пространства, и это действительно прорыв. Отличия в погружение заметные.

          6. И на последок — адаптация к физическим особенностям головы. HTS Vive Pro широкий! Я в него в своих больших очках залетаю со свистом! В первый HTC Vive я заходил со скрипом, но терпимо. Накладку для широкого лица и норм. Другое дело Valve Index. Весь мир страдает, что его сделали то-ли на ребёнка, то-ли на китайцев… Он действительно узкий! И жмёт мне даже без очков (я ради этого даже купил себе контактные линзы). Накладка там съёмная, на магнитиках, но я пока не смог найти реальный вариант купить широкий. На Реддите предлагают либо напечатать, либо «доработать».

          Вот примерно такой опыт накопился. Спрашивайте свои вопросы.
            0

            Молодец, пост объемный, но какое отношение все это имеет к моему посту о VIVE COSMOS? А защищать вайвопалки только безумец будет, и дело там совсем не в рукотрекинге, а битсейбер лучше на окулусах играется, говорю как человек поменявший вмр, вайв, индекс на кв2.

              0
              Ну, например:
              А потому что только он официально продается в России.

              Это не так. И именно тут я взял свой Vive Pro. А ещё я объяснил к чего ждать от LCD экрана.

              А защищать вайвопалки только безумец будет, и дело там совсем не в рукотрекинге

              Так голословно заявлять любой может и это не делает чести заявившему, верно? Я знаю про детские болезни контроллеров 1го поколения, знаю потенциальные у 2го. Однако, я вот тут интернет погуглил про кастеты и оказывается что у них тоже есть свои болячки. И что теперь, не пользоваться? Ну а если эти контроллеры не понравились лично вам, ну так и скажите, «по мне они не очень». И да, где я защищал эти, как вы говорите, «вайвопалки» то? Я сказал что они удобнее кастетов в играх с виртуальным оружием. Опровергните это, если сможете.
          0
          > Минус — такой трекинг не самый точный, а также камеры не могут фиксировать положение рук когда они вне обозрения — например, за спиной.

          На Oculus Quest inside-out трекинг делается внутренними гироскопами в контроллерах, это достаточно точно чтобы даже мельчайшие движения кисти уловить. При больших размашистых движениях оно конечно уползает, и тут нужны камеры/светодиоды в контроллерах чтобы подправлять эту ошибку. Но вцелом положить что то за спину или размахнуться из за спины — благодаря гироскопам это прекрасно работает и там где камера не видит.

          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

          Самое читаемое