Комментарии 11
Какое у вас там продвинутое руководство! )
А как порешали звук? Это самое важное отличие от реальных встреч
1) есть учет расстояния до говорящего?
2) есть возможность быстро регулировать громкость отдельных участников (важная функция - по опыту дискорда, где у всех разное оборудование)?
3) есть возможность говорить в общем созвоне приватно кому-то (условно в личку)? Не покидая общего естесственно
4) есть поддержка фокуса внимания - люди на которых смотрим слышны лучше остальных? В реальности позволяет вести в одной переговорке несколько разговоров не сильно мешая остальным
Что у вас на эту тему есть?
По поводу 1 и 4, Unreal Audio Engine хорошо справляется с этими задачами нативно. Это довольно легко настраивается и работает из коробки. Более того, можно настроить зоны обработки звука, чтобы звуки звучали физически правильно, в зависимости от окружения; можно настроить окклюзию звука, для имитации препятствий на пути распространения звуков; спатиализацию — правила распространения звука в среде. И многое другое. Также можно настроить, как клиент фокусируется на звуке: дальность триггера фокуса, угол, как звучат звуки, от которых мы отвернулись. Возможностей очень много.
А насчет 2 и 3: в UE есть Open Sound Control (OSC) Plugin. Это плагин для использования открытого пакетного протокола OSC, который является стандартом для передачи и синхронизации(проще говоря, коммуникации) аудио между сервером и клиентами по сети, с использованием UDP/TCP. И он тоже достаточно хорошо работает из коробки; думаю, его хватит для поставленных задач :)
Это все очень круто - ни в одной игре не видел огибания препятствий кстати.
Кто сделает Zoom с интерфейсом шутера, поддержкой всех платформ, с фичами нормального звука, с удобством дискорда в плане управления трансляцией (с учетом 3D возможностей) - взорвет индустрию. Главное про староверов с обычным интерфейсом не забывать.
Джва года жду )
Мы прорабатывали все эти возможности, часть из них решена уже сейчас.
На данный момент у пользователя есть возможность регулировать уровень громкости и полностью отключать звук для каждого участника. Таким образом, технически можно реализовать уровень громкости в зависимости от расстояния до говорящего, создать "личную" беседу программно отключив звук для отдельных пользователей и реализовать фокус внимания. Но есть проблема с тем, что это все работает внутри движка через браузер и это сильно усложняет разработку. В общем такое решение, мягко говоря, "костыльное" и трудозатратное. Поэтому сейчас эти функции не реализованы.
Как и говорится в статье, мы планируем перейти на свой WebRTC-server. Тогда клиентское приложение UE будет напрямую получать аудио потоки всех пользователей без прослойки в виде браузера. Останется только обработать и вывести эти потоки с помощью инструментов, которые любезно описал Medvital. Тем самым то, о чем вы пишете (и даже больше) можно будет легко реализовать.
Большое спасибо за материал! Было очень интересно прочитать, учитывая, что я тоже работаю в качестве хобби над своей версией образовательного проекта (моё вдохновение — игра colobot).
Правда я только в самом начале пути — сделал отображение в браузере через PixelStreaming, смог запустить свое приложение на Unreal Engine в headless-режиме в linux docker container и там можно программировать робота таскать ящики на языке Ruby.
Сейчас работаю над тем, чтобы это всё дело работало в онлайне и любой мог через браузер потыкать мой проект. Опубликовал веб-интерфейс, API сервер, надо теперь доделать запуск контейнера по требованию клиента и его остановку. И в будущем обязательно хочу прикрутить VR и мультиплеер.
Демовидео — https://www.youtube.com/watch?v=vBKpZP6w6ss
Хе-хе, помню как пару лет назад по просьбе своего руководства пытался узнать о возможности покупки металла у Северстали (были проблемы с металлом в Германии из-за короны, искали альтернативы). Несколько дней перебрасывали с одного сотрудника на другого, я заполнял какие-то формы, мне присылали постоянно автоматически сгенерированные емейлы с просьбой оценить работу того или иного сотрудника (хотя оценивать нечего было, не было работы). Потом в конце на меня вышел представитель Северстали в Германии с банальным вопросом - "а что надо-то?". Хотя я ранее в их форме написал на английском языке все.
Павлины, говоришь? Мегавселенная? Ню-ню... :)
круто было бы походить по виртуальному заводу:)
Del
Очень классно! Молодцы!
А как в это всё вписывается запрещенная в рф организация meta владелица oculus?
Или есть пример беспроводных шлемов такого же уровня качества?
Я вот уже год думаю, что с этим делать, как выпускать игру. Китайцы очень медленно развивают свой VR аналог.
Корпоративная метавселенная «Северстали»: мы тоже решили попробовать