На выставке CES 2024 Nex Playground назвали интересной инновацией этого года. Из необычного — консоль использует технологию отслеживания движений, чтобы пользователи могли управлять процессом игры. Мы решили разобраться, откуда пошел тренд на «управлением всем телом» и какое будущее ждет игровую индустрию с развитием искусственного интеллекта. Подробнее — под катом.
С чего все начиналось
Когда в 2006 году на рынке появилась Nintendo Wii, идея консоли, которая заставляет игроков прыгать и танцевать, стала революционной. Вместо того, чтобы просто залипать в экран, домоседы начали больше двигаться во время видеоигр. Nintendo лидировала в этой категории в конце 2000-х и продала более 100 млн консолей Wii. А после продолжила идею со Switch, которая затмила предыдущую версию по продажам.
Microsoft также разработала свою консоль Kinect, которая использовала камеру вместо увешанного кнопками контроллера. Но, как часто бывает, новизна вскоре сошла на нет, и разработка видеоигр для активного движения прекратилась. За исключением консолей виртуальной реальности — например, Meta Quest (ранее Oculus VR).
Для управления игровым процессом в Meta Quest разработчики добавили камеры в гарнитуре и контроллеры, реагирующие на движения. Его главным хитом стала музыкальная игра Beat Sabre, в которой нужно разбивать световыми мечами летящие в ритм блоки. Однако игроки были сильно ограничены виртуальной реальностью, которая оказалась дорогой и недоступной для многих.
Внешний вид Nex Playground.
Идея видеоигр для «всего тела» осталась популярной и теперь обрела новое воплощение в Nex Playground. Консоль работает под управлением модифицированной версии Android и оснащена SoC Arm Cortex серии A. Коробочка от Nex значительно меньше, чем любая из основных игровых платформ, и составляет лишь половину размера Wii. На выставке CES 2024 ее оценили как «одну из самых интересных инноваций этого года».
О компании Nex
Nex — американская игровая компания, занимающаяся развлечениями в области дополненной реальности. Она разработала Playground — компактное игровое устройство с широкоугольной камерой, четкой графикой и высокой производительностью. Используя технологию определения движения на основе искусственного интеллекта, консоль фиксирует движения игроков и превращает гостиные в интерактивные виртуальные игровые площадки.
Компания была основана в 2017 году в Сан-Франциско бывшими инженерами Apple. Они разработали приложение HomeCourt, которое использует искусственный интеллект и отслеживание движений на мобильных устройствах, чтобы анализировать технику баскетболистов. Национальная баскетбольная ассоциация NBA инвестировала в Nex для дальнейшего развития HomeCourt.
В 2020 году HomeCourt стал вирусным приложением в США во время пандемии, поскольку юношеские виды спорта были отменены и многие спортсмены использовали его дома, чтобы продолжить тренировки. В это время Nex работала с Unity над интеграцией искусственного интеллекта, отслеживающего движения. В результате появилась игра Active Arcade. Она стала хитом в 2021 году, привлекла более трех миллионов пользователей по всему миру и стала фитнес-приложением №1 в Гонконге, Тайване, Таиланде и Малайзии.
После этого Nex продолжила создавать анимационные игры и разработала инструмент для Unity — Nex Motion Development Kit. Теперь любой разработчик мог создавать собственные VR-игры без дополнительных инструментов или знания ML-моделей.
Когда Nex начала применять свою AI-технологию в спортивных тренировках, отзывы на динамические игры со спортивной тематикой были исключительно положительными, что побудило еще больше пользователей геймифицировать свои занятия.
Трекинг объектов.
Объединяя спортивные движения с интерактивным контентом в Unity, Nex возглавляет новую категорию AI-развлечений. Вместо того, чтобы требовать дорогие гарнитуры или датчики, Nex Motion Experience работает на любом современном устройстве. С помощью камеры он отслеживает 18 точек на теле пользователя и сопоставляет движения с игровым процессом в режиме реального време
Игры с движением предшествовали развитию искусственного интеллекта и машинного обучения, поэтому отслеживание движения часто было грубым, неэффективным и некорректным. Чтобы решить эту проблему, Nex создала специальную нейронную сеть, которая использует машинное обучение для достижения высокого уровня точности и производительности.
Процесс игры на Nex Playground.
Плюсы и минусы новой консоли
Рассмотрим главные преимущества Nex Playground.
Удобство в использовании. Устройство работает с HD-телевизорами, которые поддерживают Android TV. Вместе с консолью в комплекте идут один цилиндрический контроллер, блок питания и кабель HDMI. Пульт дистанционного управления имеет тактильную обратную связь и микрофон для голосового управления. Нет необходимости в дополнительных датчиках или носимых устройствах. Видео обрабатывается локально, ничего не сохраняется и не отправляется на облако. Для отображения действий игрока на экране требуется менее 150 миллисекунд.
Стоимость. Предварительные заказы на веб-сайте Nex начинаются от $179, включая оборудование и четыре игры. Дополнительно можно приобрести еще 20 игр, для этого придется приобрести подписку Play Pass (не путайте с Google Play Pass) за 89 долларов в год. По сравнению с другими консолями, например Meta Quest или Xbox Kinect, это недорого.
Семейный формат. Что отличает эту консоль от всех остальных, так это упор на игры «для всей семьи». Никаких перестрелок и хорроров, хотя из-за ограниченного контента и модели подписки Nex Playground будет непросто претендовать на место популярного домашнего развлечения. К игре могут одновременно присоединиться до четырех игроков.
Теперь перейдем к недостаткам консоли от Nex.
Ограниченная библиотека. Консоль ограничивает пользователя исключительно своей библиотекой игр и приложений для фитнеса, у пользователя нет доступа к Play Store, сервисов потокового ТВ или просмотра веб-страниц.
Непродуманное управление. Пользователи не могут использовать контроллер в процессе игры. Встроенная камера распознает движения, если в комнате достаточно света и одежда игрока отличается от того, что находится за спиной. Однако контроллер оснащен мини-джойстиком и двумя кнопками, поэтому можно использовать в качестве устройства ввода в других играх.
Альтернативные консоли. Какой бы интересной ни была Nex Playground, большинство пользователей скорее купят игры для уже популярных консолей, чем перейдут к другой. Технология отслеживания движения продвинулась вперед, но сейчас, когда игры основаны на движении или тренировках в виртуальной реальности, простая графика Nex покажется возвратом в прошлое.
Резюмируем
Конечно, первые пару недель будет весело, но будет ли это вызывать интерес снова и снова? Локальный многопользовательский режим — это неплохой способ собрать всю семью, чтобы играть вместе, но мало у кого будет желания играть на этой консоли самостоятельно. Да еще с таким небольшим количеством контента, скорее всего, консоль будет собирает пыль в углу, когда новизна пройдет.
Есть вероятность, что консоль будет интересна детям, которые еще не играли в видеоигры. Но если они уже играли на PlayStation или Xbox, то вряд ли примут Nex Playground как достойную альтернативу. Здесь нет Марио, нет покемонов и Зельды.
Потенциал Nex Playground
Nex стала партнером по запуску Sky Live, интерактивной камеры для Sky Glass в Великобритании. Это сотрудничество со Sky, дочерней компанией Comcast, означает долгосрочное партнерство с Nex, предоставляющее анимационные игры в Sky Live.
Кроме того, Nex активно разрабатывает анимированные игры для телевизоров Sony BRAVIA CAM. Аналогичным образом Apple объявила о поддержке Continuity Camera, что позволит использовать камеру iPhone в качестве основного инструмента для Apple TV. Это открывает новые сферы интерактивности, которые ранее были недостижимы. Nex включила поддержку Apple tvOS в свой MDK, совместимый с iOS, Android, Mac, ПК и Android TV.
Презентация Nex в Нью-Йорке, декабрь 2023 год.
Поскольку Smart TV начинают догонять мобильные компьютеры, они смогут запустить более сложные интерактивные приложения и игры. Во многом смартфоны и планшеты уже начинают конкурировать с игровыми консолями по графике и производительности. Этот уровень вычислительной мощности теперь доступен для потоковых приставок и смарт-телевизоров.
Самым большим препятствием для игр на этих устройствах было отсутствие естественного механизма ввода. Пульты от телевизора — не самые удобные решения для игр, как и игровые контроллеры могут быть непривлекательными аксессуарами для обычных потребителей.
Nex считает, что естественные и интуитивно понятные интерфейсы, основанные на движении, откроют новый потенциал взаимодействия с гаджетами так же, как сенсорные экраны показали новые возможности мобильного использования.
Также дополненная реальность имеет большие перспективы для социальных и активных игровых приложений. Использование в AR-играх реального окружения пользователя предполагает взаимодействие с другими людьми и самим физическим пространством одновременно, которое часто отсутствует в других видах игр, включая VR. Однако AR-игры обычно бывают либо социальными, либо активными. В Nex же считают, что игры могут быть и тем, и другим.
AR — это виртуальные элементы, наложенные на реальный вид физического мира. У Nex Playground нет дисплея и нательного устройства, но это по-прежнему AR. Nex переворачивает стандартную модель консоли — у нее появилось больше преимущества перед «обычной» AR. Более десяти лет назад PlayStation Move использовала аналогичную модель, как и Xbox Kinect. Но теперь Nex полагается на искусственный интеллект, которого не было в 2010 году.
Телевизоры пока не имеют действительно хорошей компьютерной обработки. Память по-прежнему ограничена, но это только начало подобных вариантов использования. У Nex есть шанс стать пионером в этой технологии и продолжить разработку инновационных решений: от AR-игр и фитнес-приложений до простого использования жестов для навигации по традиционным медиа.
