Какими будут игровые нейроинтерфейсы?


    Шуточный слайд из презентации Майка Амбиндера, который занимает должность ведущего экспериментального психолога в Valve Software (видео)

    На конференции для разработчиков игр GDC 2019 ведущий экспериментальный психолог Valve Software Майк Амбиндер выступил с интересным докладом Brain-Computer Interfaces: One Possible Future for How We Play о том, как его компания видит будущее интерфейсов «мозг-компьютер». По мнению специалиста, это вполне вероятный способ, как люди будут играть в видеоигры.

    В ближайшее время учёные не смогут загружать игру непосредственно в мозг. Сначала нужно реализовать более простую технологию, когда мозг и игра взаимодействуют между собой по отдельности, соединяясь быстрым каналом связи.

    По мнению Амбиндера, самый простой нейроинтерфейс предусматривает традиционный вариант управления в игре (руками), но с параллельным считыванием психологических данных. Даже на таком примитивном уровне возможна разработка игр нового типа. Можно представить, что развитие сюжета или действия противника в игре происходит с учётом эмоций игрока (страх, агрессия и т. д.). Valve называет это «адаптивным геймплеем». Получение данных об эмоциях игроков позволит разработчикам создавать более увлекательные игры, а в мультиплеере нейроинтерфейсы помогут вычислить злобных и токсичных игроков, которых лучше забанить.



    При дальнейшем развитии нейроинтерфейсов можно вовсе отказаться от традиционных интерфейсов типа клавиатуры, мыши или геймпада. Это выводит игровую индустрию на кардинально новый уровень, позволяя сократить задержку между принятием решения и действием в игре. Сейчас эта задержка складывается из нескольких компонентов:

    1. Рендеринг картинки и вывод её на экран.
    2. Восприятие информации и обработка её человеческим мозгом.
    3. Принятие решения мозгом.
    4. Передача нейроимпульса от мозга к мышцам, приведения в действие мышц.
    5. Передача сигнала от устройств ввода к программе.

    Полноценный интерфейс с быстрой шиной устраняет четвёртый и пятый компоненты. В то же время вместо пятого пункта добавляется задержка на считывание сигнала мозга и передачу его в компьютер, однако общая задержка должна сократиться, что ускорит игровой процесс.

    Более того, благодаря нейроинтерфейсам снимаются встроенные ограничения физических устройств ввода, в том числе ограничение по степеням свободы, количеству возможных действий, скорости ввода действий, полосе пропускания и так далее. Сейчас даже сложно представить, насколько сложные и насыщенные игры можно создавать, если обеспечить съём информации непосредственно с мозга игрока.

    Игрок может запомнить до 20−100 комбинаций команд мыши и клавиатуры, объяснил Амбиндер. Для некоторых игр этого достаточно, но ограничение остаётся. А время передачи импульса от синапса к пальцу составляет в среднем около 100 миллисекунд. По мнению специалиста, эту задержку можно сократить до 20−30 миллисекунд с помощью мозгового сканера.



    Майк Амбиндер рассказал, что нейроинтерфейс может работать бесконтактным способом или через внедрение интракортикального имплантата в череп.



    Наверное, в первое время после появления нейроинтерфейсов они не будут полностью «социально приемлемыми», то есть большая часть игроков не согласится покупать специальный шлем для считывания мозговых импульсов. Можно предположить, что поначалу такое оборудование начнут интегрировать в шлемы виртуальной реальности, поставляя его в комплекте. Так постепенно нейроинтерфейсы наберут критическую массы пользователей, а со временем станут стандартной функцией игрового процесса.

    На следующем этапе нужно будет как-то уговорить пользователей установить импланты в череп, что сейчас кажется очень сложной задачей. Но со временем привычки геймеров наверняка изменятся, как и нормы допустимой кибернизации. Если такой имплант будет давать реальное преимущество над другими за счёт снижения latency, то может стать совершенно необходимым аксессуаром для профессионального гейминга. Для Valve продажа нейроинтерфейсов, шлемов и имплантов может стать дополнительной статьёй доходов.

    В этом направлении ведут активные исследования не только Valve, но и другие игровые компании. Существующее оборудование уже позволяет отслеживать разные физиологические параметры игрока: от синаптических реакций до «гальванической реакции кожи», направления взгляда, мышечного напряжения и осанки. Амбиндер упомянул об экспериментах с датчиками сердечного ритма, о регулировке сложности игры на основе эмоций игрока и выборе виртуальных вознаграждений на основе того, какие из них приносят игроку больше удовольствия.
    Поддержать автора
    Поделиться публикацией

    Комментарии 16

      0

      Кого там Вульва собралась банить? "Агрессивных" игроков? А показать террористов на промо с CS слабо, лицемеры?

        0
        Про игровые нейроинтерфейсы есть неплохая серия Черного Зеркала: 3s2e «Бета Тест». Всем советую.
        Спойлер! Если хотите посмотреть, крайне не рекомендую открывать, все себе испортите!
        Парень поехал путешествовать. В последней стране встретился с девушкой(актриса кстати играла девушку-фантома в Человек Муравей 2), переспали, все дела. Ему все время звонит мама, он не берет трубку. У него кончились деньги, не хватает на билет домой, он устроился на подработку — тест нового игрового нейроинтерфейса. Его девушка — IT журналист, попросила что нибудь сфоткать. Он приехал, перед тестированием попросили выключить телефон. Ему повезло, он остался один, включил телефон и смог сфотографировать что-то. Потом пришел персонал, и началось тестирование. Предполагалось, что интерфейс будет взаимодействовать только со зрением(как AR), но все оказалось намного хуже. Сильно хуже. Ему начало очень многое казаться, он стал чувствовать боль, хотя на самом деле ничего не было, и т.п.
        ОСТОРОЖНО! СПОЙЛЕР КОНЦОВКИ!
        В конце концов оказалось, что когда вернулся персонал, ему на телефон позвонила мама. Из-за этого его мозг сразу же «сгорел» и он умер. И все.

          0

          Не понял связи между звонком и "сгоревшим" мозгом. А вам тройка за пересказ.

            0
            Из-за особенностей нейроинтерфейса нельзя было пользоваться телефоном.
          0
          Судя по КДПВ, Гейба кто-то решил починить. Чтобы он начал делать HL3.
            +1
            Как-то нераскрыта обратная связь, ведь имплант в теории можно использовать не только для чтения «ввода» (мозг-компьютер), но и для «вывода» (компьютер-мозг), и это совершенно новые возможности, на порядок круче, чем текущий VR или игры вообще. :)
              0
              Боюсь, что после этого такое понятие как «человек» перестанет что-либо обозначать…
                0
                Как будто это что то плохое! :)
                  0

                  А что в этом хорошего? Люди то не перестанут существовать, только вот им уже придётся сосуществовать с богами. Да и формальное бессмертие ничего хорошего, кроме вопросов, не дает.

                    0
                    Ну если кто то не хочет становиться, как вы выразились, «богом» то это его личное решение, но почему же тогда те кто им стал должен испытывать сожаление по этому поводу? Прогресс неумолим и будет идти независимо от желаний отдельных людей. Даже сейчас никто не мешает вернуться обратно в «пещеры», но вот что то желающих не очень то и много.
                      0

                      Вообще-то, желающих не так уж и мало… Но по факту речь не про это.


                      Вы немного не уловили мысль. Богами буквально станут те, кто могут, за редкими исключениями. А те кто не могут — останутся людьми. И… Проблема не в прогрессе, проблема в богах, которые раньше не считались особо с людьми, что уж говорить про животных. А что будет, когда по факту они станут теми, кем являемся мы для животных… И вы можете быть почти уверены в том, что именно вы останетесь человеком. Не потому, что вы не захотите (скорее наоборот), но потому что банально не сможете за банальным отсутствием средств (не только и не столько денег).


                      И это еще хороший вариант, если новые боги не станут обращать внимания на людей.


                      Звучит… Претециозно, но замените "боги" на "правительства, корпорации и мультитриллеонеры" и будет намного больше похоже на не самый благоприятный прогноз будущего.

                        0
                        Ну подобные мысли уже попахивают теориями заговоров, а я увы в них не верю. Поэтому предполагать и верить в будущее в котором некие «злые» корпорации узурпируют все технологии и будут купаться в роскоши, бессмертии и всесилии при этом угнетая бедное и замученное большинство остальных людей (привет Голодные игры, Эквилибриум, Видоизмененный углерод и прочий «киберпанк») я не буду. Не буду, потому что это бред больного воображения… ну или художественный вымысел (если рассматривать как искусство), который в любом случае не имеет под собой никаких реальных оснований. Подобные мысли не имеют под собой никакой ни логической, ни исторической основы и возникают только от нежелания понимать происходящего и неспособности проводить исторические аналогии. Поэтому когда такие технологии появятся, а они обязательно рано или поздно появятся, то они через какое то небольшое время будут доступны всем желающим, примеры из прошлого машины, компьютеры, телефоны и Знания. А те кто НЕ захочет ихи использовать будет это делать только из за своих личных соображений, но таких много не будет. Так что никакого угнетения одних другими не будет. Ну и как другой довод, сильно ли мы угнетаем тех животных которых не используем и с которыми у нас не пересекается жизненное пространство? Нам ведь до них все равно. А каким образом и главное для чего «полубоги» будут использовать обычных людей?
                          0
                          Нууу. Уж не знаю, в какой стране вы живете, на какой планете или даже вселенной (если это другая вселенная искренне попрошу переслать технологию связи с нашей ;)

                          Поэтому.

                          Подобные мысли не имеют под собой никакой ни логической, ни исторической основы и возникают только от нежелания понимать происходящего и неспособности проводить исторические аналогии.
                          В каком месте они не имеют логической и исторической основы, и что там у меня с желаниями и способностями? С переходом на личности поосторожнее. Немного истории: едва ли прошло 200 лет с отмена рабства! Санкт-Петербург строился крепостными, а Америка перепахана неграми! Но даже после отмены рабства фактическое оно все равно осталось: вам разве не неприятно смотреть на бухих подростков — детей депутатов и богатых — которые не делают ничего, кроме развлечений? Неприятно в плане зависти, не надо кривить душой. Честно, оправданий я в Интернетах начитался. Подавляющее большинство практически обязано работать для поддержания хоть какого-то уровня жизни, причем в малом бизнесе объем работ еще и выше на порядок, тогда как некотрая элита живет буквально в радость! Действительно, ни одной революции не было на этой почве. Даже после отмены рабства. И ладно еще средний класс (который не то, чтобы многочисленный в масштабе мира), так есть же еще и огромный слой населения, который просыпаясь не уверен, что вечером поест. Хотя технически есть ноль проблем организовать перераспределений еды так, чтобы голодных не было совсем. Не далее, как в прошлом веке Китай подписавшись на огромный экспорт зерна не смог себя прокормить. И постойте, я говорю про Китай как единое целое с потребностями и возможностями, намного превышающие одного человека. Но сосредоточены эти возможности на кончике пера едва ли не одного человека (или крайне малой группы лиц).

                          Ну ладно, с историей я вас разнес (без обид), а что с сегодня? В моей семье две машины, у нас есть крыша и абсолютно нуль проблем с едой (я даже могу себе позволить веганскую диету, хотя по идеи она даже дешевле). А у соседей два загородных дома, шесть машин и они могут себе позволить еженедельный ресторан. При этом у меня есть родственники с не самыми сильными возможностями в планировании и посему они живут в нищите на пособия (в РФ можно жить на пособие!).

                          Но все это полная фигня когда речь идет про власть! Никто из вышеперечисленных фактически не может повлиять на политические решения (только не надо начинать демагогию про демократию — я на эту уловку сегодня не попадусь!).

                          Стоит помнить, что во многих странах (включая нашу) политику нехило лоббирует бизнес. Большой бизнес.

                          Так что вот о каких богах я говорю. Дажеине полубогах — а именно богах. Дело не в том, что там кто-то не позволит или еще что, дело в том, что идеи всегда сильнее. А страна — это идея. Корпорация — это идея. Бог — это идея. Ради таких идей люди готовы на огромные жертвы вплоть до лишения жизни во имя. Исторически туева хуча подтверждений этого факта.

                          Отвечая на последний вопрос — я не знаю. Но думается особо ничего не изменится, люди просто продолжат находится в упряжке экономики. Просто если сейчас в главе угла в мире гуманизм, то когда он сменится постгуманизмом боржоми пить будет поздно. И боюсь 24/7 в некой капсуле с «прогулками» по 15 минут на постной жидкой питательной диете с одной целью — быть биологическим компьютером — не самая печальная из последствий. Хотя, кому то может повезти стать домашним питомцем. И это не надо представлять, вполне возможно вы сами увидите еще, да и некоторые элементы легко заметить хоть сейчас. А самое забавное — вы даже скорее всего не осознаете своей тщетности бытия!
                            0
                            В каком месте они не имеют логической и исторической основы, и что там у меня с желаниями и способностями? С переходом на личности поосторожнее.

                            Ну скорее это вы должны показать логические и исторические основы подобных рассуждений. :) Доказывать отсутствие чего либо вещь затруднительная, гораздо проще показать наличие (пример: доказательства существования бога). По поводу перехода на личности это вы зря, я никого не хотел задеть своим мнением лично, это в принципе касается подхода к рассмотрению этой проблемы у людей с подобным мировоззрением и данный подход не верен ИМХО!
                            Ну ладно, с историей я вас разнес (без обид)

                            Простите конечно, но это смешно!
                            Немного истории: едва ли прошло 200 лет с отмена рабства! Санкт-Петербург строился крепостными, а Америка перепахана неграми!

                            И как это относится к теме разговора? Это мне напоминает шутку времен СССР «Зато у нас негров не вешают..» Что доказывает то, что раньше общество было другим менее гуманным и развитым? Надеюсь вы не делаете вывод, что если раньше было рабство и людей держали за скот то так и будет в будущем. Если так, то объясните, пожалуйста, например почему раньше, в какие нибудь 10-15 века, доступ к знаниям и современной медицине, по тем меркам, был только у знатных людей, а сейчас есть у каждого, если только этот каждый захочет этим пользоваться. Почему буквально 100-200 лет назад, очень много людей (в развитых странах) помирало от банального голода, а сейчас это фактически невозможный сценарий (опять же берем развитые страны).
                            Неужели что то из этого вам говорит о том что с развитием технологий все больше благ цивилизации узурпируется правящей верхушкой? Приведите хоть один достойный пример. Только не надо приводить примеры новых технологий, которые на начальном этапе всегда очень дороги и как следствие доступны только состоятельным людям.
                            Но даже после отмены рабства фактическое оно все равно осталось: вам разве не неприятно смотреть на бухих подростков — детей депутатов и богатых — которые не делают ничего, кроме развлечений? Неприятно в плане зависти, не надо кривить душой. Честно, оправданий я в Интернетах начитался. Подавляющее большинство практически обязано работать для поддержания хоть какого-то уровня жизни, причем в малом бизнесе объем работ еще и выше на порядок, тогда как некотрая элита живет буквально в радость!

                            Вы это серьезно? Вы наверное слабо себе представляете реальную разницу между рабом и хозяином и вместо нее ставите разницу в материальном достатке. У вас видимо или все равны по достатку или рабство. Да есть люди которые получают необоснованные (и с моей точки зрения) доходи при этом не прилагая почти никаких усилий. И да неравенство и несправедливость все еще есть, но ее становится все меньше и меньше с развитием технологий. Неужели это не очевидно? Сравните жизнь раба или крепостного в России с современным среднестатистическим человеком. По уровню доступа к необходимым вещам (питание, медицина, транспорт, жилище) мы сейчас живем лучше королей 15 веков. Или для вас уровень жизни это количество золота в подвале?
                            Хотя технически есть ноль проблем организовать перераспределений еды так, чтобы голодных не было совсем.

                            А кто то голодает у нас? Не имеем ввиду страны «третьего мира». Или если не ешь на завтрак черную икру и не обедаешь в ресторанах то это голод?
                            В моей семье две машины, у нас есть крыша и абсолютно нуль проблем с едой (я даже могу себе позволить веганскую диету, хотя по идеи она даже дешевле). А у соседей два загородных дома, шесть машин и они могут себе позволить еженедельный ресторан. При этом у меня есть родственники с не самыми сильными возможностями в планировании и посему они живут в нищите на пособия (в РФ можно жить на пособие!).

                            Как мне кажется у вас представление об уроне жизни складывается из количества машин и айфонов, но с моей точки зрения это крайне неверный подход.
                            Но все это полная фигня когда речь идет про власть! Никто из вышеперечисленных фактически не может повлиять на политические решения (только не надо начинать демагогию про демократию — я на эту уловку сегодня не попадусь!).

                            Зачем вы постоянно уходите в политику, какое отношение это имеет к доступности технологий? Еще раз прошу привести пример когда политики или иные элиты узурпировали какие нибудь технологии?
                            И боюсь 24/7 в некой капсуле с «прогулками» по 15 минут на постной жидкой питательной диете с одной целью — быть биологическим компьютером — не самая печальная из последствий. Хотя, кому то может повезти стать домашним питомцем.

                            Матрица значит?! :) Всегда не мог понять, а в чем профит подобных компьютеров (ну или электростанций). Зачем вообще может это понадобится делать, ну кроме личного желания человека? Я все же не вижу никакой логической основы, под подобный вариантом развития событий, а вы ее так и не указали. Все ограничилось общими фразами про несправедливость распределения, рабство в прошлом, детей «депутатов» и описанием общества потребления (как единственно возможного варианта) в котором наличие «айфона» позволяет быть не нищим.
                0
                Ввести что-то толковое сложно, только на мышах получилось. Да и электроды через два года зарастают глией и становятся нефункциональными.
                0
                Даже на таком примитивном уровне возможна разработка игр нового типа. Можно представить, что развитие сюжета или действия противника в игре происходит с учётом эмоций игрока (страх, агрессия и т. д.). Valve называет это «адаптивным геймплеем». Получение данных об эмоциях игроков позволит разработчикам создавать более увлекательные игры, а в мультиплеере нейроинтерфейсы помогут вычислить злобных и токсичных игроков, которых лучше забанить.
                Этот адаптивный геймплей уже давно используется в психотерапевтических игровых приложениях с Биологической обратной связью. Правда игры в основном относительно простые по сюжету. В последнее время используются шлемы ВР. Имеет смысл использовать для контроля состояния игрока, изменения сложности сюжета в зависимости от его состояния и рекомендаций к завершению сеанса игры. Можно также вести различные рейтинги состояния игрока, и учитывать их в последующих игровых сессиях.

                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                Самое читаемое