Относительно недавно сооснователь Valve Гейб Ньюэлл (Gabe Newell) заявил, что человечество уже намного ближе к “Матрице”, чем может показаться. Мы с соавтором решили разобраться, так ли это, и зачем Valve, Facebook и Илон Маск пытаются подключить мозг к компьютеру.

Иллюзия контроля

Нейрокомпьютерный интерфейс (НКИ) или интерфейс «мозг-компьютер» (Brain-computer interface, BCI) – система, созданная для обмена информацией напрямую между мозгом и компьютером. Концепция была описана Джозефом Ликлайдером еще в 1960 году в статье со звучным названием «Симбиоз человека и компьютера» (Man-Computer Symbiosis). Сейчас публикация представляет скорее историческую ценность, а вот активные попытки вступить в такой симбиоз предпринимаются с конца 2000-х годов.

Пожалуй, тогда больше других проявила себя компания NeuroSky, вместе со Square Enix представившая на Tokyo Game Show 2008 игру-доказательство концепта Judecca. В 2009 году NeuroSky даже выпустила коммерческие НКИ-настольные игры, купить которые можно до сих пор, но считывают ли они мозговую активность или эксплуатируют феномен иллюзии контроля – вопрос открытый.

Продукты остальных компаний в основном так и не вышли за пределы конференций, а лидеры игровой индустрии или отмалчивались, или говорили, что не занимаются разработками НКИ.

Игры Mindflex и StarWars Force Trainer от NeuroSky пока остаются наиболее успешными BCI-устройствами, несмотря на противоречия.

В 2012 году лаборатория нейрокомпьютерных интерфейсов в Грацком университете Австрии представила НКИ для World of Warcraft. Система работала, но заменить мышь с клавиатурой явно не могла.

«Обучение» интерфейса и игрока: чтобы связать сигнал от мозга с определенной командой, пользователю требуется сначала подвигать рукой, а во время игры просто подумать об этом движении.

Постепенно стало понятно, что революции не произойдет. Об НКИ подзабыли, но ровно до тех пор, пока знаменитый основатель Valve Гейб Ньюэлл (Gabe Newell) не заявил в вышедшем 18 марта 2020 года интервью, что в компании вовсю ведутся нейробиологические исследования, добавив, что мы намного ближе к «Матрице», чем многие думают. Почти одновременно вышел отчет, согласно которому рынок НКИ к 2027 году будет оцениваться в 2,96 млрд долларов.

О чем не сказал Гейб

Год назад сотрудник Valve, экспериментальный психолог доктор Майк Эмбиндер (Dr. Mike Ambinder), рассказал на Game Developers Conference 2019 о развитии и применениях НКИ. По сравнению с интервью Гейба, его выступление почти никто не заметил, хотя он рассказал о планах компании намного больше.

Майк в ЭЭГ-хэдсете от OpenBCI – сообщества энтузиастов, разрабатывающих open-source решения для НКИ.

В Valve пока не идут по пути «Матрицы», подключаясь к мозгу напрямую, а используют специальный «шлем» для электроэнцефалографии (ЭЭГ). У этого подхода есть недостатки — а именно шумы и низкая пропускная способность (например, авторы НКИ для World of Warcraft оценили скорость передачи данных в <100 бит/минуту).

Основные методы получения информации об активности мозга, в том числе с помощью перехвата сигнала на периферических нервах и мышцах.

Недостатки отчасти вызваны тем, что сигнал проходит через кожу и кости. ЭЭГ обычно сравнивают с попытками понять, что происходит на футбольном поле, стоя за стенами стадиона и вслушиваясь в крики болельщиков.

Проследить за матчем “с трибун” позволяют другие методы:

Электрокортикография, ECOG — или внутричерепная ЭЭГ (intracranial electroencephalography — iEEG) — наиболее “мягкий” хирургический метод, когда электроды прилегают непосредственно к поверхности мозга. Глубокого вмешательства в его структуры не происходит.
Внутрикорковая запись (intracortical recordings) и импланты — метод с внедрением электродов в толщу коры, как правило моторной. Делает электроды еще ближе к источнику сигнала, а операцию — еще сложнее.

Но неинвазивность ЭЭГ пока перекрывает все минусы, а Майк считает, что ее возможности еще не исчерпаны. Уже сейчас она позволяет оценить:

Увлечен игрок событиями на экране или вот-вот умрет от скуки;
Напряжен во время сложной миссии или расслаблен и уверен в себе;
Способен ли концентрироваться и усваивать новую информацию. Все-таки игровой процесс предполагает обучение игрока – управлению, специфике геймплея и т.п. вещам;
Моторные сигналы – какими движениями и как интенсивно игрок реагирует на те или иные раздражители в игре.

И многие другие, более тонкие параметры. Активно развивающиеся алгоритмы машинного обучения постепенно дают извлечь из данных ЭЭГ все больше.

Не спешим выбрасывать клавиатуру

Скорее всего, путь НКИ в игровой индустрии начнется не с погружения в виртуальную реальность.

По словам Майка, сейчас НКИ в первую очередь позволяет получить от игрока новую обратную связь, способную улучшить качество игр. Майк считает, что технологии пройдут три стадии развития.

Каждый интерфейс является интерфейсом «мозг-компьютер». Отличается только промежуточное аппаратное звено, с помощью которого мы переводим наши намерения в нечто, пригодное для использования. Доктор Майк Эмбиндер (Dr. Mike Ambinder), экспериментальный психолог Valve.

В ближайшей перспективе НКИ найдут применение в разработке игр и сделают эффективнее процесс тестирования. Сейчас обычный метод определения эмоций тестера – опрос. При этом провести его можно только после прохождения игрового уровня, когда какие-то впечатления уже подзабыты, сглажены или переосмыслены. Считывание реакций мозга на внутриигровой стимул в реальном времени гораздо объективнее и поможет лучше проектировать уровни, точнее попадая в запланированные эмоции.

Анализ движения глаз, биения сердца, напряжения мышц и даже осанки – способ оценить состояние игрока не «касаясь» мозга. Это может представлять не меньший интерес, чем ЭЭГ.

Постепенно НКИ станут доступнее и выйдут за пределы студий. На втором этапе доступ к данным получит уже сама игра. Это, по мнению Майка, полностью изменит понятие адаптивного геймплея. Традиционные уровни сложности устареют – игровой мир будет подстраиваться под конкретного игрока, определяя, какие враги вызывают у него больше проблем, хочет ли он расслабиться после тяжелого рабочего дня или скучает в ожидании сложной битвы.

Готовы ли пользователи делиться своим состоянием и даже мыслями с игрой или сочтут, что это слишком личное?

В конечном итоге персонажи игры получат возможность реагировать на настрой игрока и его эмоциональное состояние, принимая решения на основе этих параметров.

Мимика в L.A. Noir (2011) позволяет игроку угадать, лжет персонаж или говорит правду. С приходом НКИ роли могут поменяться.

Представьте шпионскую игру, в которой вам действительно нужно быть шпионом и обманывать с помощью голоса, слов, поведения и мыслей. Или RPG, в которой действительно нужно отыгрывать роль. Майк Эмбиндер (Mike Ambinder), экспериментальный психолог Valve.

«Истинный НКИ» – замена стандартных, «физических» интерфейсов управления станет последним шагом. Это решит проблемы современных интерфейсов: большое время реакции, необходимость запоминать клавиши, невозможность нажать сразу множество клавиш. Но добавит новые: например, отсутствие тактильной обратной связи. Промахнувшись мимо клавиши «прыжок», понять, почему персонаж не подпрыгнул, не составляет труда. С отданной мысленно командой та же ситуация уже не так однозначна.

Конечный этап развития НКИ – создание той самой «Матрицы»: устройств вывода данных напрямую в мозг, минуя мониторы, VR-шлемы и аудиосистемы. По словам Гейба, теоретические исследования уже идут и приносят много сюрпризов: внешне «сложные» задачи – «подключение» к моторной коре – оказываются относительно простыми, в то время как другие – например, имитация ощущения холода – невероятно сложны.

Оказывается, что у мозга есть очень хорошие встроенные интерфейсы для одних вещей, и очень плохие – для других. Гейб Ньюэлл (Gabe Newell), один из основателей и генеральный директор Valve

Аппарат для ТМС, используемый Valve.

При этом лезть внутрь черепа по-прежнему не обязательно. Для первичных исследований достаточно транскраниальной магнитной стимуляции – метода, при котором на определенные структуры мозга воздействуют с помощью магнитных импульсов, вызывая глубокую стимуляцию. Сейчас такой подход используется в основном для лечения некоторых психических и неврологических заболеваний, для чего конкретно ТМС используют в Valve Майк не уточнил.

Мозговые импланты. Как тебе такое, Гейб?

Многое из того, что описал Майк, можно реализовать с помощью ЭЭГ. Но он допускает, что когда-нибудь импланты станут такой же обыденностью, как и LASIK – операция по лазерной коррекции зрения. Майк называет эту точку «LASIK-порог». Преодолеть его собирается Илон Маск, чья компания Neuralink уже представила имплант N1, пообещав начать клинические испытания уже в 2020 году.

Созданный в Neuralink робот-хирург, способный вживлять до 192 электродов в минуту с точностью в несколько микрон.

Поэтапное вживление роботом нитей с электродами в имитирующую ткани мозга подложку. Neuralink проделали огромную работу, создав 20 типов нитей для разных задач.

По словам сотрудника Neuralink, профессора Калифорнийского университета в Сан-Франциско Филипа Сейбса (Philip Sabes), основная цель проекта – помощь парализованным людям. В том числе – вернув возможность заниматься спортом хотя бы виртуально, с помощью игр.

Некоторые инвазивные НКИ уже были испытаны на людях. Внутрикорковый имплант Braingate в 2008 году позволил полностью парализованному пациенту управлять курсором, а уже в 2012 году – взять с помощью роботизированной руки со стола бутылку и сделать глоток. С технологиями Neuralink возможности таких интерфейсов могут быть расширены.

Нейроинтерфейсы способны помочь людям вновь обрести слух, зрение, улучшить протезы и даже восстановить функции парализованных частей тела.

Модуль ASIC Neuralink, производящий первичную обработку данных прямо внутри черепной коробки.

Вывод данных из мозга в случае инвазивного импланта не менее сложен, чем при ЭЭГ. Чтобы информация не исказилась, первичную обработку, усиление сигнала и подавление шума лучше производить как можно ближе к нейронам. Для этого Neuralink разработали специальные plug-and-play модули, которые можно разместить прямо внутри черепной коробки пациента. Они подключаются к стандартным интерфейсам вроде USB-c и, в перспективе, Bluetooth, но главное их преимущество – масштабируемость, позволяющая подключать большое количество модулей сразу.

Сам Илон, как и всегда, формулирует цели еще смелее: он хочет создать “полномозговой НКИ”, обеспечив тот самый симбиоз человека с искусственным интеллектом. При этом бизнесмен признает, что даже при всех достижениях Neuralink, это пока фантастика.

Ближе к реальности

В ноябре 2019 года Facebook приобрел компанию CTRL-labs. Возможно, CTRL-labs привлекла внимание тем, что добраться до главной цели любого НКИ – мозга – они планируют совсем не через отверстия в черепе. И этот подход выглядит реалистичнее остальных.

Одна из ранних версий CTRL-kit.

Директор CTRL-labs Томас Реардон (Thomas Reardon) объясняет, что имплант от Neuralink хорош для парализованных пациентов, но у здорового человека уже есть готовый нейроинтерфейс – нервные окончания и соединенные с ними мышцы. Неинвазивные методы тут подходят идеально: генерируемая мышцами активность в разы сильнее сигнала от любой структуры мозга. Сложнейшие алгоритмы расшифровки ЭЭГ практически не требуются – основная работа уже проделана телом человека. Поэтому представленный в 2018 году CTRL-kit – это не «шлем», а браслет для электромиографии.

https://youtu.be/xl9BOyfOhFw

Одна из демонстрационных «игр» CTRL-labs. Разработки компании пока намного больше похожи на готовый для игр интерфейс, чем все, что работает на основе ЭЭГ.

Интерфейс, похожий на CTRL-kit, появился еще в 2009 году. Но сходство только внешнее: такой контроллер не работает без сокращения мышц.

При этом CTRL-kit можно считать полноценным интерфейсом «мозг-компьютер», считывающим активность нейронов. Чтобы доказать это, к браслету подключили динозаврика из Google Chrome.

https://youtu.be/lcMRMpAVlsc

Демонстрация использования CTRL-kit для управления динозавриком из Google Chrome.

На обучение, по словам Филипа, уходит в среднем 90 секунд. На первом этапе обучения игрок просто нажимает кнопку. После – имитирует нажатие с помощью мышц – сначала с трудом, затем – практически рефлекторно. И тут происходит самое интересное: мышцы исключаются из цепочки.

Мозг постоянно пытается найти ответ на вопрос: “Какое минимальное действие я должен совершить, чтобы получить ответную реакцию?”. Этот процесс невозможно остановить. Томас Реардон (Thomas Reardon), CTRL-labs CEO.

В какой-то момент ответ находится: сокращать мышцы вообще нет необходимости, достаточно подумать о движении – этого импульса хватит, чтобы CTRL-kit среагировал – динозаврик прыгнет.

Взять чашку со стола и поднести ко рту – что может быть проще? Но задача проста только на первый взгляд – каждый раз меняется расстояние до чашки, ее материал, вес, форма и другие параметры. Взрослый человек без труда адаптируется к этим изменениям – как и к разным вариантам использования CTRL-kit. Изучение того, как происходит моторная адаптация, пригодится в робототехнике – машины пока не умеют так хорошо подстраиваться под меняющиеся условия.

Интерфейс отчасти использует принцип «моторного лепета» – хаотичных движений, с помощью которых младенец составляет «карту» тела, связывая активность определенных зон мозга с движениями. Постепенно процесс такого обучения совершенствуется, но никогда не останавливается. Ctrl-labs по сути перенаправляют эту способность к моторной адаптации на освоение интерфейсов.

CTRL-kit не просто работает – он помогает воссоздать цепочки, в которые объединены нейроны. Главный прорыв, по словам Томаса, в том, что технологии CTRL-labs позволяют детектировать активность отдельных нейронов. Доказательства этому пока не опубликованы, но компания обещает выпустить статью в ближайшее время, и если она окажется убедительной, то главная цель нейробиологии – расшифровка того, как работает мозг, станет намного ближе, как и создание НКИ без посредничества мышц и периферийных нейронов.

Стоит отметить, что в Valve, видимо, тоже интересуются периферической нервной системой. Майк упоминает этот подход, как потенциальный способ сократить время отклика. Например, если сигнал от мозга до пальцев руки доходит за 100 миллисекунд (число взято для примера), то «перехват» сигнала на подходе к мышце поможет сохранить 10-30 миллисекунд. На первый взгляд, это незначительно, но такое «читерство» наверняка придется по вкусу киберспортсменам. Правда, пока интерфейсы могут только увеличить время отклика, но технологии не стоят на месте.

Что будет дальше

Научная фантастика поставила много связанных с НКИ этических вопросов, но пост-НКИ мир наверняка поставит еще больше.

Гейб уверен, что технологии найдут применение во всех отраслях индустрии развлечений, но скептически относится к прогнозам. По его словам, представить сейчас пост-НКИ мир – все равно что пытаться объяснить, что такое Интернет, человеку, который никогда о нем не слышал. «Круто, там можно искать рецепты!» – скажет такой человек, но предугадать появление, например, Uber он не сможет.

Добровольно заставить геймеров покупать новые устройства не так уж просто. Дорогостоящая разработка НКИ в этом плане – огромный риск. Скриншот из Half-Life: Alyx (2020).

Тем не менее, все разработчики говорят о том, что НКИ станут логическим развитием технологий виртуальной реальности. Заставить игрока надеть «шлем» – непростая задача, но добавив к VR-хэдсету НКИ-электроды, можно кардинально изменить ощущения от игры и сделать устройство привлекательным.

Попытки создать гибридные шлемы уже были – компания Neurable показывала такое устройство на нескольких выставках и даже анонсировала игру Awakening, но релиза пока так и не случилось.

Виртуальная реальность упоминается в выступлениях сотрудников всех компаний. А вот о чем никто не сказал, так это о том, сколько осталось ждать. Ни Майк Эмбиндер, ни Гейб Ньюэлл не назвали дату выхода Half-Life 3 на НКИ. Филип Сейбс и Илон Маск хоть и упоминают игры, но инвазивный имплант вряд ли сразу заменит геймпад. Конкретные сроки называет только Томас Реардон – и, учитывая реалистичный подход CTRL-labs, не верить ему оснований нет. По его словам, первые массовые НКИ не появятся на рынке до 2024 года.

Дополнительные материалы:

Для тех, кому не терпится опробовать НКИ, мы подобрали список ссылок с теорией, а также с уже продающимися или готовящимися к выходу устройствами и приложениями.

История и будущее BCI:

Ответы на основные вопросы об НКИ
«Руководство для новичков» по НКИ, содержащее определения, краткую историю направления и принципы работы
Основные события истории НКИ на схеме
Немного о нынешнем состоянии технологий и будущих применениях НКИ
Обзор основных методов изучения мозговой активности и их преимуществ и недостатков
Статья Маска и Neuralink с описанием разработанных компанией технологий
Роль машинного обучения в расшифровке ЭЭГ
Обзор 2014 года, посвященный проблеме НКИ в играх

Что уже создано:

openbci.com — Крупное сообщество НКИ-энтузиастов, выпускающих open-source хэдсеты и софт. Интересно богатым ассортиментом комплектующих и открытого кода для тех, кто хочет попробовать себя в разработке.
store.neurosky.com – Neurosky, авторы упомянутых в статье MindFlex и StarWars Force Trainer, предлагают большой выбор готового софта, который, судя по отзывам, действительно работает.
emotiv.com – Наряду с Neurosky, одна из старейших компаний, создающих доступные ЭЭГ-хэдсеты. Разработанный на данный момент софт скорее заточен под «улучшение состояния и производительности» и тренировки концентрации. Есть красивый визуализатор мозговой активности в реальном времени.
brainco.tech – Гарвардский стартап BrainCo, чьи хэдсеты заточены под развитие способности фокусироваться. Чтобы достичь цели было проще, процесс основан на простых играх.
next-mind.com — Стартап NextMind, интересный в первую очередь тем, что их готовящийся к выпуску девкит – наиболее компактное и мобильное ЭЭГ-устройство. Также разработчики обещают совместимость с играми.

Авторы:

Иван Смирнов (я), концепт-художник, иллюстратор, основатель Smirnov School.
Артемий Третьяков, генетик, автор в Smirnov School.

Нейрокомпьютерные интерфейсы для игр: что известно на сегодняшний день