NextMind Dev Kit: обзор первого нейроинтерфейса реального времени

Мечта об управлении компьютером силой мысли вот уже более полувека будоражит умы людей. Еще с 1960 года специалисты DARPA рассматривали возможность симбиоза человека и компьютера. Казалось бы, задачка элементарная: считать электрический сигнал от мозга, сформировать на его основе команду и исполнить ее на компьютере. Но даже на первом этапе возникают очень большие сложности. Дело в том, что сигнал от мозга настолько слабый, что его требуется усиливать почти в 20000 раз.

Собрать такую схему сейчас не проблема, но тут возникает еще один существенный нюанс. Для того, чтобы снять полезный сигнал с кожи головы, необходима как можно большая площадь контакта датчиков. При малой площади контакта неизбежно начнут возникать проблемы из-за резкого увеличения сопротивления. Полезный сигнал просто не будет различим на фоне шумов.

В идеальном варианте голову следует побрить, но для большинства людей такой способ неприемлем. Для традиционного снятия электроэнцефалограммы (ЭЭГ) без бритья волос используются специальные гели с высокой электропроводностью. Маловероятно, что кому-то захочется для использования нейроинтерфейса каждый раз мазать голову гелем.

Еще одна проблема возникает при интерпретации сигналов. В отличие от компьютера, где сигналы цифровые, наш мозг способен выдавать только слабые электрические колебания с определенными частотами, реагируя тем самым на различные события. Такими событиями могут быть визуальная стимуляция и фокусировка внимания. Распознавание мозговых волн от этих двух событий и лежит в основе нейрогарнитуры NextMind. Взглянем на устройство поближе и посмотрим, как разработчики решили все эти проблемы.

Внешний вид устройства

Нейрогарнитура поставляется в красивой черной коробочке с зеленой полосой посередине. Внутри находится сама гарнитура, крепление на голову и кабель для зарядки USB Type-C. Обмена данными по кабелю не происходит, так что это реально только для зарядки. Связь с гарнитурой осуществляется по Bluetooth.

Соединение гарнитуры с креплением на голову выполнено по принципу обычной прищепки. Слегка отжимаем верхнюю часть с логотипом, вставляем пластиковую вставку крепления и отпускаем. На этом все — гарнитура надежно закреплена. Такой способ явно предполагает использование разных вариантов крепления на голову, в том числе и совместно с VR/AR-очками.

На прилегающей к голове стороне расположено 9 вертикально расположенных электродов, имеющих по три степени свободы (наклоняются влево-вправо, вверх-вниз и ход вниз-вверх). Без этого невозможно обеспечить плотное прилегание. Каждый электрод на конце раздваивается, что создает 18 полос контакта. Что удивительно, визуально электроды пластиковые, на ощупь слегка напоминают soft-touch покрытие. Металл с кожей головы по факту не контактирует. Могу лишь предположить, что тут используется токопроводящий пластик.

В целом гарнитура выглядит достаточно строго и футуристично. На ум почему-то приходит ассоциация с волшебным гребнем из детской сказки, выполняющим желания. Посмотрим, какие желания выполняет этот гребешок.

Первое включение и калибровка

Прежде всего необходимо скачать программное обеспечение с официального сайта проекта. Пока что оно там присутствует только для Windows и MacOS. Вместе с менеджером приложений и SDK для Unity там есть некоторое количество демок, которые мы, разумеется, протестировали на себе. После запуска дашборда NextMind Manager запускаем их и переходим в раздел Setup&Calibrate. Пришло время выполнить сопряжение с нейрогарнитурой.

Устройство имеет только одну кнопку. Короткое нажатие на нее включает и выключает гарнитуру. Длительное нажатие в течение 4 секунд инициирует процесс соединения. У белого светодиода — три режима работы. В рабочем режиме он горит постоянно. В процессе сопряжения Bluetooth медленно моргает, а когда ждет подтверждающего нажатия — моргает быстро.

После того как сопряжение выполнено, в правом верхнем углу появится актуальный заряд батареи и восьмиточечный индикатор качества прилегания электродов. Теперь следует надеть нейрогарнитуру на голову, стараясь попасть центром в «шишку» зрительной коры. Ее легко найти на ощупь. Несмотря на то, что в рекламных видеороликах это делается очень быстро, правильно надеть гарнитуру вряд ли получится с первого раза. У меня короткая стрижка, поэтому мне было проще, а вот у жены с этим возникли проблемы, и часть волос пришлось убрать в пучок.

Теперь надо добиться идеального прилегания электродов к скальпу, медленно и плавно покачивая гарнитуру, сдвигая ее вверх-вниз. Сложность в том, что детектор реагирует медленно и каждый раз после смещения надо выждать секунду, до того как все 8 точек загорятся сначала красным, а затем сменят цвет на зеленый в точках, где контакт идеален. Достаточно миллиметрового сдвига, и все точки сначала пропадают, затем снова становятся красными и только потом зелеными.

Это характерно исключительно для процесса калибровки. Как только все точки стали зелеными, сдвигать гарнитуру нельзя, контакт точно в норме. По опыту могу сказать, что сильно затягивать крепление не нужно, но и болтаться оно не должно. Медленная реакция детектора скорее всего связана с тем, что алгоритму следует на протяжении некоторого времени получать и распознавать сигнал, отделяя его от шума. После гарнитура работает значительно быстрее.

Начинается самое интересное — калибровка по визуальному образу. В течение 45 секунд в центре экрана появляется круг с моргающим рисунком рандомно расположенных «палочек». По центру круга будет «прицел» из трех зеленых линий — это индикатор концентрации. Как только вы сконцентрировались на круге, линии сводятся вместе, образуя треугольник. Если вы отвлеклись, то они вновь разойдутся. Чтобы корректно откалибровать гарнитуру, нужно сохранять концентрацию на протяжении всего времени калибровки.

Система по итогу оценивает ваш результат от 1 до 5. Сразу скажу, что если вы получите 3 и менее, то рекомендую сразу повторить калибровку, чтобы не портить себе дальнейший опыт. Менять положение головы, двигать руками/ногами и разговарить в момент калибровки нельзя. Вы должны четко видеть круг и не сводить с него глаз. Получив оценку 4 или 5, можно себя проверить на трех кругах и запускать приложения.

Brain like a DJ

Первое демо, которое стоит попробовать, — Music Composer. На экране есть геометрические фигуры, сгруппированные по типу инструмента. Это классический «лупер», где можно включать или выключать закольцованный трек выбранного инструмента. Достаточно сконцентрироваться на любой фигуре точно так же, как в процессе калибровки, и она начнет играть музыку. Если честно, для меня это был шокирующий и ни с чем не сравнимый опыт. Настоящая техномагия, если можно так выразиться.

Что интересно, вероятность ошибки практически нулевая, мне ни разу не удалось включить элемент, на котором я не концентрировался. Так что можно с уверенностью сказать, что каждая геометрическая фигура вызывает определенный паттерн в визуальной коре, который четко считывается нейрогарнитурой. Было бы интересно узнать, за счет чего конкретно формируется этот паттерн.

Могу лишь предположить, что основную роль играет форма изображения, а в качестве дополнительного стимула — частота моргания рисунка с рандомными «палочками». Буду признателен, если вы подтвердите или опровергните мое предположение в комментариях.

Помимо приложения с музыкой, штатный набор демо-версий включает в себя небольшой платформер, где вместе с классическим управлением с клавиатуры необходимо выполнять действия нейрогарнитурой, концентрируясь на летящих в персонажа элементы.

Brain like a TV Remote control

Еще одна крутейшая демка — управление телевизором. Есть несколько коротких видеороликов, имитирующих телеканалы и простой интерфейс управления по углам экрана. «Клик» мозгом на каждый из углов открывает панели, в которых есть кнопки. Слева — переключение «телеканалов», а справа Пауза и Выключение/Включение звука.

Даже с учетом того, что это всего лишь простейшая демо-версия, становится очевидным применение этой нейрогарнитуры людьми с дополнительными потребностями, которые не могут использовать привычные интерфейсы ввода. Уверен, что это поднимет их качество жизни на новый уровень. Все читатели, я думаю, помнят Стивена Хокинга, управлявшего компьютером движениями мимической мышцы щеки, здесь же достаточно бросить сконцентрированный взгляд и немедленно получить ожидаемое нажатие на виртуальную кнопку.

Плюсы и минусы

Постараюсь быть максимально объективным и перечислю все плюсы и минусы использования этой нейрогарнитуры. Начнем с положительных моментов:

• Действительно позволяет управлять компьютером и техникой «силой мысли».
• Потенциально интересно разработчикам, особенно тем, кто уже делает приложения и игры на Unity.
• Имеет красивый футуристичный дизайн.
• Пригодно для людей разных профессий — от архитекторов до музыкантов.
• Длительное время работы (эта кроха спокойно работает 8 часов нон-стоп).

Теперь о минусах, их тут тоже немало:

• Устройство имеет достаточно высокую цену (текущая стоимость — $400) и пока не продается в России. Для сравнения, тот же Neurosky Mindwave стоит всего $110, хотя отечественные перекупщики продают его в 2-3 раза дороже.
• Будет неудобно использовать людям с длинными волосами. В идеале, видимо, лучше быть лысым или с короткой стрижкой.
• Пока требуется частая калибровка (с новыми прошивками обещают поправить).
• Долго носить такую штуку неудобно, эргономика еще требует доработки.
• Нет софта. Демо-версии — это круто, но по-настоящему этот гаджет станет востребованным только тогда, когда будет написано достаточное количество приложений.
• Люди с плохим зрением вряд ли смогут его использовать, все-таки четко прослеживается только визуальная стимуляция мозговой деятельности (хотя допускаю, что ошибаюсь, я не медик).

Подводя итог, можно сказать только одно: такое устройство — действительно шаг в будущее. Это не просто красивый концепт, а цельное, законченное устройство, которое уже неплохо работает и выполняет заявленные функции. Оно применимо для весьма широкой аудитории не только с практической, но и с развлекательной точки зрения. В играх нейрогарнитура дает новый, интересный опыт. Это чем-то похоже на то, когда первый раз взял в руки контроллеры Nintendo Wii Remote или PlayStation Move.

Разумеется, не обошлось и без небольших проблем, которые в большинстве своем обусловлены спецификой устройства. Но если оглянуться, то подавляющее количество современных гаджетов начинали с того же самого. Достаточно вспомнить неудобные резистивные тачскрины наладонников, которыми приходилось управлять стилусом. В эпоху емкостных мультитач-дисплеев это кажется анахронизмом, но именно резистивные дисплеи в свое время стали катализатором перехода от обычных мобильных телефонов к смартфонам.