NextMind Dev Kit: обзор первого нейроинтерфейса реального времени


    Мечта об управлении компьютером силой мысли вот уже более полувека будоражит умы людей. Еще с 1960 года специалисты DARPA рассматривали возможность симбиоза человека и компьютера. Казалось бы, задачка элементарная: считать электрический сигнал от мозга, сформировать на его основе команду и исполнить ее на компьютере. Но даже на первом этапе возникают очень большие сложности. Дело в том, что сигнал от мозга настолько слабый, что его требуется усиливать почти в 20000 раз.

    Собрать такую схему сейчас не проблема, но тут возникает еще один существенный нюанс. Для того, чтобы снять полезный сигнал с кожи головы, необходима как можно большая площадь контакта датчиков. При малой площади контакта неизбежно начнут возникать проблемы из-за резкого увеличения сопротивления. Полезный сигнал просто не будет различим на фоне шумов.

    В идеальном варианте голову следует побрить, но для большинства людей такой способ неприемлем. Для традиционного снятия электроэнцефалограммы (ЭЭГ) без бритья волос используются специальные гели с высокой электропроводностью. Маловероятно, что кому-то захочется для использования нейроинтерфейса каждый раз мазать голову гелем.

    Еще одна проблема возникает при интерпретации сигналов. В отличие от компьютера, где сигналы цифровые, наш мозг способен выдавать только слабые электрические колебания с определенными частотами, реагируя тем самым на различные события. Такими событиями могут быть визуальная стимуляция и фокусировка внимания. Распознавание мозговых волн от этих двух событий и лежит в основе нейрогарнитуры NextMind. Взглянем на устройство поближе и посмотрим, как разработчики решили все эти проблемы.

    Внешний вид устройства



    Нейрогарнитура поставляется в красивой черной коробочке с зеленой полосой посередине. Внутри находится сама гарнитура, крепление на голову и кабель для зарядки USB Type-C. Обмена данными по кабелю не происходит, так что это реально только для зарядки. Связь с гарнитурой осуществляется по Bluetooth.

    Соединение гарнитуры с креплением на голову выполнено по принципу обычной прищепки. Слегка отжимаем верхнюю часть с логотипом, вставляем пластиковую вставку крепления и отпускаем. На этом все — гарнитура надежно закреплена. Такой способ явно предполагает использование разных вариантов крепления на голову, в том числе и совместно с VR/AR-очками.


    На прилегающей к голове стороне расположено 9 вертикально расположенных электродов, имеющих по три степени свободы (наклоняются влево-вправо, вверх-вниз и ход вниз-вверх). Без этого невозможно обеспечить плотное прилегание. Каждый электрод на конце раздваивается, что создает 18 полос контакта. Что удивительно, визуально электроды пластиковые, на ощупь слегка напоминают soft-touch покрытие. Металл с кожей головы по факту не контактирует. Могу лишь предположить, что тут используется токопроводящий пластик.


    В целом гарнитура выглядит достаточно строго и футуристично. На ум почему-то приходит ассоциация с волшебным гребнем из детской сказки, выполняющим желания. Посмотрим, какие желания выполняет этот гребешок.

    Первое включение и калибровка


    Прежде всего необходимо скачать программное обеспечение с официального сайта проекта. Пока что оно там присутствует только для Windows и MacOS. Вместе с менеджером приложений и SDK для Unity там есть некоторое количество демок, которые мы, разумеется, протестировали на себе. После запуска дашборда NextMind Manager запускаем их и переходим в раздел Setup&Calibrate. Пришло время выполнить сопряжение с нейрогарнитурой.


    Устройство имеет только одну кнопку. Короткое нажатие на нее включает и выключает гарнитуру. Длительное нажатие в течение 4 секунд инициирует процесс соединения. У белого светодиода — три режима работы. В рабочем режиме он горит постоянно. В процессе сопряжения Bluetooth медленно моргает, а когда ждет подтверждающего нажатия — моргает быстро.

    После того как сопряжение выполнено, в правом верхнем углу появится актуальный заряд батареи и восьмиточечный индикатор качества прилегания электродов. Теперь следует надеть нейрогарнитуру на голову, стараясь попасть центром в «шишку» зрительной коры. Ее легко найти на ощупь. Несмотря на то, что в рекламных видеороликах это делается очень быстро, правильно надеть гарнитуру вряд ли получится с первого раза. У меня короткая стрижка, поэтому мне было проще, а вот у жены с этим возникли проблемы, и часть волос пришлось убрать в пучок.


    Теперь надо добиться идеального прилегания электродов к скальпу, медленно и плавно покачивая гарнитуру, сдвигая ее вверх-вниз. Сложность в том, что детектор реагирует медленно и каждый раз после смещения надо выждать секунду, до того как все 8 точек загорятся сначала красным, а затем сменят цвет на зеленый в точках, где контакт идеален. Достаточно миллиметрового сдвига, и все точки сначала пропадают, затем снова становятся красными и только потом зелеными.

    Это характерно исключительно для процесса калибровки. Как только все точки стали зелеными, сдвигать гарнитуру нельзя, контакт точно в норме. По опыту могу сказать, что сильно затягивать крепление не нужно, но и болтаться оно не должно. Медленная реакция детектора скорее всего связана с тем, что алгоритму следует на протяжении некоторого времени получать и распознавать сигнал, отделяя его от шума. После гарнитура работает значительно быстрее.


    Начинается самое интересное — калибровка по визуальному образу. В течение 45 секунд в центре экрана появляется круг с моргающим рисунком рандомно расположенных «палочек». По центру круга будет «прицел» из трех зеленых линий — это индикатор концентрации. Как только вы сконцентрировались на круге, линии сводятся вместе, образуя треугольник. Если вы отвлеклись, то они вновь разойдутся. Чтобы корректно откалибровать гарнитуру, нужно сохранять концентрацию на протяжении всего времени калибровки.


    Система по итогу оценивает ваш результат от 1 до 5. Сразу скажу, что если вы получите 3 и менее, то рекомендую сразу повторить калибровку, чтобы не портить себе дальнейший опыт. Менять положение головы, двигать руками/ногами и разговарить в момент калибровки нельзя. Вы должны четко видеть круг и не сводить с него глаз. Получив оценку 4 или 5, можно себя проверить на трех кругах и запускать приложения.


    Brain like a DJ


    Первое демо, которое стоит попробовать, — Music Composer. На экране есть геометрические фигуры, сгруппированные по типу инструмента. Это классический «лупер», где можно включать или выключать закольцованный трек выбранного инструмента. Достаточно сконцентрироваться на любой фигуре точно так же, как в процессе калибровки, и она начнет играть музыку. Если честно, для меня это был шокирующий и ни с чем не сравнимый опыт. Настоящая техномагия, если можно так выразиться.


    Что интересно, вероятность ошибки практически нулевая, мне ни разу не удалось включить элемент, на котором я не концентрировался. Так что можно с уверенностью сказать, что каждая геометрическая фигура вызывает определенный паттерн в визуальной коре, который четко считывается нейрогарнитурой. Было бы интересно узнать, за счет чего конкретно формируется этот паттерн.

    Могу лишь предположить, что основную роль играет форма изображения, а в качестве дополнительного стимула — частота моргания рисунка с рандомными «палочками». Буду признателен, если вы подтвердите или опровергните мое предположение в комментариях.

    Помимо приложения с музыкой, штатный набор демо-версий включает в себя небольшой платформер, где вместе с классическим управлением с клавиатуры необходимо выполнять действия нейрогарнитурой, концентрируясь на летящих в персонажа элементы.

    Brain like a TV Remote control


    Еще одна крутейшая демка — управление телевизором. Есть несколько коротких видеороликов, имитирующих телеканалы и простой интерфейс управления по углам экрана. «Клик» мозгом на каждый из углов открывает панели, в которых есть кнопки. Слева — переключение «телеканалов», а справа Пауза и Выключение/Включение звука.


    Даже с учетом того, что это всего лишь простейшая демо-версия, становится очевидным применение этой нейрогарнитуры людьми с дополнительными потребностями, которые не могут использовать привычные интерфейсы ввода. Уверен, что это поднимет их качество жизни на новый уровень. Все читатели, я думаю, помнят Стивена Хокинга, управлявшего компьютером движениями мимической мышцы щеки, здесь же достаточно бросить сконцентрированный взгляд и немедленно получить ожидаемое нажатие на виртуальную кнопку.

    Плюсы и минусы


    Постараюсь быть максимально объективным и перечислю все плюсы и минусы использования этой нейрогарнитуры. Начнем с положительных моментов:

    • Действительно позволяет управлять компьютером и техникой «силой мысли».
    • Потенциально интересно разработчикам, особенно тем, кто уже делает приложения и игры на Unity.
    • Имеет красивый футуристичный дизайн.
    • Пригодно для людей разных профессий — от архитекторов до музыкантов.
    • Длительное время работы (эта кроха спокойно работает 8 часов нон-стоп).

    Теперь о минусах, их тут тоже немало:

    • Устройство имеет достаточно высокую цену (текущая стоимость — $400) и пока не продается в России. Для сравнения, тот же Neurosky Mindwave стоит всего $110, хотя отечественные перекупщики продают его в 2-3 раза дороже.
    • Будет неудобно использовать людям с длинными волосами. В идеале, видимо, лучше быть лысым или с короткой стрижкой.
    • Пока требуется частая калибровка (с новыми прошивками обещают поправить).
    • Долго носить такую штуку неудобно, эргономика еще требует доработки.
    • Нет софта. Демо-версии — это круто, но по-настоящему этот гаджет станет востребованным только тогда, когда будет написано достаточное количество приложений.
    • Люди с плохим зрением вряд ли смогут его использовать, все-таки четко прослеживается только визуальная стимуляция мозговой деятельности (хотя допускаю, что ошибаюсь, я не медик).

    Подводя итог, можно сказать только одно: такое устройство — действительно шаг в будущее. Это не просто красивый концепт, а цельное, законченное устройство, которое уже неплохо работает и выполняет заявленные функции. Оно применимо для весьма широкой аудитории не только с практической, но и с развлекательной точки зрения. В играх нейрогарнитура дает новый, интересный опыт. Это чем-то похоже на то, когда первый раз взял в руки контроллеры Nintendo Wii Remote или PlayStation Move.

    Разумеется, не обошлось и без небольших проблем, которые в большинстве своем обусловлены спецификой устройства. Но если оглянуться, то подавляющее количество современных гаджетов начинали с того же самого. Достаточно вспомнить неудобные резистивные тачскрины наладонников, которыми приходилось управлять стилусом. В эпоху емкостных мультитач-дисплеев это кажется анахронизмом, но именно резистивные дисплеи в свое время стали катализатором перехода от обычных мобильных телефонов к смартфонам.

    Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

    Хотели бы себе приобрести такую нейрогарнитуру?

    • 65,7%Да, однозначно, будущее уже здесь67
    • 34,3%Нет, это дорогая игрушка — не более35
    Selectel
    IT-инфраструктура для бизнеса

    Комментарии 25

      0
      Можно писать тупо мозговую активность чтоб следующие поколения могли что-то от туда извлечь. Это как хранение биологического материала в криминалистических лабораториях.
        0

        Вряд ли там есть хоть что-то ценного. МРТ и ФМРТ были бы и то полезнее.

        0
        Реальное время — это раз в несколько секунд?
          +1
          Нет, после калибровки гарнитура откликается очень быстро, по ощущениям практически мгновенно.
            0
            Судя по фоткам, само устройство вы в руках не держали?
            Если там в основе ЭЭГ, то точно не мгновенно. Ритмы мозга — вещь довольно медленная
              +6
              Похоже я переборщил с перфекционизмом при съемке )))
              Не могу сказать точно — насколько быстро формируются ритмы мозга, но устройство позволяет легко играть в реальном времени. В демках есть простой платформер и еще одна игра жанра brick breaker.
          0

          Если это dev kit — то в поставке должно быть какое то SDK? Документация по api? На каком языке можно вести разработку?

          0
          здесь же достаточно бросить сконцентрированный взгляд и немедленно получить ожидаемое нажатие на виртуальную кнопку

          А если случайно посмотреть на кнопку или просто подумать о ней?
            +1
            Случайно не получится ))) Нужна именно концентрация взгляда. От того, что просто посмотреть на кнопку она не активируется. Если просто о ней подумать — тоже ничего не произойдет, поскольку визуальная кора не получит сигнала от органов зрения.
              0
              А если сконцентрироваться на похожей кнопке, которая расположена в другом месте, например, распечатать скрин с экрана?
                0
                Попробовал интереса ради, так тоже не срабатывает.
                  +1
                  То есть скриншот экрана если на весь экран открыть, то уже не работает? Вероятно, считывает частотную модуляцию моргания кнопок и все они на разной частоте работают.
                    0
                    Скорее всего так и есть.
                      0
                      Еще можно попробовать мысленную визуализацию кнопки и концентрацию на ней. Это было бы очень интересно.
            0
            Странно слышать про «первый нейроинтерфейс» и не упомянуть Emotiv первая девелоперская версия которого у меня лежит с 2010 года (она тогда была еще страшная на вид и реально прототип напоминала, текущие законченные изделия куда приятнее и футуристичнее выглядят)
              0

              В emotiv вроде всего три электрода было? Выглядит он, конечно, круто, но как работает? Тут на Хабре была статья, автор остался не очень впечатлен, насколько я помню. У вас есть опыт с ним, поделитесь?

              +3
              Подобные устройства еще (или вполне) могут пригодиться для людей, лишенных возможности двигаться (т.е. работать в режиме BCI — brain-cimputer interface). А на массовом рынке их постигнет та же судьба, что и Kinect и Google Glass. Т.е. вначале будет вау-эффект, а потом — «вдруг» выяснится, что автоматическое действие, не требующее фокусировки на экране, гораздо удобнее и не так напрягает. Правда, очки могли убрать с рынка по другим причинам.

              Ведь хорошо известно — чем меньше кликов надо, чтобы вызвать требуемую функцию (и чем меньше надо думать при этом) — тем выше юзабилити. А тут придется думать на каждом шаге.
                +1

                Форма вообще не влияет, только частота и фаза, методика называется SSVEP или множество её вариаций. Ваша концентрация на стимуле по сути не важна- достаточно только смотреть.

                  0
                  Как замена мыши технология вполне может пойти — все равно на курсор мышки надо смотреть. Но вот если действительно надо «просто смотреть» чтобы вызвалось событие — то это как-то так. Мало ли на что я смотрю на экране не кликая.
                  Прокрутку страницы тоже не заменить — отрывать взгляд — лениво.
                  Хотя… думаю молодежь научится так делать всё.
                  Ты пользуешься мышью? А ты динозавров видел?
                    0
                    Ну управление телеком явный кейс(если бы не стоимость). Идти за пультом тоже лениво.
                    0
                    Те всё таки в будущем придут к имплантации и транскраниальной энцефалографии для считывания судя по вектору продвижения…
                    был вроде проект Носимого МРТ — интересно где он…
                      0
                      такие вещи могут выйти на массовый рынок, заменив мышки и пульты
                        0

                        Это реально технрмагия какая-то
                        Круто, что не нужно голову брить.)
                        Скоро не придётся искать пульт от телевизора, он всегда будет на голове)

                          0
                          Было бы классно фреймворк для работы с мозгом получить

                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                          Самое читаемое