Нейроинтерфейсы сегодня

    image


    Со времён изобретения манипулятора "мышь" прошло полвека, и это по-прежнему один из основных способов взаимодействия человека с компьютером. Я поехал на конференцию в Институт когнитивных нейронаук ВШЭ, чтобы узнать о последних достижениях в области BCI, которая находится за горизонтом, и поэтому так интересна.


    Отчет о конференции я переработал в статью для связанного повествования. Какие-то моменты упрощаю и опускаю, а какие-то дополняю из своих наблюдений и отчетов с других мероприятий. Прочитав ее, я надеюсь, у вас появятся общие понимания подходов к BCI и текущего состояния в этой области. За оригинальными трактовками лучше обращаться к оригинальным статьям, к счастью, почти все в открытом доступе.


    История


    История BCI началась в 1973 году с публикации Toward direct brain-computer communication [1], где Jacques Vidal изложил идеи в коммуникации между человеком и машиной и описал лабораторию по анализу EEG сигнала для таких целей. Спустя десятилетие Wolpaw сфокусировал применение BCI на помощи парализованным людям и описал принципиальную схему BCI [2]:


    image


    Основные реализации BCI давали возможность вводить текст людям c синдромом изоляции. Это были сложные в использовании системы, потому что пользователь должен проходить долгую тренировку [3], в противовес, появились "спеллеры" на основе распознавания P300 — компонента, который возникает в момент, когда человек совершает выбор, которые снизили требования к пользователю [4].
     
    В 90-е тема все более становится известной, особенно с появлением техник машинного обучения [5]. С увеличением надежности BCI люди интересуются расширением применения в новые области.


    Thorsten Zander предложил следующую классификацию BCI [6]:


    • Активные BCI – пользователь инициирует команду безусловно
    • Реактивные BCI – пользователь инициирует команду в ответ на воздействие системы
    • Пассивные BCI – пользователь не дает команду, но система считывает и анализирует его состояние

    Отдельно стоит рассмотреть вопрос стимуляции мозга, эта тема, хоть и не относится напрямую к BCI, но представляет собой связанную технологию, которая расширяет возможности BCI для контроля.
     
    Также BCI можно классифицировать по способу получения сигнала:


    • Инвазивные (вживленные электроды, ECoG и другие)
    • Неинвазивные (EEG, NIRS и другие)

    EEG самый распространённый способ получения сигнала, поэтому, если не указано обратное, я имею его в виду по умолчанию.
     


    Активные  BCI 


    Basketparadigm


    Это условное обозначение возможности контроля путем активации воображаемых движений. Дело в том, что моторная кора компактно расположена в центре головы, поэтому воображаемые движения разных частей тела хорошо классифицируются и используются для построения BCI. Пользователю, для работы с такими BCI, необходимо мысленно представлять как он совершает движения разными частями тела.


    image


    Для облегчения проведения экспериментов ученые разрабатывают собственные фреймворки, например, BCILAB. С его помощью провели эксперимент, чтобы продемонстрировать скептику возможность управления c помощью воображаемых движений. Результат составил 80% – так себе результат в условиях, когда у человека есть привычные альтернативы, но заслуживает высокой оценки, особенно, для неподготовленного респондента [7].
     
    Этот же подход применили для управления горизонтом для авиасимулятора. Результаты неоднозначные, для 3-х респондентов удалось добиться результата в 94%, еще для 4-х 64% и меньше 60% еще для троих. Успех заключается в том, что первая троица управляла самолетам так же, как это делается штурвалом. Остальные пилоты недостаточно сосредоточились на внутреннем состоянии и совершали мускульные движения, что вносило негативный вклад в управление.
     


    Системы реабилитации


    BCI, которые распознают моторные команды, хорошо изучены и уже используются для реабилитации пациентов переживших инсульт: для восстановления разорванных связей необходимых для управления парализованными конечностями. Павел Бобров продемонстрировал результаты клинических испытаний реабилитационного комплекса для восстановления моторных функций рук, которые доказали эффективность использования. Причем, есть значимая разница для пациентов, кто начал реабилитацию спустя месяц и спустя 6 месяцев после инсульта, чем раньше начинается реабилитация, тем лучше эффект. [11]
     
    Глава g.tec Gunter Edlinger рассказал о работе специальных тренажерных залов для реабилитации, интересный момент, что в процесс реабилитации добавлена электростимуляция конечностей, и если выше использовалась электро-механическая установка, то здесь стимуляция током, что снижает стоимость комплекса.



     
    Если добавить в процесс элементы игры и соревнования, вовлечение будет выше, а значит пациент лучше пройдет через реабилитацию. В центре биоэлектрических интерфейсов ВШЭ под руководством Алексея Осадчего разработали прототипы для улучшения процесса реабилитации. На видео демонстрируется прототип системы для двух человек, где они управляют сосудом, выполняя воображаемые моторные команды, пытаясь склонить сосуд в свою сторону:



     
    Однопользовательская игра:



     
    Или, например, алгоритм распознавания почерка по мышечной активности с помощью компактного массива электродов позволяет реконструировать написанное: [12]
    image
     
    Вершина в их работе – это работа над BCI в проекте ExoAtlet, который позволяет людям с ограниченными возможностями передвигаться самостоятельно или использовать его для реабилитации.



     
    Инвазивные BCI – это более сложная тема, и сейчас эксперименты проводятся на животных или на людях, которым электроды установлены по медицинским показаниям. Была освещена серия исследований, которая показала, что возможно определять не только единичные компоненты (имеются ввиду все те же вымышленные движения), но и разделять движение, внимание, направление взгляда между собой. Доступна запись аналогичного доклада с конференции в Самаре.
     


    Реактивные BCI


    image


    Классический пример реактивного BCI это "спеллер" на эффекте P300, это "волна", которая появляется в ответ на выбор показанного стимула, ну а в "спеллере", таким стимулом служит определенным образом кодированные символы алфавита или команды. Пользователь должен мысленно взаимодействовать со стимулами, которые показывает система – считать количество вспышек выбранного символа.


    Нельзя не упомянуть о проекте Нейрочат, который позволяет общаться людям с ограниченными возможностями:



    Пассивные BCI


    Базовая идея пассивных BCI – это оценка состояния человека, например, оценка когнитивной нагрузки (workload), она может быть применена в системах обучения, было проведено исследование, чтобы решить эту задачу.


    Классификатор тренировали на следующих задачах:


    • Для высокой нагрузки — респондент вычитал из 3-4 значных чисел 1-2 значные исключая простые варианты с десятками.
    • Для легкой нагрузки — просили сосредоточится респондента на приятном воспоминании.

    Точность алгоритма составила 70%. Классификатор протестировали на других задачах (умножение, игра в скрембл), и получили аналогичную точность, тем самым подтвердили факт, что можно сделать независимым классификатор от человека и задач.  [13]
    Эту идею можно применить для контроля хирурга во время операции [14]. Решалась задача определения нагрузки на хирурга во время выполнения разных по сложности манипуляций на тренажере. Система научилась определять каким способом хирург выполняет операцию с высокой точностью.
     
    Еще один вариант – это измерение степени расслабления. На основе состояния посетителя интерактивной инсталляции  в "Музее молчания" создавалась живая картина, которая отражала его внутреннее состояние. [15]


    image
      
    Пассивные BCI можно использовать и для задач управления, довольно оригинальный подход предоставить человеку не непосредственный контроль за курсором, а лишь право судить о том, движется ли курсор по правильному пути к цели. Эксперимент был проведен на небольших матрицах размером 4х4 и 6х6 точек. Сначала систему тренировали на произвольном движении точки, и задача человека была определять в правильную ли сторону движется точка, далее тестировали в живом режиме и получили, что результат близок к оптимальному пути. [16] Можно посмотреть демонстрацию.


    Midas touch problem и E-BCI интерфейсы


    Управление курсором с помощью направления взгляда – простая задача, которая решается с помощью eye-tracker'инга (он же видеоокулография). Но в этих интерфейсах есть проблемы, например, непроизвольные движения глаз и проблема выбора, к слову, весьма символично ее называют проблемой прикосновения Мидаса – фригийского царя, любое прикосновение которого, обращало предмет в золото. Применений пассивных BCI позволяет решать эти проблемы.


    Подход, где активный BCI использовался для совершения выбора при управлении с помощью eye-tracker'а, известен давно, но не отличается быстродействием. Исследование, где респонденты оценивали разные способы выбора по шкале NASA TLX, показало, что вариант с BCI не быстрее по времени, чем вариант с долгой фиксацией для выбора объекта, но при этом BCI вызывает меньшую степень фрустрации [10].
     
    Дальнейшая работа команды Торстена Цандера показала, что можно отличать сознательную фиксацию на объекте от бессознательной с точностью 90%[17]. Для эксперимента использовалась парадигма "Oddball" – респондент просматривал серию из фигур, содержащих фигуру, которую он хочет выбрать в сочетании с отвлекающими фигурами.


    Сергей Шишкин рассказал о улучшении вышеописанного подхода [8]. Существенный плюс их решения – это снижение скорости выбора до 300мс-500мс, что требует очень быстрой классификации, для этого использовали EEGNet [9].


    Механизмы внимания – это отдельная тема, которая может расширить области применения BCI и создавать системы для реабилитации пациентов с СДВГ, о базовой идее рассказывает Mehdi Ordikhani в своем Tedtalk



     


    Стимуляция


    Вопрос этики проведения экспериментов весьма остро стоит для нейроисследований, и животные принимают основной удар для исследований находящихся за гранью. Что если мы хотим воздействовать на какой-то определенный участок в глубине мозга? Сейчас это возможно только с помощью вживленных электродов. Но, например, в природе есть существа, которые чувствительны к магнитному полю, команда Galit Pelled из Мичиганского университета выделили этот ген у рыб, внедрили крысам и научились контролировать их поведение действием магнитного поля [18]. Таким образом, возможно оказывать адресное воздействие на нужные участки, например, останавливать эпилептические припадки.
     
    И целая группа исследований инвазивных интерфейсов от Михаила Лебедева на макаках-резус: был построен интерфейс мозг-компьютер-мозг, который позволял, управляя виртуальными конечностями, получать тактильную обратную связь. Можно подробнее посмотреть отрывок из лекции "Интерфейс между мозгом и компьютером".
     


    Царство Deep Learning


    Кроме того, что алгоритмы "глубокого обучения" позволяют добить и так уже высокую точность "машинного обучения", можно отметить то, что люди работают над "обратной задачей". Основываясь на быстрых данных EEG и MEG можно попытаться восстановить реальную активацию нейронов в мозге, которую сейчас показывает, например, метод fMRI, но с очень низким временным разрешением. Можно только порадоваться оптимизму и верить в скорый успех этой работы.
     
    Еще одна проблема BCI на основе EEG или MEG – это то что результаты активности в разных областях мозга для одних и тех же компонент различаются среди пользователей, приходится учить нейросеть для каждого пользователя и задачи, что усложняет работу с системой и делает ее дороже. Тем не менее, здесь возможны изменения с "переносом обучения", когда нейросеть использует данные разных пользователей/в разных задачах и дообучивается онлайн, в результате этап калибровки может быть пропущен. [19]
     


    Hardware


    Наконец-то, мы добрались до железок!


    Тут важно сказать про 2 момента, с одной стороны, оборудование для BCI довольно громоздкое, человек в нем привлекает внимание, в одном из выступлений были продемонстрированы миниатюрные электроды, такие что человек в них ничем не выделяется. [20]


    imageimage


    К сожалению, вставить фото большего размера возможности нет, но вы можете посмотреть через гугл фото.


    Несмотря на всю миниатюрность, устанавливать эти электроды не удобно, придется приклеивать каждый отдельный электрод. Для ускорения используют различные приспособления:


    • EEG шапочки, в которых размечены отверстия под электроды
    • Обручи и шлемы различной конструкции, где в основном положение электродов фиксированное, только OpenBCI выделяется Ultracortex'ом, в котором электроды можно переставлять в зависимости от задач.

    image


    Относительно свежая идея – это массивы из электродов CeeGrid, для крепления в области уха, которые одновременно и невидимы, и легко устанавливаются, но существенный минус это ограниченность применения, хотя есть работы, которые показывают, что использовать этот вариант для ERP BCI реально [21].


    image


    И вторая проблема – это необходимость в токопроводящем геле для качественного сигнала, тут показано, что различия допустимые, и использование сухих электродов оправдано [22], но все зависит от количества волос. Над этим вопросом так же работают, например, недавно Florida Research Instruments начала продавать удлинненный сухой электрод (на картинке ниже он слева), который отличается от первоначальной версии большей округлостью пинов и, как вы понимаете, вызывает меньше негативных ощущений у пользователей. Еще более продвинутые варианты – когда сами пины на электродах снабжены амортизацией, благодаря материалу или с помощью пружин (на картинке ниже они в центре и справа).


    image


    Заключение


    Распространение BCI в массы не будет быстрым и легким, сейчас открыты весьма ограниченные возможности по пониманию состояний мозга, но прогресс в этой области нельзя игнорировать. Главное, что есть правильная тенденция на снижение стоимости устройств/предоставление устройств по подписке и появление проектов, которые ориентированы на энтузиастов.


    Лично меня очень радует то, что среди раскрученных Emotive, MUSE, OpenBCI начинают появляться и российские проекты. На недавнем Нейрофоруме, который прошел в Петербурге, были продемонстрированы:



    Расширение доступных устройств делает область интерфейсов привлекательной для изучения и экспериментов. Порог вхождения низкий, всегда можно найти адекватную задачу, а улучшать алгоритмы можно до упора, приобретая новые знания и навыки. Чего я вам и желаю.


    Такой я увидел область BCI, посмотрим, что интересного будет в следующем году.


    Источники

    1 Toward direct brain-computer communication
    2 Brain–computer interfaces for communication and control
    3 A spelling device for the paralysed
    4 Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials
    5 Classifying Single Trial EEG: Towards Brain Computer Interfacing
    6 Towards passive Brain–Computer interfaces: applying Brain–Computer interface technology to human-machine systems in general
    7 Team PhyPA: Brain-computer interfacing for everyday human-computer interaction
    8 The Expectation Based Eye-Brain-Computer Interface: An Attempt of Online Test
    EEG Negativity in Fixations Used for Gaze-Based Control: Toward Converting Intentions into Actions with an Eye-Brain-Computer Interface
    EEGNet: A Compact Convolutional Network for EEG-based Brain-Computer Interfaces
    10 Combining Eye Gaze Input With a Brain–Computer Interface for Touchless Human–Computer Interaction
    11 Роботизированные устройства в реабилитации после инсульта
    12 A dynamical model improves reconstruction of handwriting from multichannel electromyographic recordings
    13 Team PhyPA: Brain-Computer Interfacing for Everyday HumanComputer Interaction
    14 Automated Task Load Detection with Electroencephalography
    15 Passive Brain-Computer Interfacing in the Museum of Stillness
    16 Neuroadaptive technology enables implicit cursor control based on medial prefrontal cortex activity
    17 A Passive Brain-Computer Interface for Supporting Gaze-Based Human-Machine Interaction
    18 Wireless control of cellular function by activation of a novel protein responsive to electromagnetic fields
    19 Robust and highly adaptable brain-computer interface with convolutional net architecture based on a generative model of neuromagnetic measurements
    20 Miniaturized electroencephalographic scalp electrode for optimal wearing comfort
    21 Event-Related Potentials Measured From In and Around the Ear Electrodes Integrated in a Live Hearing Device for Monitoring Sound Perception
    22 A dry EEG-system for scientific research and brain–computer interfaces


    UPD исправлено описание EBCI интерфейсов, по ошибки они были отнесены к активным BCI, что не соответствует действительности

    Поделиться публикацией
    Комментарии 12
      0
      Подскажите, где можно найти сравнение скорости реакции современных «бюджетных» нейроинтерфейсов?

      Использую emacs и давно хочу автоматизировать нажатие пары кнопок :-D

      Само собой, нужно чтобы скорость реакции на команду позволяла печатать с хорошей скоростью.
        0
        Tiendil Кажется, что это трудно реализуемо, потому что во время печати моторная кора активна и дать другую команду паралельно будет крайне тяжело. Можно попробовать что-то простое сделать на артефактах ЭЭГ, все зависит от того насколько разрушительны будут эти команды =)
          0
          Можно понадеяться на то, что мысль о нажатии кнопки даст схожий сигнал с командой на её нажатие :-)

          Вообще, я плохо в тематике разбираюсь и хотел бы поэкспериментировать с этой задачей или чем-то схожим. Не с печатью, так с переключением вкладок браузера, сменой раскладки или сворачиванием окон — то есть применимым на практике. Но для этого нужна железка с быстрым откликом.
            +1
            Попробую прокомментировать про отклик, железка по сути занимается тем, что снимает электроэнцефалограмму в живом режиме и передает эти данные на ПК, частота снятия данных которая обычно от 200 герц и выше. Соответственно в ней нет проблем, ко многим девайса можно подключатся напрямую через dev библиотеки и получать данные. То есть главное это обработка, которая может быть сделана через какой-то конструктор, вроде OpenVibe, либо на скриптах.
              0
              Спасибо, «железный» вопрос это закрывает.

              Получается теперь надо оценить какой длительности сигнал в сочетании с какими методами обработки позволит получить надёжное распознование. Тут, видимо, надо экспериментировать.
              +1
              Можно понадеяться на то, что мысль о нажатии кнопки даст схожий сигнал с командой на её нажатие :-)

              И как потом отделаться от мысли не думать о белой обезьяне?
              0
              habr.com/post/115055
              это тетрис. Великий и могучий. 4 действия (вверх-вниз-вправо-влево). Запомните все. Никогда в жизни не играйте в тетрис своими мозгами. Оно затягивает и получается. Система такая – играешь как в обычный тетрис, нажимая на кнопки клавиатуры, а система в фоне учится распознавать. В какой-то момент времени оно приходит к выводу, что научилось и начинает дублировать. В этот момент начинается шоу с приколами. Особенно забавно выходит, когда ты хочешь сдвинуть фигуру в сторону, сигнал поступает от BCI, затем сигнал приходит по руке до пальца, и ты посылаешь второй сигнал, в итоге оно смещается в сторону 2 раза. Лечится снятием руки с клавиатуры и нажиманиями на пустое место.
              стоимость emotive отбивает желание, но все еще хочется поиграть с этим.
              Кстати по тексту в статье, простейшим исправлением приложения описанный эффект можно было бы убрать (тупо убирая дубликаты команд на коротком интервале)
              0
              Может быть, можно обойтись парой педалей?
            0
            Спасибо за подробный обоснованный обзор без buzz'а.
              0
              Я все жду, когда достижения косметологии возьмут на вооружение все эти строители нейроинтерфейсов. А именно, давно для подтяжки лица используют тонкие золотые нити, имплантируя их под кожу лица, так почему их не имплантировать под кожу головы в нейроактивные точки? Чип размером с маковое зерно с индуктивным питанием, обмен с внешним чипом тоже без проблем…
                0
                Думаю основная проблема это то, что для снятия сигнала с одного канала ЭЭГ нужен референсный сигнал, который в зависимоти от схемы либо соседняя точка, либо ухо, ну и второй момент это синхронизация, если таких чипов будет множество.

              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

              Самое читаемое