Интерфейсы мозг-компьютер: обзор современных достижений

Технология интерфейса мозг-компьютер (ИМК) была впервые разработана как инструмент, обеспечивающий базовое взаимодействие, такое как общения, без движения. В последние несколько лет произошел сдвиг в сторону новых групп пациентов и приложений, таких как помощь пациентам с инсультом в восстановлении движения или помощь нейрохирургам в более точном картировании мозга для более быстрого и безопасного проведения операций.

Рассмотрим детальнее основные виды современных интерфейсов мозг-компьютер. Их можно разделить на четыре основных группы:

• Речевые интерфейсы мозг-компьютер

• Моторные  интерфейсы

• Интерфейсы для управления киборгами (чипирование живых организмов)

• Интерфейсы для реабилитации

Речевые интерфейсы

1) ИМК на основе ЭКоГ на основе слухового внимания к естественной речи

Люди, страдающие тяжелыми нейродегенеративными заболеваниями (например, поздней стадией бокового амиотрофического склероза (БАС)), в конечном итоге теряют мышечный контроль и больше не могут жестикулировать или говорить. Недавние исследования показывают, что электрокортикографические (ЭКоГ) сигналы в гамма-диапазоне (т.е. 70–170 Гц) могут использоваться для определения идентичности звуковых речевых стимулов.

В своей работе [1] авторы изучают эту возможность, реализуя систему реального времени на основе BCI2000, которая использует сигналы ЭКоГ для идентификации присутствующего говорящего.

Исследуемому пациенту с трудноизлечимой эпилепсией была проведена временная установка 72 субдуральных электродов. Регистрация ЭКоГ с имплантированных электродов производилась с использованием усилителя g.HIamp и программной платформы BCI BCI2000, которая собирала данные с частотой 1200 Гц .

Задача испытуемого заключалась в том, чтобы выборочно проявить внимание к одному из двух одновременно выступающих говорящих. Авторы смешали две (монофонические) речи в бинауральную презентацию, в которой поток, передаваемый каждому уху, содержал 20% ∶ 80% громкости одного говорящего и 80% ∶ 20% громкости другого, соответственно.

Созданный интерфейс получает звуковой сигнал через микрофон или предварительно загруженный файл. Затем фильтр корреляции сигналов вычисляет значения корреляции, то есть корреляцию между двумя (монофоническими) речами, чтобы определить, на какого говорящего пользователь направляет свое внимание. Наконец, фильтр увеличения обратной связи увеличивает громкость обслуживаемого докладчика и уменьшает громкость другого говорящего, чтобы обеспечить обратную связь с субъектом

2) Распознавание непрерывной речи с помощью интерфейса мозг-компьютер

В течение последних двух десятилетий исследования в области интерфейса мозг-компьютер (ИМК) работали над практическими и полезными приложениями для коммуникации и управления. Тем не менее, многие методы. использующие ИМК, страдают от неестественного взаимодействия или трудоемкого обучения пользователей. Поскольку непрерывная речь обеспечивает очень естественный подход к общению, долгое время стоял вопрос, можно ли разработать ИМК, которые распознают речь по активности коры головного мозга. Воображаемая речь как парадигма ИМК для ограниченных пациентов означала бы значительное улучшение скорости общения и удобства использования без необходимости громоздкого написания с использованием отдельных букв .

В исследовании с 7 участниками [2] авторы впервые показали, что непрерывная речь представлена в мозгу как последовательность фонем(звуков). Эти фонемы могут быть декодированы из записей электрокортикографии (ЭКоГ) и позволяют составить произнесенные слова. Все участники перенесли операцию в связи с трудноизлечимой эпилепсией и согласились участвовать в нашем эксперименте. Расположение электродов определялось исключительно исходя из клинических потребностей пациентов.

В эксперименте авторы одновременно записывали ЭКоГ-активность и форму звуковой волны, в то время как участники читали вслух разные тексты, состоящие из детской литературы, фанфиков или политических выступлений. Авторы согласовали нейронные данные по времени с маркировкой фонем, полученных из звуковых данных, с помощью собственного инструментария распознавания речи BioKIT. Это позволило идентифицировать нейронную активность, соответствующую производству каждой фонемы.

Затем авторы объединили фонемное(звуковое) представление корковой активности с языковой информацией, используя технологию автоматического распознавания речи, чтобы реконструировать слова в мысленно произнесенных фразах. Информация о языке включается в процесс декодирования через языковую модель и словарь произношения. Словарь произношения содержит отображения фонемных последовательностей в слова. Языковая модель статистически моделирует синтаксическую и семантическую информацию, предсказывая следующие слова с учетом предшествующих слов.

Результаты показали, что с ограниченным набором слов в словаре интерфейс может восстанавливать полные предложения. На рисунке показаны различные этапы декодирования непрерывно произносимых фраз из нейронных данных.

Например, последовательность воображаемых фонем (звуков)

w/ih/aa/r/ /k/aa/m/ih/t/aa/t/ /t/aa/t/eh/

Интерфейс распознает и произнесёт как

We are commited today

Моторные интерфейсы

Интерфейс мозг-машина для управления движением пальцев

Одно из направлений исследования интерфейса мозг-машина (ИММ) - разработку усовершенствованных нейронно-контролируемых протезов для восстановления или замены двигательной функции у пациентов с параличом верхней конечности. Чтобы развить высокоэффективный моторный ИММ, необходимо понимать, как сигналы, полученные от нервных имплантатов, кодируют грубые и тонкие движения верхних конечностей.

Электрокортикография (ЭКоГ) широко изучалась для моторного декодирования и контроля сигналов. По сравнению с другими инвазивными и неинвазивными методами нейронной записи, ЭКоГ обеспечивает хороший компромисс между степенью охвата, качеством сигнала и стабильностью сигнала.

Хотя принципы представления движений рук и пальцев в моторной коре не до конца понятны, некоторая степень разделимости может быть обнаружена в сигналах ЭКоГ, записанных с сенсомоторной коры во время движений отдельных пальцев.

Сетка ЭКоГ с высокой плотностью 8 × 16 была имплантирована субдурально в сенсомоторные области 20-летнего мужчины, страдающего трудноизлечимой эпилепсией. Матрица высокой плотности охватывала центральную борозду предполагаемых сенсомоторных областей руки.

Предварительное картирование высокой гамма-активации на сетке hd-ECoG было выполнено с использованием задачи постукивания пальцем и пассивной вибротактильной стимуляции.

Иерархический классификатор использовался для предсказания того, какой палец двигался, на основе корреляторов гамма движений пальцев. Классификатор сначала произвел двоичную классификацию того, двигается ли палец или нет. Если движение пальца имело место, то выполнялась последующая 5-ступенчатая классификация того, какой палец двигался.

Исследование впервые показало, что сигналы ЭКоГ, записанные с сенсомоторной коры головного мозга человека, могут быть использованы для онлайн-контроля движений отдельных пальцев на подвижной протезной руке. Модель декодирования, использованная в этом исследовании, не требовала длительного периода обучения или изучения нового отображения для управления движениями пальцев. Вместо этого она извлекала информацию из нейронных сигналов, связанных с движениями пальцев, что позволяло естественным образом управлять пальцами протеза. Анализируя точность декодирования нейронных активаций, которые предшествуют временной шкале сенсорной обратной связи, авторы обнаружили, что, вероятно, ИМК может обеспечить индивидуальный контроль пальцев даже при отсутствии сенсорной афферентной информации, например, в случае пациентов с травмами спинного мозга.

Интерфейсы для управления киборгами (чипирование живых организмов)

Авторы работы [4] создали киборга путем хирургического соединения портативного микростимулятора с нервами антенн живого таракана. Применяя специальную микростимуляцию, киборгом можно дистанционно управлять поворотами влево и вправо. Намерение движения может быть получено из человеческого мозга через интерфейс мозг-компьютер. Электроэнцефалография (ЭЭГ) на основе установившегося визуального вызванного потенциала (SSVEP) использовалась для передачи намерений человека. Были разработаны и проведены эксперименты с различными вариантами испытаний для проверки производительности предложенной системы. Результаты экспериментов показали, что средние показатели успешности реакций человеческого ИМК и киборга в одном решении превышали 85%. Киборгом можно было успешно управлять через человеческий мозг, чтобы он мог пройти по заранее заданным дорожкам с 20% успешностью.

Структура разработанной системы показана на рис. 1. ИМК на основе SSVEP с тремя состояниями использовался для декодирования намерения контроллера. Три мигающих квадратных блока представляли источник стимуляции SSVEP , которые были расположены отдельно вверху в середине, внизу слева и внизу справа на экране ПК. Частота мерцания каждого блока была установлена равной 12,5, 8,33, 6,818 Гц, обозначая команды управления покоя, левого и правого поворота соответственно. Человек (контролер) сидел перед экраном ПК, чтобы управлять направлением, с портативным устройством захвата ЭЭГ.

Таракан-киборг был разработан после несложной хирургической операции. Авторы хирургическим путем установили микростимулятор на таракана, вставив три крошечные серебряные иглы (левый, правый, заземляющий электрод) в усики таракана и в грудную клетку. Схема электростимуляции для киборга представляла собой прямоугольный импульс с амплитудой 1,5 В, частотой 50 Гц, коэффициентом заполнения 50% и шириной 500 мс. Такая конфигурация могла вызвать умеренную и правильную реакцию киборгов и, следовательно, гарантировать хорошую производительность онлайн-контроля.

Были созданы три таракана-киборга. В каждом эксперименте таракана помещали на расстоянии около 1,5 м от главного компьютера. Для каждого испытуемого киборга было проведено десять контрольных онлайн-испытаний. Перед онлайн-контролем каждый таракан сначала прошел 120-секундный тренировочный прогон для оптимизации классификатора SSVEP. Между двумя последовательными испытаниями давали 120-секундный отдых, чтобы свести к минимуму эффекты от усталости как у людей, так и у насекомых. Кроме того, в этом исследовании были проведены эксперименты для контрольных групп. Для системы в экспериментах были спроектированы и испытаны два типа трасс: S-образная трасса и трасса для обхода препятствий.

Результаты экспериментов показали, что средний показатель успешности онлайн-экспериментов, достигнутых с этой системой, составил 20% для S-образной дорожки. При использовании трассы с препятствиями вероятность успешного онлайн-контроля может достигать 40%. Демонстрационное видео успешной навигации по S-образному треку:

Интерфейсы для реабилитации

Облегчение восстановления корковой активности на основе ИМК, связанной с началом походки после разовой многоуровневой хирургии при церебральном параличе.

Во многих случаях развитие вторичных костно-мышечной патологии при ДЦП способствует потере функции, ухудшению походки, усталости, ограничению активности и ограничению жизнедеятельности. Одна из основных методик - многоуровневая ортопедическая хирургия, направленная на исправление всех деформаций и улучшение походки. После этой процедуры часто требуется период до 2 лет, чтобы выйти на уровень функционального плато.

Большинство методов реабилитации после хирургического вмешательства основаны на периферической реорганизации моторного контроля, инициируемой периферической физиотерапией. Однако ЦП поражает в первую очередь структуры мозга. Это говорит о том, что и периферическая нервная система (ПНС), и центральная нервная система (ЦНС) должны быть интегрированы в физиотерапевтическую и когнитивную реабилитационную терапию. Именно такой подход предлагается в этом направлении создания интерфейсов мозг-компьютер.

Предлагается [5] система ИМК, состоящая из двух этапов: первая - как повторное обучение корковой активности, связанной с походкой (см. Рис. 3): была разработана виртуальная среда, в которой было предложено представить, что они начали ходить. Второй - активный контроль реабилитационной терапии на роботизированной платформе. Таким образом, первый месяц после операции, когда пациент обездвижен, является наиболее подходящим периодом для подготовки мозга к новым образцам походки, которые позже будут продвигаться в процессе физической реабилитации с помощью роботов. С таким подходом удаётся снизить период реабилитации до 2 месяцев.

Собственный интерфейс

Для разрабатываемой мною роботизированной руки

Было решено, в качестве одной из систем управления, попытаться реализовать некое подобие ИМК. Пока что это только двухэлектродный энцефалограф, но в дальнейшем планируется сборка полноценного медицинского энцефалографа.

Электрическая схема, схема электродов были взяты из работ других пользователей, и не представляют собой каких-либо новаторских решений. Данным устройством удалось считать реакцию на моргание