Исследователи из Калифорнийского университета в Сан-Франциско успешно протестировали «речевой нейропротез», который позволил человеку с тяжелым параличом общаться предложениями, переводя сигналы своего мозга непосредственно в слова, которые отображаются в виде текста на экране.
Разработкой «нейропротеза» более десяти лет занимался нейрохирург UCSF Эдвард Чанг, доктор медицины. «Насколько нам известно, это первая успешная демонстрация прямого декодирования полных слов на основе мозговой активности человека, который парализован и не может говорить», — говорит он. — «Это дает большие надежды на восстановление коммуникации, задействовав естественные речевые механизмы мозга».
Исследователи отмечают, что ежегодно тысячи людей теряют способность говорить из-за инсульта, несчастного случая или болезни. При дальнейшем развитии технологии она позволит таким пациентам полноценно общаться.
Ранее работа в области коммуникативного нейропротезирования была сосредоточена на восстановлении коммуникации с помощью орфографических подходов, позволяющих воспроизводить буквы одну за другой. Исследование Чанга отличается от этих усилий: его команда переводит сигналы, предназначенные для управления мускулами голосовой системы при произнесении слов, а не сигналы для движения руки или кисти при печати. Чанг отмечает, что технология открывает путь к более быстрому и естественному общению.
«С помощью речи мы обычно передаем информацию с очень высокой скоростью, до 150 или 200 слов в минуту», — поясняет он. При этом подходы на основе орфографии с использованием набора текста, письма и управления курсором значительно медленнее.
Чанг работал с пациентами из центра эпилепсии UCSF и пытался определить причины их припадков с помощью электродов, размещенных на поверхности мозга. Эти пациенты анализировали записи своего мозга на предмет активности, связанной с речью. Затем Чанг и его коллеги из Института нейробиологии UCSF Weill нанесли на карту паттерны корковой активности мозга, связанные с движениями речевого тракта, которые производят каждую согласную и гласную. Чтобы преобразовать эти результаты в распознавание слов, Дэвид Мозес, инженер лаборатории Чанга и один из ведущих авторов исследования, разработал методы декодирования этих шаблонов в реальном времени и статистические языковые модели для повышения точности.
Однако эти разработки не гарантировали того, что технология будет работать у человека, чей речевой тракт парализован. «Нашим моделям необходимо было изучить соответствие между сложными паттернами мозговой активности и предполагаемой речью», — сказал Мозес. — «Это становится проблемой, когда человек не может говорить».
Кроме того, команда не знала, сохраняются ли сигналы мозга, управляющие голосовым трактом, у людей, которые не могли двигать голосовыми мышцами в течение многих лет.
Чтобы изучить потенциал этой технологии у пациентов с параличом, Чанг в партнерстве с коллегой Карунешом Гангули, доцентом неврологии, запустил исследование, известное как «BRAVO». Первым участником испытания стал мужчина в возрасте около 30 лет, который перенес инсульт ствола мозга более 15 лет назад, серьезно повредивший связь между его мозгом, голосовым трактом и конечностями. После травмы его движения головы, шеи и конечностей были крайне ограничены, а общался он с помощью указателя, прикрепленного к бейсболке, чтобы высовывать буквы на экране. Для участника создали словарный запас из 50 слов, который команда Чанга могла бы распознать по активности мозга, используя компьютерные алгоритмы. Он включал такие слова, как «вода», «семья» и «хороший», чего было достаточно для создания сотен предложений.
Затем Чанг хирургическим путем имплантировал электродную матрицу высокой плотности над речевой моторной корой пациента. Команда записала 22 часа нейронной активности в этой области мозга за 48 сеансов и несколько месяцев. На каждом сеансе мужчина пытался произнести каждое из 50 слов много раз подряд, в то время как электроды записывали сигналы мозга от его речевой коры.
Чтобы преобразовать модели записанной нейронной активности в конкретные заданные слова, два других ведущих автора исследования, Шон Мецгер и Джесси Лю, оба аспиранта биоинженерии в лаборатории Чанга, использовали пользовательские модели нейронных сетей. Когда участник пытался говорить, эти сети распознавали тонкие паттерны мозговой активности, чтобы обнаружить попытки речи и определить, какие слова он пытался сказать.
Чтобы проверить свой подход, команда сначала давала пациенту короткие предложения, составленные из 50 слов, и просила его повторить их несколько раз. По мере того, как он делал эти попытки, слова одно за другим декодировались на основе мозговой активности на экране.
Затем команда переключилась вопросы «Как дела?» и «Хочешь воды?». На что пациент ответил: «Мне очень хорошо» и «Нет, я не хочу пить».
Команда обнаружила, что система способна декодировать слова, исходя из активности мозга, со скоростью до 18 слов в минуту с точностью до 93 %. Успеху способствовала языковая модель, которую применил Мозес, с функцией «автокоррекции», аналогичная той, что используется в программах для текстовых сообщений и распознавания речи.
Мозес говорит: «Мы были взволнованы, увидев точную расшифровку множества важных предложений. Мы показали, что на самом деле можно упростить общение таким образом, чтобы оно имело потенциал для использования в разговорной среде».
Теперь Чанг и Мозес расширят испытание, включив в него большее количество участников, страдающих тяжелым параличом. В настоящее время команда работает над увеличением количества слов в доступном словарном запасе, а также над улучшением скорости речи.
В 2019 году ученые из Калифорнийского университета впервые представили имплант, который переводит электрические сигналы в речь. Тогда воспроизведение получалось не совсем точным, но разобрать слова было можно.
Тогда же, в 2019 году, ученым удалось вдвое повысить скорость, с которой нейронная сеть записывала воображаемые парализованным человеком команды. Участник опыта мысленно двигал рукой, записывая каждую букву алфавита. Компьютер смог считывать воображаемые предложения добровольца с точностью примерно 95 % и со скоростью около 66 символов в минуту.
