Нейроимплант позволяет парализованному человеку набирать текст на ПК, воображая написание букв на бумаге

Автор оригинала: John Timmer
  • Перевод

Neuralink Илона Маска за последние пару лет достиг очень заметных успехов в сфере разработки имплантов и их внедрения в мозг. Но, как говорится, не Маском единым. Сейчас стало известно о нейроимпланте, разработанном группой ученых, и возможности этой системы впечатляют.

На этой неделе группа ученых опубликовала статью о новой разработке, которая позволяет парализованному человеку набирать на ПК текст со скоростью около 90 символов в минуту. Для этого добровольцу нужно просто воображать написание аналогичного текста ручкой на бумаге.

Воображение может все


Предыдущие попытки «научить» парализованного человека набирать текст на ПК при помощи нейроимпланта были относительно успешными. Но почти все такие проекты представляли собой виртуальную клавиатуру на экране, на кнопки которой должен был смотреть пациент, либо же отдельные символы, высвечивающиеся на том же экране, которые тоже нужно было выбирать при помощи управляемого мыслью курсора. Все это действительно работало и работает, но процесс набора текста крайне медленный. Сравнить его со скоростью набора текста на клавиатуре обычным человеком просто невозможно — разница огромная. Кроме того, для того, чтобы научиться работать с такой системой, пациенту приходится тратить много времени.

Как оказалось, есть более эффективная альтернатива. Когда мы пишем текст на бумаге, то прописываем каждую букву, о которой думаем, хотя бы и долю секунды. Эта короткая мысль дает электрический сигнал, который можно идентифицировать. Правда, идентификации поддается лишь сигнал, который передается в область мозга, отвечающую за управление телом — в частности, рукой и пальцами, при помощи которых мы держим ручку и пишем.

Область мозга, о которой говорится выше, называется моторной или двигательной корой. Считается, что она участвует в управлении движениями тела. Установив в этой области имплантаты, ученые попросили добровольца представить, как он пишет буквы на странице. Затем специалисты проанализировали активность мозга во время мыслительного процесса.

Чуть больше подробностей


Всего в двигательную кору было внедрено около 200 электродов. Не все они оказались полезными или попали точно в цель. Но хватило и тех, которые оказались в нужном месте, что позволило ученым фиксировать электрическую активность нужной области мозга. Сигналы перевели в обычный график, разделив его на паттерны для каждой конкретной буквы. Как оказалось, похожие друг на друга буквы стимулируют генерирование схожих по конфигурации сигналов. Это, например, буквы p и b или h, n и r.

Исследователи просили добровольцев воображать и простановку знаков препинания в ходе «написания» текста. Знак ">" просили использовать в тех местах, где должны быть пробелы между словами и символами.

В результате электрические сигналы, полученные от участников эксперимента, удалось расшифровать с точностью до 94%. Систему уже можно было использовать для работы, но она не была особенно быстрой. Поэтому ученые обучили рекуррентную нейронную сеть оценивать вероятность соответствия того либо иного сигнала определенной букве.


Несмотря на то, что база для обучения была небольшой (всего лишь около 242 предложений, воображенных участниками), система работала очень хорошо. Для воспроизведения символа после того, как участник о нем подумал, требовалось лишь 0,5с. Конечно, это значительная задержка, но все равно, этот способ гораздо быстрее обычных методов. В итоге, как и говорилось выше, участники смогли набирать текст со скоростью в 90 символов в минуту. Лучший результат прочих подобных исследований — 25 символов в минуту. Ошибок — всего 5%, что ненамного больше, чем у людей, которые набирают текст пальцами. После ввода системы автокоррекции уровень ошибок снизился до 1%.

Правда, этот результат был показан для заранее подготовленного текста. Когда участников испытаний попросили написать что-то в вольной форме, скорость снизилась до 75 символов в минуту, а точность, с включенной системы автокоррекции — до 2%. Но и это отличный результат.

Это даже не альфа-версия


Да, речь идет о системе, которая явно даже не альфа-версия, хотя результаты показывает отличные. Тем не менее, в текстах, которые набирали добровольцы, не было цифр, не было заглавных букв и большинства знаков препинания, кроме основных. Также систему приходилось калибровать не реже одного раза в неделю. Настройки регулярно сбивались — возможно, из-за накопления рубцовой ткани или движения электродов, пусть и минимального.

Как бы там ни было, в качестве прототипа система показала просто отличные результаты — как в плане скорости набора текста, так и в плане точности.

Хотелось бы надеяться, что подобные системы в итоге будут доведены до ума и станут доступными для пациентов с проблемами моторики.

Selectel
IT-инфраструктура для бизнеса

Комментарии 27

    0
    Командная строка возвращается!
      0
      Если я правильно понял, это сработает только при именно что потере моторики. Типа перелома позвоночника при аварии. Если с той моторикой изначально были проблемы (типа церебрального паралича) — то работать не должно.
        0

        Интересно, будет ли работать, если было с моторикой нормально всё, а потом начала деградировать из-за того, что мозг правильные команды перестал отдавать и/или сигналы от тела о положении перестал правильно интерпретировать. Хотя всё равно до массового применения очень далеко, судя по всему

          0

          Поидее можно научить и таких людей, подстроить под них систему, создав автокоррекцию ошибок.

          Если совсем размечтаться, то можно представить устройство, которое будет в промежутке между мозгом и частами тела. Оно будет корректировать приказы телу. Можно будет даже сильно ослабить, если даже не убрать, эпилиптические припадки.

          В военной промышленности могут задуматься над мысленным триггером стрельбы(не будет длинной задержки в виде нейронов тела со всеми химическими преобразованиями сигнала)

            0
            Можно будет даже заниматься в качалке пока ты спишь, или кино смотришь. И не только заниматься, и не только в качалке ;)
            Но в таком случае это получится како-то очень вывернутый вариант матрицы.

            А триггер стрельбы — это вариант, главное что б он срабатывал ПОСЛЕ триггера распознавания свой/чужой, а не до.
            0
            в принципе любую нейроактивность можно запрограммировать для написания того или иного символа, так что не должно быть проблем для людей даже с таким типом поражения цнс
              0
              проблема в нестабильности. Мозг пластичный. Кто калибровку будет делать?
                0
                Вы. Утром. Вместо зарядки )
                Проверил заряд ноута, проверил заряд часов, проверил заряд наушников, проверил заряд очков, ботинок, куртки, сигарет, проверил заряд нейролинка, провел калибровку, можно и вставать…
                  0
                  IMHO калибровка этого устройства это не джойстик откалибровать. Тут нужен специалист, врач + айтишник.
                    0
                    Вы калибровку монитора давно у себя делали (если вы проф фотограф с проф оборудованием — дальше не читать)? А ведь когда-то это было довольно популярным занятием. Но, технологии не стоят на месте.
            –2

            вы быстрее, но статья у "частника" понравилась больше ))


              0

              А вот такой имплант нам нужен!

                0

                Только чтоб как клавиатура работал )

                  +1

                  Иногда ты управляешь клавиатурой.

                  Иногда клавиатура управляет тобой.

                +1
                Жаль Хокинг не дожил.
                  0
                  имитация набора текста через нейроинтерфейс похожа на имитацию автомобиля, используя лошадиные упряжки. с таким интерфейсом нужно сразу визуализировать мысли, а не превращать их в примитивный текст. надеюсь в скором будущем будет реализована телепатия с передачей эмоциональных, тактильных, вкусовых и проч. ощущений.
                    0
                    Но для этого надо сначала второй девайс чуток того, переделать от слова совсем. Бо комп, на данный момент, это таки старый добрый текстовый терминал, но с плюшками.

                    Или вообще его убрать, и общать два подобных девайса друг с другом. Главное фильтры настроить, бо мозг там много куда каких сигналов посылает, включая сердце и прочие внутренности.
                      0
                      с таким интерфейсом нужно сразу визуализировать мысли, а не превращать их в примитивный текст. надеюсь в скором будущем будет реализована телепатия с передачей эмоциональных, тактильных, вкусовых и проч. ощущений.

                      вот я тоже так вижу результат. Чтоб уровень мысленной картинки и не только, визуализировался, но этот опыт можно было в полной мере передать. Иначе не хватка знании у других сильно мешает.
                      Или вижу это в военке как некие очки, где летишь дроном как сам во сне и управляешь полетом или стрельбой, намерением.
                      Подозреваю, что бывший руководитель нейралинка ушел именно по причине того что за столько лет он смог продвинуться только на примитивный датчик.
                      0

                      Хорошая работа, продолжайте в том же духе.

                      Надеюсь скоро мы научимся удалять ненужную фигню из мозга.

                        0
                        И перестанем быть людьми…
                          0

                          Лучше быть парализованным без возможности связи с миром?

                            0
                            Что бы понять что лучше — надо иметь возможность сравнивать. Мир даже на данный момент достаточно иллюзорен. Вот вы можете самому себе доказать что то что вы видите вокруг — реальность? ;)
                            А сравнивать две иллюзии — ну такое себе занятие.
                              0
                              Если исходить из вашей софистики, то все действия бессмысленны.
                        0
                        Подозреваю, это перевод фэйка или первоапрельской шутки.
                          0
                          Кажется, нет. Вот свежая статья по теме в Nature, которую представляет организация, представляющая себя в качестве консультанта (партнёра?) Neuralink: www.nature.com/articles/s41586-021-03506-2. Там же ссылка на Github-реп с кое-какими выкладками и датасетами, а в readme на гитхабе ссылка на препринт на biorxiv, на biorxiv pdf-ка препринта открыта для загрузки.
                            0
                            Я за этой областью приглядываю краем глаза, но прогресс уж больно фантастический. А Вы оцениваете это как возможное? Я имею ввиду не факт существование статьи или статей, а достигнутые показатели скорости и точности?
                              0
                              Я не особо компетентен в вопросе. Но кажется, если распознаваемая активность снимается датчиком достаточного разрешения из нужной зоны мозга, и есть большая размеченная выборка правильно распознанных паттернов активности (такое может быть при длительной и плотной работе с участником эксперимента, когда он с готовностью раз за разом как-то помечает правильно и неправильно распознанные символы, как Хокинг каким-то микродвижением или т. п.), то почему бы и нет? Прогресс действительно удивительный.

                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                        Самое читаемое