Так выглядит аппарат фМРТ сканирования
Чтение мыслей — давнишняя мечта многих людей. Эта мечта отображена в огромном количестве научно-фантастических произведений, в фильмах и сказках. Но на самом деле чтение мыслей — сложная задача, для решения которой нужны современные технологии. И не только аппаратная часть, то есть «железо», но и программные платформы, а именно — нейросети.
Относительно недавно группа ученых научила нейросети определять, что видит человек по анализу фМРТ (Функциональная магнитно-резонансная томография) снимков. Это сложнейшая проблема, но, похоже, ученые из Китая ее успешно решили.
Сложная она потому, что необходимо по фМРТ снимкам, на которых много шумов, науч��ться определять, какие участки головного мозга работают и понимать, что за этим стоит. Сами изображения при использовании соответствующей аппаратуры сканирования трехмерные. И эту трехмерную картину активности определенных участков головного мозга нужно перевести в двухмерные изображения — те, что видел человек перед или во время сканирования.
Для получения фМРТ изображения обычно нужно учитывать тот факт, что активность одного вокселя (активного объема) мозга вызывается активностью других вокселей. Как результат — компьютеру для отображения относительно четкого изображения нужно игнорировать ряд активных вокселей. Все это усложняет задачу реконструкции того, что видит человек. В целом, эта проблема решена, медики научились «отделять зерна от плевел», да, но описанный выше процесс снижает качество распознавания изображения, видимого добровольцем, чей мозг сканируют.
На сегодняшний день функциональная магнитно-резонансная томография — один из самых активно развивающихся видов нейровизуализации. С начала 1990-х годов функциональная МРТ стала набирать популярность в такой области, как визуализации процессов головного мозга из-за своей сравнительно низкой инвазивности, отсутствия воздействия радиации и относительно широкой доступности. Сам метод основывается на том, что мозговой кровоток и активность нейронов связаны между собой. Когда какая-либо область мозга активна, приток крови к этой области также увеличивается
Ученые из Китая, которые работали в этом проекте, приняли решение найти новые способы анализа данных с фМРТ изображений. Специалисты из Пекинского исследовательского центра стали использовать еще и нейросети, которые стали последовательно обучать определять зависимость между тем, что видит человек и активностью его мозга, зафиксированной при помощи фМРТ.
Изначально добровольцев просили смотреть на простой объект, в ходе чего проводилось фМРТ сканирование мозга. Под простым объектом имеется в виду изображение цифры или буквы на рисунке. В результате ученые получали набор данных в виде скана мозга и изначального изображения. Постепенно задачу усложняли, нейросеть обучалась на самых разных изображениях. Всего в базу обучения вошло около 1800 оригинальных изображений и снимков активности головного мозга. Больше всего времени ученые потратили именно на обучение нейросети, а не на что-либо иное.
Результаты, показанные при использовании новой методики китайских специалистов и различных других методов, созданных другими командами ученых в разное время
Далее нейросеть постепенно училась восстанавливать исходное изображение, которое ей не показывали, по данным скана мозга человека. Для улучшения результатов нейросеть обучили различать шумы и полезные данные на снимках. В результате восстанавливаемые компьютером изображения, которые видел человек, стали более четкими и точными. Плюс ко всему, ученые давали нейросети сравнить исходное изображение, которое видел человек, и изображение, которое воспроизвел компьютер.
Результаты получились очень интересными. Нейросеть научилась воспроизводить изначальное изображение с высокой степенью точности. Во многих случаях эти изображения получались более четкими, чем в случае использования любых других техник, созданных ранее.
«Масштабные экспериментальные сравнения изображений показывают нам, что мы действительно можем восстанавливать образы, видимые человеком, с фМРТ снимков, и делать это более точно, чем раньше», — говорит руководитель проекта Чангде Дю (Changde Du).
По мнению специалистов, эта технология позволяет приблизиться к моменту создания нейроинтерфейсов для работы с машинами без промежуточных этапов. Возможно, в не столь уж отдаленном будущем человек сможет подключать к компьютерным сетям свою нервную систему, передавая данные и воспринимая зрительные образы. Это станет возможным не завтра, но, возможно, быстрее, чем считается.
arXiv:1704.07575
