Исследователи из Высшей школы передовых биологических наук Университета Осаки обнаружили, что они могут реконструировать высокоточные изображения активности мозга, используя модель генерации изображений Stable Diffusion. Им не потребовалось дополнительно обучать или настраивать модель для создания этих изображений.

Сначала исследователи предсказали скрытое представление по сигналам функциональной магнитно-резонансной терапии. Затем модель была обработана, и в нее добавили шум посредством процесса диффузии. Наконец, исследователи декодировали текстовые представления из сигналов МРТ в верхней зрительной коре и использовали их в качестве входных данных для создания окончательного изображения. 

В нескольких более ранних исследованиях реконструкции изображений с высоким разрешением удалось получить, но только после обучения и тонкой настройки генеративных моделей. Это привело к ограничениям, поскольку обучающие модели сложны, а в нейробиологии не так много образцов для работы. 

Последние модели изображений, такие как Stable Diffusion, используют процесс скрытой диффузии. Вместо прямого создания скрытого представления они генерируют текстовую подсказку для постепенного изменения исходных изображений. Если начать работу с зашумленным изображением, то нейросеть будет постепенно убирать из него шум.

Новое исследование было посвящено внутренним процессам моделей диффузии, и в нём впервые была дана количественная интерпретация модели с биологической точки зрения. Например, получилась диаграмма, показывающая корреляцию между раздражителями и уровнями шума в мозгу. Она показывает, что, чем выше уровень стимулов, тем выше уровень шума и выше разрешение изображения. 

На другой диаграмме исследователи демонстрируют использование различных нейронных сетей в мозге и то, как они будут очищать изображение от шума для его реконструкции. 

«Эти результаты показывают, что в начале процесса обратной диффузии информация об изображении сжимается в слое узкого места, а по мере устранения шума в зрительной коре возникает функциональная диссоциация между слоями U-Net: первый слой представляет мелкие детали в ранних зрительных областях, в то время как слой узкого места соответствует информации более высокого порядка в семантических областях», — написали исследователи.

В 2014 году художница из Шанхая Джоди Сюн использовала биосенсоры ЭЭГ, чтобы задействовать людей с ограниченными возможностями в создании картин.

А художница Лия Чавес представила инсталляцию, которая отображала электрические импульсы в мозге в виде звуков и световых эффектов. Зрители надевали ЭЭГ-гарнитуры, которые передавали сигналы в аудио/видеосистему, где мозговые волны отображались в цвете и звуке.

С развитием генеративного ИИ все больше исследователей проверяют, как эти модели могут работать с человеческим мозгом. В работе от 2022 года учёные из Университета Радбауд в Нидерландах обучили генеративную сеть ИИ, Latent Diffusion, на данных МРТ и преобразовали результаты визуализации мозга в реальные изображения.

В последнем исследовании, опубликованном в декабре, учёные показали, что современные модели теперь могут обеспечивать визуальную реконструкцию с высоким разрешением.