Исследователи использовали генеративный ИИ для восстановления «высококачественного» видео на основе сканов мозга, сообщается в новом исследовании.
Исследователи Цзясинь Цин, Цзыцзяо Чен и Хуан Хелен Чжоу из Национального университета Сингапура и Китайского университета Гонконга использовали данные функциональной магнитно-резонансной томографии (фМРТ) и модель ИИ Stable Diffusion для создания модели под названием MinD-Video, которая генерирует видео на основе сканов активности мозга.
Демонстрация на сайте проекта параллельно показывает видео, которое было продемонстрировано испытуемым, и видео, сгенерированное ИИ на основе их мозговой активности. Различия между этими двумя видео незначительны. Пары видео по большей части содержат схожие сюжеты и цветовую палитру.
По определению исследователей, MinD-Video представляет собой «двухмодульный конвейер, предназначенный для преодоления разрыва между мозговым декодированием изображений и видео». Для обучения системы исследователи использовали общедоступный набор данных, содержащий видеоролики и данные фМРТ мозга испытуемых, которые их смотрели. «Двухмодульный конвейер» состоял из обученного фМРТ-кодера и точно настроенной версии Stable Diffusion (популярной модели ИИ для генерации изображений).
«Мы считаем, что эта область имеет перспективное применение по мере развития больших моделей, от неврологии до интерфейсов мозг-компьютер», — написали авторы.
В частности, они отметили, что эти результаты позволяют сделать три основных вывода. Первое — это доминирование зрительной коры, показывающее, что эта часть мозга является основным компонентом зрительного восприятия. Другой вывод заключается в том, что фМРТ-кодировщик работает в иерархическом режиме, который начинается со структурной информации, а затем переходит к более абстрактным и визуальным характеристикам на более глубоких слоях. Наконец, авторы обнаружили, что фМРТ-кодировщик развивался на каждом этапе обучения, демонстрируя способность воспринимать всё более тонкую информацию по мере обучения.
Это исследование представляет собой ещё одно достижение в области, по сути, чтения мыслей людей с помощью ИИ. Ранее исследователи из Университета Осаки обнаружили, что они могут восстанавливать изображения высокого разрешения на основе активности мозга с помощью метода, который также использует данные фМРТ и Stable Diffusion.
