Мысленная визуализация задействует те же сенсорные нейронные коды, что и физическое зрительное восприятие. Это открытие дает ключ к пониманию механизмов воображения и открывает новые пути для архитектур искусственного интеллекта.

Способность человека мысленно визуализировать образы критически важна для извлечения воспоминаний, пространственного планирования и творческого синтеза. Несмотря на это, нейронные механизмы воображения остаются малоизученными. Предыдущие эксперименты с функциональной визуализацией (например, фМРТ) показывали, что воображение задействует те же области мозга, что и зрительное восприятие. Однако низкое разрешение этих методов не позволяло достоверно подтвердить, участвуют ли в обоих процессах одни и те же нейроны с идентичными характеристиками отклика. Для решения этой проблемы потребовалась регистрация активности отдельных нейронов человеческого мозга.

Эксперименты с внутричерепной записью активности одиночных нейронов показали, что мы повторно используем одни и те же сенсорные коды как при восприятии, так и при воображении. Вентральная височная кора (ВВК, ventral temporal cortex) использует распределенное осевое кодирование (axis code) для обработки визуальных образов. Часть этих нейронов реактивируется, когда человек представляет визуальные стимулы в уме, причем амплитуда их отклика пропорциональна той, что наблюдается при разглядывании реальных объектов.

Эти результаты подтверждают гипотезу о генеративной модели мозга: абстрактные репрезентации запускают внутренний сенсорный код, образуя явный физиологический механизм воображения.

При зрительном восприятии и мысленном воображении активируются одни и те же нейроны
Исследователи из Cedars-Sinai выяснили, что при зрительном восприятии и мысленном воображении активируются одни и те же нейронные коды. Источник: Getty

Осевое кодирование в вентральной височной коре

Исследование сосредоточено на вентральной височной коре — важном участке мозга, отвечающем за распознавание объектов. В эксперименте приняли участие 16 пациентов с эпилепсией, которым по медицинским показаниям (для локализации очагов приступов) были временно имплантированы электроды в мозг. Участникам показывали фотографии лиц, растений, текста, животных и повседневных предметов. Из всех проанализированных клеток 456 нейронов избирательно реагировали на определенные визуальные категории, представляя собой сеть, отвечающую за кодирование изображений.

Чтобы изучить природу этого нейронного кода, исследователи использовали глубокие нейросети, обученные распознаванию объектов. Признаки объектов можно представить математически как координаты на множестве осей. Проецируя репрезентации объектов на эти оси, ученые смогли проанализировать реакцию живых нейронов. Выяснилось, что около 80% реагирующих клеток (367 из 456) «настроены на оси» (axis-tuned). Они активируются в зависимости от того, насколько сильно значение визуального стимула совпадает с их характеристиками.

Наличие осевого кода подтвердили экспериментально: исследователи обучили генеративную нейросеть создавать ранее не встречавшиеся изображения, которые точно соответствовали предсказаниям, сделанным исключительно на основе активности нейронов пациентов.

«Мы использовали глубокие визуальные нейросети для создания числовых описаний объектов, чтобы понять код нейронов. Затем мы проверили этот код с помощью генеративного ИИ: создали новые изображения и успешно предсказали реакцию мозга пациентов на них».

— Варун Вадия (Varun Wadia), ведущий автор исследования (Cedars-Sinai и Caltech)

Интересно, что этот код полностью согласуется с механизмом осевого кодирования, ранее обнаруженным у приматов в исследовании соавтора работы Дорис Цао (Doris Y. Tsao) из Калифорнийского университета в Беркли. Способность генеративной сети точно предсказывать реакции доказывает, что осевое кодирование фундаментально и существует у людей.

Реактивация во время мысленной визуализации

Далее исследователи решили выяснить: использует ли воображение тот же самый код, что и зрение, или задействует другой набор нейронов с уникальным паттерном реакций? Шестеро из 16 пациентов приняли участие во втором этапе эксперимента, где их попросили в мельчайших деталях вообразить один из ранее показанных предметов.

Данные активности нейронов показали, что около 40% «осевых» нейронов (43 из 107) значительно активируются в процессе воображения. Как и при физическом зрении, уровень активации оказался прямо пропорционален значению проекции на ось.

Эти наблюдения подтверждают: при воображении действительно происходит реактивация, но она затрагивает меньшую часть (около 40%) тех же нейронов, что и при реальном зрении. Сила реактивации позволяет исследователям декодировать мысленные образы, просто реконструируя картинки по позициям на осях. При этом выяснилось, что мозг способен четко различать процессы восприятия и воображения. Итог: мысленная визуализация опирается на подмножество нейронов ВВК, но запускает тот же самый базовый код.

«Мы генерируем мысленный образ ранее виденного объекта, реактивируя те самые клетки мозга, которые использовали для его восприятия в первый раз. Наше исследование раскрыло код, который мы используем для воссоздания этих изображений».

— Уэли Рутисхаузер (Ueli Rutishauser), соавтор исследования (Cedars-Sinai и Caltech)

Результаты убедительно подтверждают гипотезу о генеративной модели восприятия и воображения. Судя по всему, воспоминания, хранящиеся в других частях мозга, запускают реактивацию визуального кода в ВВК, что и приводит к реконструкции перцептов (образов восприятия).

Нейроны реактивируются во время визуализации
Записи активности одиночных нейронов выявили осевой код, используемый для репрезентации изображений в вентральной височной коре. (Источник: Science)

Применение в психиатрии и разработке ИИ

Открытие нейронных механизмов, позволяющих человеку повторно переживать сенсорный опыт, открывает широкие перспективы в медицине и нейротехнологиях. В частности, способность различать мысленную визуализацию и реальное восприятие имеет огромное значение для лечения заболеваний, связанных с галлюцинациями. Например, ПТСР, ОКР и шизофрения часто сопровождаются навязчивыми визуальными образами и неспособностью пациента отличить плоды воображения от внешней реальности.

«Дальнейшее изучение этого нейронного процесса может открыть пути к разработке новых методов лечения посттравматического стрессового расстройства, обсессивно-компульсивного расстройства и других психических состояний, связанных с неконтролируемыми яркими образами».

— Адам Мамелак (Adam Mamelak), соавтор исследования (Cedars-Sinai)

Поскольку при воображении реактивируется лишь около 40% визуального кода, между паттернами активации при зрении и воображении существует фундаментальная физиологическая разница. Вероятно, здоровый человек распознает реальность именно на основе степени активации ВВК. При патологиях эта способность ломается. Открытие дает старт разработке терапий, направленных на нормализацию уровней активации мозга в этой зоне.

Помимо медицины, принцип осевого кодирования раскрывает концепции, которые можно применить при проектировании искусственных нейронных сетей.

В современных архитектурах ИИ часто используются разные (изолированные) нейросети для восприятия и генерации. Однако возможность использовать единый код как для кодирования, так и для декодирования изображений может существенно упростить архитектуру. Интеграция генеративной обратной связи в процессе восприятия в искусственных сетях должна повысить их эффективность. Использование как генеративных, так и дискриминативных моделей для выявления и подтверждения осевого кодирования — отличный пример пользы от коллаборации нейробиологии и ИИ.

Кроме того, принцип осевого кодирования поможет в создании более точных моделей зрительной коры в исследованиях на животных, направленных на лечение проблем с памятью и восприятием. Поскольку у приматов и людей работает один и тот же механизм, использование приматов в лабораторных условиях является полностью релевантным методом.

Оставшиеся вопросы и ограничения

Несмотря на успешную демонстрацию работы осевого кодирования при визуализации, многие аспекты остаются неясными:

  1. Механизм запуска: Как именно репрезентации из памяти выбирают нужный набор нейронов и как именно эти нейроны активируются? Будущие исследования должны будут составить карту связей между гиппокампом и вентральной височной корой во время воображения.

  2. Низкий процент реактивации (40%): Это позволяет предположить, что воображение задействует дополнительные контуры, которые изменяют характеристики отклика нейронов в ВВК.

«Срабатывают ли подобные механизмы при более сложных формах визуализации — например, при способности придумать с нуля совершенно новое произведение искусства — еще предстоит выяснить. Но теперь у нас есть четкая гипотеза того, как это может работать».

— Уэли Рутисхаузер

Важно также учитывать методологические ограничения. Все участники были пациентами с эпилепсией. Хотя электроды находились в здоровых тканях, само заболевание могло повлиять на наблюдаемые эффекты. Кроме того, размер выборки для этапа с воображением может показаться недостаточным из-за жестких ограничений при отборе пациентов.

Наконец, стоит остудить пыл энтузиастов: хотя мозгу успешно удается воссоздавать образы, декодирование воображения сильно зависит от заранее изученного осевого кода конкретного человека. Реконструкция работает в лабораторных условиях лишь потому, что у системы есть доступ к априорным знаниям о реакциях мозга испытуемого. Эти результаты вовсе не означают, что мы находимся в шаге от создания устройств для «чтения случайных мыслей».

Резюме

Люди способны визуализировать образы в уме благодаря реактивации вентральной височной коры. Мозг использует осевое кодирование для репрезентации зрительных образов, и этот же механизм работает для воображения. Воображение активирует меньше нейронов, чем реальное зрение, но опирается на те же самые клетки и тот же базовый код. Именно разница в уровнях активации, по-видимому, является тем физиологическим механизмом, который позволяет нам отличать реальность от иллюзии.

Раскрыв этот код, ученые наметили реальный путь к лечению психиатрических заболеваний, связанных с нарушениями восприятия. А детальное понимание того, как работает осевой код в ВВК и как он взаимодействует с другими участками мозга, ускорит появление новых методов лечения.

Источники