Мышка с мышкой: работа мозга во время бесконтактного управления курсором

Мозг человека можно сравнить с центром управления полетами. Он постоянно курирует множество процессов. Некоторые из них сложнее и требуют больше внимание, другие же протекают в фоновом режиме. Разница между осознанными и неосознанными действиями достаточно очевидна: скажите человеку, что вы бросите ему яблоко, и он будет осознанно пытаться его поймать; сделайте то же самое, но без предупреждения, и тут проявится не только его ловкость, но и мыслительные процессы, которые он лично не запускал. Однако до сих пор оставалось не совсем понятно, что происходит в мозгу в процессе преднамеренных действий, которые мы совершаем практически каждый день, даже не задумываясь о них. Ученые из университетского колледжа Лондона провели необычные опыты, во время которых мышь мысленно управляла курсором мышки. Какие области мозга задействованы в процессе осознанного контроля, как протекает процесс с точки зрения нейрологии, и какова польза от полученных в ходе опытов данных? Об этом нам поведает доклад ученых. Поехали.

Основа исследования

Что есть контроль в аспекте мыслительных процессов? Любое действие и его восприятие взаимодействуют и постоянно влияют друг на друга. Контроль может быть операционализирован, чтобы вывести причинную связь между действиями, активированными внутренне, и их результатом во внешнем мире. К примеру, в моторике связь между действием и его результатом может быть изучена на любом этапе жизни человека (или другого животного с развитой ЦНС), что приводит к приобретению новых моторных навыков (например, уроки танго для дошкольников или для пенсионеров).

Одним из самых распространенных методов изучения работы мозга является НКИ, т.е. нейрокомпьютерный интерфейс, позволяющий мозгу взаимодействовать с каким-либо электронным устройством без физического контакта. Данная методика позволяет проанализировать связь между действием и результатом. В ранее проведенных исследованиях было установлено, что мыши, обученные контролю с помощью НКИ, в процессе выполнения заданий используют те же механизмы, что и во время моторного обучения.

Однако, в отличие от моторного обучения, когда грызуны учатся выполнять поставленную задачу, а ученые должны искать корреляции поведения в схемах нейронной активности, НКИ позволяет точно контролировать сенсорную обратную связь и выделять конкретные схемы активности, задействованные для успешного выполнения задачи.

Таким образом подопытные должны использовать собственные мыслительные процессы и собственный контроль для выполнения задачи, которая может отличаться день ото дня, т.е. Ученые могут наблюдать за «чистой» нейронной активностью, а не за результатом обучения. Ключевым аспектом самоконтроля является сенсорная обратная связь от объекта, которым управляет подопытный. Однако пока что мало известно о том, как эти объекты представлены в мозге.

Многочисленные исследования пришли к выводу, что в намерении и в субъективной оценке влияния на результат участвует теменная доля мозга.


Теменная доля мозга человека.

Травмы или заболевания, нарушающие работу теменной доли, сильно снижают чувство контроля человека, т.е. субъективное осознание инициирования, выполнения и контроля собственных действий.

Было установлено, что и у людей, и у приматов, и даже у грызунов активность в теменной доле регулирует процессы формирования правил выполнения задачи, ценности конкурирующих действий и обновлении двигательного плана действий в реальном времени с визуальным контролем (грубо говоря, что я должен делать, как я это делаю, как окружающий мир отвечает на мои действия). Следовательно, теменная доля мозга является межвидовым центром преднамеренных, целенаправленных действий.

Чтобы проверить эту гипотезу на практике, ученые решили провести ряд тестов с участием грызунов. Контроль обычно изучается в аспекте двигательных действий, что затрудняет сравнение сенсорных реакций при контролируемых и при пассивных действиях, учитывая, что первое включает сигналы, связанные с движением. Потому в ходе опытов и была использована система НКИ, за счет которой удалось минимизировать связанные с движением различия в нейронных реакциях на разные условия.

Испытуемые были обучены управлять курсором с помощью НКИ, перемещая его в определенное положение, чтобы взамен получить вознаграждение.

Результаты исследования

Чтобы исследовать, как контроль над внешними объектами осуществляется и кодируется в коре головного мозга млекопитающих, мышей обучили управлять курсором визуальной обратной связи, используя кальциевые сигналы в реальном времени, записанные с помощью широкоугольной визуализации.


Изображение №1

Была выполнена визуализация дорсальной коры мозга мышей, экспрессирующих индикатор кальция GCamp6s в пирамидных нейронах CaMKII+, определившая два небольших фронтальных участка, участвующих в контроле курсора (1А и 1В).

Голова мыши была зафиксирована под широкопольным микроскопом, а сама мышь могла бегать в колесе из пенополистирола. Основная цель подопытного заключалась в том, чтобы подвести курсор в целевую позицию в центре его поля зрения (1С). Было использовано два курсора по бокам от мыши на отдельных мониторах, за счет чего каждый из глаз мыши видел свой курсор.

Перемещение курсора в нужную точку осуществлялось при повышении активности области 1 (R1) мозга мыши. Если же активность повышалась в области 2 (R2), то курсор отодвигался назад, т.е. отдалялся от целевой точки. Такая схема опыта не позволяла подопытным выполнить задачу за счет повышения активности мозга как таковой, а требовала активности определенных участков (1D-1F).

На этапе обучения контрольные области (1В) располагались над ипсилатеральными моторными областями (связь между зрением и действием), их положение менялось каждый день.

Курсор визуальной обратной связи мог занимать одно из восьми положений на мониторе (1С), а для удачного выполнения задачи он должен был находиться в нужном положении не менее 300 мс. После успешного выполнения задачи (с задержкой в 1 с) подопытные получали вознаграждение в виде соевого молока. Если в течение 30 секунд подопытному не удавалось выполнить задачу, то система перезапускалась (на экране появлялся белый шум, а затем снова курсор).


Изображение №2

Со временем успешность выполнения задачи (2А) среди мышей (7 особей) значительно возросла. Также спустя несколько дней снизилось и необходимое мышам время для достижения критериев эффективности в 50% успешных испытаний (2В).

Ранее проведенные опыты показали, что многие движения могут влиять на активность коры головного мозга. Это повышает вероятность того, что мыши могут усыновить моторные стратегии для контроля активации корковых областей, используемых для НКИ. В ходе данных опытов было выявлено, что мыши могли выполнять задачу по перемещению курсора без явных движений, что подтверждалось отслеживанием глазных саккад, облизывания и скорости бега в колесе. Конечно, полноценно оценить влияние каких-либо движений на активность коры мозга можно только за счет считывания активности всех мышц тела грызуна во время теста, что ученые намерены попробовать реализовать в будущих работах.

Тем не менее животные, участвовавшие в этом исследовании, могли обнаруживать произвольные схемы активации различных областей мозга во время тренировочных этапов и между ними и использовать эти активации для управления визуальным курсором в зависимости от сенсорной обратной связи. Это является признаком гибкости, с которой животные могли перенастроить свой контроль над произвольными областями мозга. Эта гибкость предполагает некоторую степень адаптивности в снижении корреляций между другими сильно коррелированными областями мозга.

Контрольные области менялись каждый день или в течение одного сеанса: частота совпадений улучшалась со временем в течение сеанса и восстанавливалась после изменения контрольных областей, что свидетельствует об обучении (2С).

Когда предоставление вознаграждения было рандомизировано, процент успешности выполнения задачи упал до случайного. Это указывает на то, что успешные сеансы были ориентированы именно на задачу, а не вознаграждение, т.е. мыши намеренно выполняли задачи, а не поддавались обучению (2D). Сигналы флуоресценции, представляющие разницу между R1 и R2, увеличивались в течение обычного сеанса тренировки, что свидетельствует о повышенной эффективности контроля, и уменьшались, когда вознаграждение было рандомизировано. Это опять же указывает на то, что грызуны целенаправленно влияли на необходимые нейронные схемы.

Также в ходе опытов была выделена группа подопытных, для которых визуальная обратная связь была рандомизирована. В ходе таких тестов успешность выполнения задачи вновь упала до уровня случайности без значимой визуальной обратной связи.

Активность, приводящая к успешному выполнению задачи, не напоминала активность, вызванную облизыванием при появлении вознаграждения. Это говорит о том, что животные выполняли задание гибко, целенаправленно и зависимо от визуальной обратной связи.

Поскольку контрольные регионы менялись каждый день, модели активности, необходимые для успешного контроля НКИ, приходилось изучать заново каждый сеанс. Примеры следов флуоресценции из контрольных областей показывают, что области изначально были сильно коррелированы, хоть и спонтанно (верхняя кривая на 3A и видео №3).

На начальном этапе тренировки каждому удачному сеансу предшествовала разная модель активности (центральная кривая на 3А).

Разные подопытные достигали поставленной задачи по-разному: иногда перемещая активность через R1 к R2 или подавляя активность R2 при активации R1 (1D и видео №1).


Изображение №3

Чтобы достичь оптимального паттерна активности, грызуны должны были функционально декоррелировать две контрольные области, которые обычно спонтанно коррелировали. Активность в дорсальной коре головного мозга была глобально коррелирована перед заданием, как показано на картах корреляции с использованием R1 и R2 в качестве исходных пикселей (3B). Корреляции между этими областями уменьшались во время выполнения задачи (рисунки 3B и S3B), как и корреляции между контрольными областями и первичной зрительной корой (помеченной как V1). Но корреляции между контрольными областями и первичной соматосенсорной корой (S1), а также между S1 и V1, не изменились при переходе от спонтанной активности к активности во время выполнения задачи.

В опытах также были использованы мыши, обученные работать со слуховой обратной связью, вместо визуальной. Эти подопытные также могли декоррелировать области визуального контроля (крайняя правая панель на 3В).

Любопытно то, что паттерны корреляции, вызванные выполнением задания, всегда были двусторонними, даже когда контрольные области были ипсилатеральными (расположенными на одной стороне) по отношению друг к другу. Далеко не каждый сеанс тренировки приводил к типу декоррелированных карт, показанных на 3B. Это указывает на то, что некоторые области подопытным сложнее декоррелировать, чем другие. Когда же контрольные области были спонтанно коррелированы, грызунам требовалось больше времени, чтобы достичь показателя успешности в 50% (3С).

Дисперсия в активности R1 и R2 достигла своего пика, когда во время тренировок грызуны начали справляться с задачей, т.е. они изучили стратегии, необходимые для получения вознаграждения. Далее дисперсия уменьшалась, когда подопытные открывали новые более надежные и воспроизводимые стратегии (3D). В начале тренировки энтропия активности была повышенна, ибо мыши искали пути решения задачи. Когда же путь был найден, энтропия значительно снизилась (3Е).

Далее необходимо было определить, какие именно области мозга показывают самую высокую активность во время выполнения задачи, и как эта активность менялась с течением времени.

В первый день обучения первичная зрительная кора головного мозга была наиболее активной во время выполнения задания, но по мере того, как животные становились опытнее, активировались более высокие зрительные области (4А-4С): переднемедиальная кора (АМ), заднемедиальная кора (PM) и ростролатеральная зрительная кора (RL).


Изображение №4

По завершению последнего дня обучения мышам показывали воспроизведение положений курсора с использованием их предыдущих сеансов выполнения задачи (т.е. пассивное воспроизведение). Активность в вышеупомянутых областях не была очевидна у грызунов, пассивно наблюдающих за курсором. Это позволяет предположить, что их активность была специфической для целенаправленного выполнения задачи.

Выявив области мозга, участвующие в контроле НКИ, были записаны всплески активности от отдельных клеток, пока мыши выполняли задание.


Изображение №5

Для детального анализа была выбрана функционально идентифицированная область AM. Далее использовались многоканальные кремниевые зонды для записи импульсов от отдельных нейронов и одновременной визуализации остальной части дорсальной коры (5A).

Клетки были идентифицированы в зависимости от ширины пика активности: интернейроны с регулярными пиками (RS) и интернейроны с быстрыми пиками (FS). Было сделано записи порядка 131 клетки у мышей, выполняющих задачи (5В), и 128 клеток грызунов, пассивно просматривающих воспроизведение предыдущего сеанса обучения.

Во время выполнения задачи активность популяций нейронов (как FS, так и RS) была значительно увеличена для позиций курсора ближе к цели (5C–5E). Пояснить эту активность простым ожиданием вознаграждения нельзя, так как оно было рандомизировано. Активность повышалась, когда курсор, расположенный недалеко от целевого положения, приближался к нему, и снижалась, когда он отдалялся от нее. Если же курсор изначально располагался далеко от цели, активность возрастала, когда он отдалялся еще дальше (6A и 6B).

Ученые предположили, что повышение активности, когда курсор находился близко к целевому положению, может отражать усиление соответствующей сенсорной обратной связи, устраняя неоднозначность нейронной активности, представляющей различные положения курсора, и заставляя курсор идентифицировать области, лучше интерпретируемые подопытным. Это может позволить последующим областям мозга, участвующим в данном мыслительном процессе, более эффективно декодировать положение курсора для улучшения поведенческих ответных реакций.


Изображение №6

Дабы проверить эту гипотезу, ученые провели анализ классификаторов нейронных реакций. Положение курсора гораздо более эффективно декодировалось из нейронных ответов AM во время выполнения задачи по сравнению с пассивным просмотром воспроизведения (6C). Во время выполнения задачи классификатор работал выше уровня вероятности (12.5%) даже до того, как появился курсор. Из этого следует, что нейронные ответы также кодируют намерение или ожидание. В состоянии пассивного воспроизведения классификатор сработал выше уровня случайности только после того, как был показан курсор. Однако классификатор не смог декодировать направление движения курсора (к цели или от нее) ни в задаче, ни в условиях воспроизведения (6D). Следовательно, различие в нейронной активности, зависящее от направления курсора, может отражать роль, отличную от улучшения декодируемости направления движения курсора. Это различие может отражать некоторое взаимодействие ожиданий мыши и целевого направления (например, двигался ли курсор в том направлении, в котором мышь ожидает и/или предполагает).

Видео материалы:

Видео №1: активность участков мозга (соответствует изображению №1).

Видео №2: активность участков мозга (соответствует изображению №1).

Видео №3: обнаружение успешных моделей активности в день обучения, когда были введены новые контрольные области (соответствует изображению №1 и №2).

Для более подробного ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых и дополнительные материалы к нему.

Эпилог

Вполне логично, что наш мозг по-разному воспринимает разные объекты в окружающей среде. Однако понять, как эти объекты представлены в нашем мозге, и чем их представления отличаются, крайне сложно. К примеру, курсор мышки, которым мы управляем, воспринимается мозгом иначе, чем курсор мышки, за которым мы просто наблюдаем (пример из детства: я играю в Half-Life или я смотрю, как играет мой брат). Разница однозначно имеется, как показало рассмотренное нами сегодня исследование.

Ученые провели ряд опытов, используя мышей и НКИ (т.е. нейрокомпьютерный интерфейс), позволяющий подопытному управлять неким объектом (в данном случае курсором на экране) без физического контакта. НКИ был использован, так как в таком случае отсутствуют какие-либо двигательные сигналы, связанные с контролем курсора. Другими словами, когда мы двигаем мышку рукой, то набор сигналов будет один, а когда с помощью НКИ — совершенно другой.

В ходе опытов было установлено, что во время выполнения задания у мышей были задействованы зрительные области коры. Эти области включали теменную кору — область мозга, участвующую в формировании и обработке намерении мыши (человека или любого другого животного с развитой ЦНС). За несколько дней экспериментов мыши научились сопоставлять активность своего мозга с требуемой задачей. То есть их мозг смог успешно сформировать представление об объекте (курсоре) и верным образом на него реагировать. Подобное наблюдается, когда человек учится взаимодействовать с чем-то новым (например, играть на гитаре, управлять мышкой, пользоваться смартфоном и т.д.).

Мозг человека формирует представление о том, как объекты обычно себя ведут, и подает сигналы к действию, которое будет соответствовать этому поведению. По мнению ученых, лучшее понимание того, что именно происходит во время этого процесса, позволит улучшить технологию нейрокомпьютерных интерфейсов, применение которых весьма обширно: от диагностики заболеваний и реабилитационных программ до интерактивных развлечений и обучения.

Благодарю за внимание, оставайтесь любопытствующими и отличных всем выходных, ребята! :)

Праздничный офф-топ:

Зимние праздники в самом разгаре. Многие из нас, ввиду своей профессиональной деятельности, проведут их так же, как и любой другой день. Но это не значит, что нам нельзя добавить немного праздничного настроения в свои рабочие будни. :)

Немного рекламы

Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).

Dell R730xd в 2 раза дешевле в дата-центре Equinix Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?