В лаборатории психофизиологии МГУ: ЭЭГ как инструмент реверс-инжиниринга мозга и интерфейс мозг-компьютер

    В научно-исследовательском комплексе психофизиологии факультета психологии МГУ находится, пожалуй, один из самых точных и скоростных энцефалографов в мире. Специально для научных исследований может использоваться одновременно до 258 каналов в пассивном режиме, позволяющих синхронно регистрировать и анализировать электроэнцефалограмму (ЭЭГ) в режиме реального времени.


    (подключаем Катю к матрице ЭЭГ 32 канала с активными электродами)

    Как «пакмэны жрут несуществующий квадрат», какая часть мозга генерирует иллюзии, какого цвета цифры, как психофизиологи обрабатывают многомерные сигналы и может ли это привести к реверс-инжинирингу мозга.

    Под катом поверхностное описание аппарата, немного про обработку сигнала и про те исследования, которые проводят молодые ученые психо- нейрофизиологи и какие вызовы есть для программистов, которые хотят изучать мозг и/или работать в проекте по изучению мозга.


    Удобно расположитесь в кресле, откиньтесь на спинку и сделайте глубокий вдох


    ЭЭГ-шлем с системой ActiChamp от Brainproducts оснащен активными биосенсорами (до 128 каналов), которые улавливают мельчайшие изменения электрических сигналов от мозга человека с экстремально высокими скоростями дискретизации – до 100 КГц!

    256 каналов
    image

    image
    256 каналов



    Активные, в противоположность пассивным, электроды оснащены встроенными в них микрочипами – предусилителями, которые оцифровывают аналоговый сигнал и передают его с наименьшими искажениями.

    Электроды устанавливаются над всеми важными для анализа областями мозга и синхронно передают сигнал на блоки усилителей либо с помощью шлейфа, либо по wi-fi – по 32 канала на блок с пропускной полосой в 1000 Гц и частотой дискретизации до 5000 Гц в противоположность 500 Гц некоторых медицинских ЭЭГ, не говоря о нейрогарнитурах).

    Wi-fi модуль



    После того, как сигналы поступают на блоки усилителей (уровень шума ≤ 2 μVpp), их путь не оканчивается. Дальше они передаются по двойному оптоволоконному кабелю на USB-адаптер, в который также поступают и внешние сигналы (триггеры) для синхронизации с внешними устройствами, например EyeTracker’ом (о нем в след. раз). USB-адаптер служит коннектором с ПК.


    Основная задача всех элементов-посредников в минимизации искажений и задержек в сигнале, мощность которого измеряется лишь десятками микровольт




    Дополнительные блоки для регистрации т.н. периферических показателей, которые отражают вегетативные процессы, такие как: кардиоритм, тонус сосудов, дыхание, температура, движения, активность мышц и т.п., всего до 128 каналов дополнительно.

    Датчики

    Сопротивление кожи, термодатчик, акселерометр, пульсометр оптический


    Вот на ком делают измерения, когда нет студентов

    Софт и обработка сигнала


    Софт для обработки и анализа ЭЭГ обладает широким функционалом с возможностью интегрировать данные МРТ для локализации электрических сигналов учитывая индивидуальную конституцию мозга конкретного человека. Собственно система сама располагает модулем, который называется «томографией низкого разрешения» (LORETA) (*речь идет не о технической реализации – магнитная или позитронно эмиссионная, а о принципе визуализации и картирования мозга).

    Одна из основных проблем для точности – это артефакты. Под этим термином понимаются искажения сигнала внешними или внутренними факторами, будь то движения глаз или наводка в 100 Гц от ламп дневного света.

    Несмотря на кажущееся совершенство технологии регистрации ЭЭГ, недостатки все же присутствуют. Пожалуй, основной из них — необходимость использования электропроводной пасты или геля для снижения сопротивления между скальпом и электродами. Технология в целом также не является самодостаточной, и тенденция последнего времени сходится к комбинации различных методов. Уже сейчас используются электроды, которые работают в магнитном поле томографа (порядка 10 Тесла).


    Пунктир — это внешний стимул. Фагмент ЭЭГ-сигнала (слева), попытки локализовать источник в трехмерном пространстве (посередине) и в проекции на скальп (справа)


    Фрагмент записанной ЭЭГ


    Вот такими кривульками наш мозг видит мир. Ну а если серьезно, то это ПСС (потенциалы, связанные с событиями), которые отражают чистый (специально записанный и отфильтрованный) отклик групп нейронов на тот или иной стимул. Тут они всем скопом по всем отведениям. Потенциальная и пока (а может и вообще) неразрешимая задача состоит в обратном: восстановить, что же видел/слышал/представлял/трогал человек в этот момент?


    Снизу — ПСС, но не всем скопом, а по тому, как они были зарегистрированы в разных отведениях.


    Карта подэлектродной локализации активности, посекундно — от картинки к картинке


    3d-вид


    Фурье-преобразование сигнала, зарегистрированного под разными электродами.


    Непрерывное вейвлет-преобразование ЭЭГ. (Первое правило психофизиологов — никому не говорить про вейвлет. Шутка.) Вейвлет нам нужен для того, чтобы посмотреть частотную составляющую ЭЭГ (разные ритмы состоят из разных частот и отражают разные состояния человека) и рассмотреть это все во временной перспективе.

    Люди



    Внимание

    Вячеслав Лебедев, сотрудник и аспирант кафедры психофизиологии МГУ им. М.В. Ломоносова, со-основатель проекта NeuroFuture, психофизиолог:
    «Суть моей научной работы — исследование роли внимания в процессах кросс-модальной интеграции.
    Расшифровка: Информация, поступающая из внешней среды, как правило, состоит из сигналов разных модальностей (слуховой, зрительной и т.д.). Обработка этой мультисенсорной информации требует синхронной совместной работы структур мозга, задействованных в обрабтке сигналов определенной модальности. Современные исследования на уровне отдельных нейронов показывают существование нейронов в различных областях и уровнях головного мозга, функцией которых является обработка именно мультисенсорной информации. Но открытым остается вопрос системного объединения этих разноуровневых структур в процессе обработки потока мультисенсорной информации, а также о роли произвольного (инициируемого самим человеком) и непроизвольного (вызванного внешними событиями) внимания в этом процессе. ЭЭГ — один из самых информативных методов исследования этого процесса в динамике.»

    image
    (Найдите собачку)

    Иллюзии

    Илья Захаров, аспирант кафедры психофизиологии МГУ им. М.В. Ломоносова, со-основатель проекта NeuroFuture, психофизиолог:
    «Психофизиология пытается связать идеальное (психологию и „душу“, если она есть) и материальное (то, что можно исследовать естественно-научными методами). Получается с переменным успехом, но это интересно


    Есть такие штуки — иллюзии. Что же происходит в мозге, когда мы их видим? Существует ли универсальный паттерн мозговой активности, одинаковый для всех людей, характерный только для тех моментов, когда мы видим зрительную иллюзию? А что делать, если мы смотрим на любимого человека и у нас вдруг возникает этот паттерн?


    Посредством записи различных паттернов на ЭЭГ можно объективно зарегистрировать у человека восприятие нового для него типа иллюзии (например, нового варианта иллюзии субъективного контура). Для этого используется метод связанных с событием потенциалов: выделение из общего сигнала ЭЭГ того компонента, который появляется при предъявлении иллюзии.


    Черный график — просто стимул, красный — иллюзия, пунктир — момент предъявления стимула
    Справа — ответ мозга на предъявление классического типа иллюзий по сравнению со стимулом, когда мозгу ничего не надо достраивать
    Слева — ответ на предъявление нового типа, опять же, по сравнению с тем, когда не надо достраивать


    Мы видим, что в одном и том же месте (компонент N170) амплитуда сигнала в ответ на иллюзию больше. Этот ответ — объективная мера нашего восприятия иллюзии. Если мы видим и прямые, и волнистые иллюзорные контуры на одинаковом психофизиологическом уровне, вероятно, в обоих случаях мы используем одинаковые механизмы формирования образа.»

    Программирование и обработка многомерных сигналов

    Костя Славнов, программист
    — Какой внутренний мотив сподвиг математика пойти работать над нейросайнс-проектом?
    — Интерес. Мне всегда было интересно узнать, как работает мозг человека. К тому моменту я уже достаточно много знал о возможностях метода анализа данных применительно к мозгу. Все они основываются на обработке многомерных сигналов. А у меня была именно такая тематика курсовой работы.
    Как всегда большую роль сыграла случайность. я прочитал статью об Илье и решил написать ему про себя: что я — математик-программист, интересна эта тема. А ребятам как раз не хватало человека с моими навыками. И я быстро включился в работу.

    Синестезия

    Мария Степаненко, студентка кафедры психофизиологии МГУ им. М.В. Ломоносова, психофизиолог, исследователь синестезии

    «Синестезия — это, грубо говоря, связь различных модальностей. Проявляется она в виде переживания ощущений в одной модальности во время предъявления стимулов в другой.


    Можете ли вы быстро найти „цветной“ треугольник?

    Вообще, синестезия — безумно интересное, но и очень малоизученное явление. Существует невероятное множество различных ее видов: некоторые синестеты „видят“ цвета определенных букв/дней недели/месяцев, кто-то из них „чувствует“ запахи при произнесении определенных слов, кто-то „ощущает“ текстуру голоса/запаха, „чувствует“ вкус имен, „слышит“ движение и так далее. Более того, у большинства синестетов проявляется связь не двух, но множества модальностей, и, таким образом, проявляются различные виды синестезии.

    Существует достаточно много гипотез относительно того, каким образом возникают синестетические ощущения. В моем исследовании ставится вопрос о том, на каком уровне происходит данный процесс: только ли это перцептивные ощущения, обработка которых происходит на низших уровнях, или же это высокоуровневый, когнитивный процесс.
    Акцент ставится на аудиовизуальной синестезии, а именно — на связи тонов и тембров с различными цветами. В качестве испытуемых выступают как синестеты, так и люди, не обладающие синестетическими ощущениями. В ходе эксперимента (а именно — в момент предъявления звуковых стимулов) производится запись ЭЭГ, и впоследствии — анализ данных путем сравнения ПСС, зарегистрированных у синестетов и несинестетов.

    К слову об испытуемых: если вас интересует данная тема, или вдруг у вас есть знакомые синестеты, или, внезапно, вы сами обнаружили у себя наличие подходящего для данного исследования вида аудиовизуальной синестезии — смело обращайтесь ко мне, я буду рада видеть вас в числе своих испытуемых!»

    Выступление на TED нейроученого


    image
    Тест на синестезию «цвет цифры» (Слева — то, как видит картинку обычный человек; справа — видение синестета: треугольник из двоек сразу выделяется другим цветом, вследствие чего синестет без труда и довольно быстро может указать на все двойки на картинке)

    Обработка данных

    Андрей Учаев, студент кафедры психофизиологии МГУ им. М.В. Ломоносова, психофизиолог:
    «Моя позиция по получению экспериментальных данных была хорошо отражена в словах героя одной игры: „… мы просто бросаем наукой в стенку и смотрим, что прилипнет..“ Это говорит о том, что в исследовании я стараюсь получить максимум данных, которые вообще можно выжать из электрофизиологического сигнала.

    image
    Сейчас я зациклен скорее на следующем: на отработке различных методов обработки сигнала независимо от поставленной задачи. Помощь программистов тут огромна. Встречаются различные проблемы: бывает, что не все методы обработки представлены в одной программе, или же нет доступа ко всему функционалу — приходится изворачиваться, и не всегда это удается.

    image
    И есть еще одна немаловажная проблема — экономия времени. Довольно часто бывает необходимо обработать данные десяти человек, используя 10-15 различных преобразований. Тут бы не помешало написание скриптов, которые позволят автоматизировать задачу. Нажал на кнопку и пошел домой — а утром все уже обработано.»

    Заключение


    «Нейронаукам нужны программисты». Так говорят и русские коллеги, а зарубежные нейроученые даже обращаются к хакерам. Потому что очень скоро нам, не дай бог возможно, потребуются не только инструменты обеспечения приватности сообщений от технического перехвата, но и мыслей.


    Как писал Азимов, что «для человечества осталось две загадки — глубины космоса и тайна мозга», радует, что Хабр очень приветствует космонавтику, надеюсь, что то же самое произойдет и с изучением мозга.
    Хакспейс Neuron 82,42
    Компания
    Поделиться публикацией
    Ой, у вас баннер убежал!

    Ну. И что?
    Реклама
    Комментарии 19
    • +2
      Потенциальная и пока (а может и вообще) неразрешимая задача состоит в обратном: восстановить, что же видел/слышал/представлял/трогал человек в этот момент?

      На одной из TED-конференций женщина утверждает, что картинка того, что человек видел уже есть, но с сильными помехами (см., например, 6:30):
      www.ted.com/talks/mary_lou_jepsen_could_future_devices_read_images_from_our_brains
      • +6
        Найдите собачку

        Хм, видимо, где-то в направлении взгляда кота)
        • +1
          Интересная коробочка. А она как-то фильтрует сигналы или вы работаете с сырыми данными? Когда работали на эту тему в ВГУ, шумы доставляли довольно много хлопот.
          • 0
            Ещё смутило отсутствие на всех фото тюбика с гелем. Аж полез на всякий случай перечитал спецификации шлема… но нет, на эту тему вроде ничего не поменялось.
          • +1
            Андрей Учаев: «коробка пишет широкий диапазон частот (0-1000 Гц). А дальше мы уже ставим свои фильтры сначала для визуализации сырых данных, а затем и при обработке данных. Тогда пропускная полоса примерно 1-70 Гц (плюс — минус) и режекторный фильтр в 50 Гц»
            • 0
              Спасибо. Получше, чем у нас было.
          • 0
            Можете показать примеры, как меняется картина, полученная через преобразование Фурье или Вейвлет, сразу на нескольких электродах, в зависимости от различных событий? Как именно происходит выявление кореляций? Как собираете обучающую выборку?

            И самое главное, какие мысли по поводу использования полученных алгоритмов (тех же нейронных сетей) на основе этого супершлема, на менее совершенном оборудовании, с меньшим количеством датчиков (хотя бы как на epoc emotiv, считаю это лучшим/полезным потребительским устройством на текущий момент, поправьте меня если я не прав).
            • +1
              Вячеслав Лебедев: «вот примеры, которые вы просили. Только, честно говоря не понятна цель сей просьбы. Остальное — тема для отдельного поста.
              Подобные алгоритмы уже используются в том же самом Emotiv. Вопрос в качестве сигнала, которое зависит в первую очередь от конструктивных особенностей самих электродов, а во вторую — от АЦП.
              Согласен с вами — в этой ценовой категории это, пожалуй, лучшее соотношение».

              image

              image
              • 0
                Андрей Учаев: «Спектр хорош в виду простоты его получения. По нему хорошо смотреть соотношение альфа- и бета-ритмов (7-14 Гц и 14-30 Гц, соответственно). На их частоты практически не приходятся различные артефакты. Альфа-ритм вылезает при спокойном состоянии и преимущественно с закрытыми глазами, а бета-ритм при активной деятельности. Причем картина практически одинакова для любого отведения мозга. Получить спектр мощности по этим ритмам и сравнить — достаточно несложная задача на любом оборудовании и языке программирования. Но здесь только два состояния: больше/меньше одно или другое. Соответственно, одна степень свободы.

                Если хотите что-то стоящее, то надо уходить в вызванные потенциалы (ВП), что сложнее аппаратно и программно, но намного разнообразнее (см. P300-Speller) и что сейчас используют продвинутые люди. Либо можно уйти в периферию (сердце, мышцы), что проще и лучше, на мой взгляд.
                »
                • 0
                  Emotiv epoc вместо одной степени свободы (есть активность/нет активности, как это делают более дешевые игрушки) позволяет обучить компьютер управлению мыслями, собирая данные для обучения в процессе собственно использования компьютера (играя в компьютерную игру, нажатия на управляющие клавиши и определяют моменты времени, когда нужно искать закономерности в данных ЭЭГ, я полагаю достаточно записывать весь поток данных и во время обучения использовать несколько моментов до нажатия клавиши, с разными интервалами, перебирая разные возможные скорости реакции игрока).

                  К сожалению я не знаю, какую именно обработку сырых данных делает шлем этой фирмы, просто самое первое и простое, что приходит в голову, это разложение по частотам.

                  В комментарии выше я хотел увидеть хоть какую то закономерность в данных, относительно каких-либо маркеров, которыми человек в шлеме должен показывать моменты времени, когда он думал о чем то конкретном, или какой то иной тип событий, который необходимо регистрировать и распознавать с помощью шлема.

                  Кстати спасибо за картинку, я вижу изменения в сигналах происходят не фатально быстро, считанные десятые секунды (или просто данные слишком огрублены и округлены?)
              • 0
                Интересует и цена данного набора HW&Soft, подскажете?
              • 0
                Испытывали мы пару лет назад аналогичное устройство, для контроля состояния бодрствования водителя, производства одной конторы в Ростове. Вот точно такой же наголовник, такие же пимпочки замечательные разноцветные, розовенькие, синенькие, зелененькие. Гель, да, шприц, все дела. Только там проводов не было, беспроводная передача данных. Обрили налысо старлея, надели ему ентот чудо-шлем, поехали. А торможение автоматическое. Ну там проехали километров сколько-то, бац — шасси колом, на мониторе надпись «водитель спит». Старлей из кабины вылез, ходит вокруг, командир ему — ты куда, лунатик? Держите типа, а то сейчас на елку залезет, а он матом ругается. Лунатики вообще как, разговаривают? В общем, пришлось от этой системы отказаться в пользу педали с датчиком. Типа пока водитель на педаль давит, то значит не спит еще. А корифеи из Ростова, в ответ на критику, сказали, что пошли вы мол на… со своим контролем бодрствования, у нас задачи более глобальные, возвышенные. Мы, типа, может человечество спасаем.
                • 0
                  Лет 5 назад баловолся с такой вот штучкой
                  OCZ NIA

                  Практической пользы ноль, но подвигать фигурки в тетрисе «силой мысли» — прикольно :) До сих пор в тумбочке валяется.
                  Всё жду когда нормальный доступный беспроводный вариант появится, с хорошо проработанным API. Очень хочется такую штуку к «Умному Дому» прикрутить. Побаловаться :) Это же так прикольно! Подумал «лампочка зажгись», она и зажглась :) Голосовое управление это уже прошлый век %)

                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                  Самое читаемое