ЭЭГ-гарнитура — гаджет для музыки и коррекции эмоций

    В этом году произошло знаменательное событие: бельгийский технологический центр Imec, институт научно-промышленных исследований университета Осаки и компания Datwyler представили прототип крайне любопытного устройства. Гаджет в виде шлема снимает ЭЭГ и анализирует полученный сигнал, “понимая”, какая музыка нам нравится. Кроме того, устройство может анализировать когнитивные процессы, измерять эмоциональный фон и самостоятельно генерировать музыку для того, чтобы этот фон улучшить.



    Авторитетное интернет-издание phys.org назвала устройство “крупным прорывом”. Мне понравилась идея, заложенная в принцип действия устройства: использовать сравнительный анализ ЭЭГ для определения эмоциональной реакции, в т. ч. на музыкальные произведения. Я решил подробнее узнать о девайсе и принципе его работы.

    Первая демонстрация


    Прототип гарнитуры был впервые представлен на Международной выставке потребительской электроники (CES 2018) в Лас-Вегасе в январе 2018 года. По отзывам посетителей, имевших возможность протестировать шлем на себе, шайтан-устройство действительно оценивало их музыкальные вкусы. Более того, алгоритм, работающий с устройством, генерировал музыкальные сигналы, поднимающие настроение.



    По заявлениям разработчиков, устройство также может определять и фиксировать эмоции в реальном времени, например, в процессе игры или просмотра кино. Отчеты присутствовавших на выставке зафиксировали множество восторгов по поводу новинки и её возможностей. Исследователи охотно рассказывали посетителям о том, как работает это девайс.

    Принцип действия


    Сам шлем создан для того, что удобно разместить т.н. сухие электроды ЭЭГ, выполненные в виде металлических шипов с тупым концом. Ранее самыми большими проблемами вне клинического использования ЭЭГ считались возможность быстрого сухого размещения электродов и длительного использования устройства. Конструктивные особенности шлема, сухие электроды от Datwyler и емкий аккумулятор помогли с решением этих проблем. Также шлем оснащен 3,5-мм разъемом для наушников и bluetooth для потоковой передачи звука.



    С помощью электродов аппарат может точно снимать фронтальные сигналы ЭЭГ, которые дают сведения об эмоциональных реакциях. Затем программное обеспечение обрабатывает сигналы и определяет эмоциональную реакцию, например, на музыку. Алгоритм не только анализирует эмоциональное состояние при воспроизведении музыки, но также фиксирует результаты в личном профиле пользователя. Затем множество сигналов конкретного пользователя обрабатываются ИИ, снабженным функцией самообучения. При запуске режима коррекции алгоритм генерирует музыкальное произведение, исходя из предпочтений пользователя в режиме реального времени.

    Кто и чем занимался


    Известно, что алгоритмами машинного обучения и искусственным интеллектом системы занимался центр инноваций университета Осаки, где специалистом удалось объединить персонализированную классификацию эмоций, комплексную оценку музыкальных вкусов пользователя и формирования музыкального контента на этой основе. Профессор Масаюки Нумао из Института научно-промышленных исследований (ISIR), Университета Осаки отметил:
    «Наш опыт в области машинного обучения и индивидуальной классификации эмоций помог нам создать уникальную систему ЭЭГ, которая связывает музыку с эмоциональными изменениями… Мы объединили распознавание эмоций на основе моделей с методами сочинения музыки в реальном времени».

    Imec в свою очередь гордится разработкой шлема, который на данный момент является, пожалуй, наиболее универсальным форм-фактором для ЭЭГ-электродов. В частности, Крис Ван Хоф, старший директор Imec по разработке медицинских решений подчеркивает:
    «Значительный опыт Imec в этой области является результатом почти десятилетия работы по созданию схем и компактных систем для носящего мониторинг ЭЭГ».

    Ван Хоф также отмечает вклад коллег из Университета Осаки и Datwyler и уточняет, что главной заслугой Imec является универсальность конструкции шлема. По мнению ученого, интерфейс можно использовать как для клинических исследований, так и в качестве ежедневного гаджета, который не требует много времени для установки электродов и способен работать достаточно длительное время.

    Datwyler занимались непосредственно сухими электродами. Представитель компании Ронни Врижанс отметил, что разработка прототипа нового устройства совместно с Imec помогла создать сухие электроды с более высокой стабильностью сигнала, что само по себе уже большое достижение

    Немного об ЭЭГ и отечественных исследованиях


    Для тех, кто не совсем в курсе, ЭЭГ или электроэнцефалограмма — это регистрация биоэлектрической активности головного мозга для исследования его функционального состояния. Зачастую ЭЭГ применяют в диагностических (медицинских) и исследовательских целях. Регистрация электрической активности происходит неинвазивно, с помощью прикрепленных к голове электродов электроэнцефалографа. Сигналы от электродов усиливаются, после чего сигнал обрабатывается АЦП и записывается в цифровой форме.



    На ЭЭГ определяется ритмичность электрической активности мозга. В зависимости от состояния и факторов, влияющих на человека, каждый из 10 исследуемых ритмов (α, β, γ, δ, θ, κ, λ, μ, σ, τ) может меняться.

    Проведение экспериментов по психоакустике продемонстрировали стойкую взаимосвязь психических явлений с изменениями ЭЭГ. Прослушивание музыки и получение удовольствия от музыкальных произведений не стали исключением.

    Так в достаточно емкой статье об экспериментах “ЭЭГ-корреляты реагирования на музыку разных стилей” русские исследователи Надежда Кайгородова, Михаил Яценко, Николай Афанасьев подробно описывают взаимосвязь эмоций, полученных при прослушивании музыки различных стилей с записями электроэнцефалограмм во время прослушивания. Вполне вероятно, что это отечественное исследование в числе прочих легло в основу японско-бельгийской разработки.

    Дальнейшее исследование результатов ЭЭГ, записанных при прослушивании музыки, навели исследователей на мысль об объединении электроэнцефалографа и звуковоспроизводящего устройства, которое могло бы быть использовано для коррекции стрессовых состояний.

    Методы, по принципу близкие к ЭЭГ-гарнитуре от Imec, были описаны в 2014-м году в работе “Сочетание технологии ЭЭГ-биоуправления с музыкальной терапией для эффективной коррекции стресс-вызванных расстройств” (Федотчев А. И., Сан Чжун О., Семикин Г. И.). Работа продемонстрировала относительную эффективность метода в отношении расстройств, вызванных стрессом, и хорошие показатели похожего устройства во время эмоциональной коррекции.

    Итог


    Ежегодно появляются всё новые устройства на основе нейроинтерфейсов, в основу которых часто положен принцип ЭЭГ. Как видно, ничего теоретически нового в этом шлеме не предложили. Заслуга его создателей в другом: они впервые реализовали на практике универсальное носимое ЭЭГ устройство с функционалом по коррекции эмоций при помощи музыки. Объединение форм-фактора и функционала, теоретической базы и технологий в очередной раз привело к реализации смелой идеи, которая может легко масштабироваться. Буду признателен за ваши мнения о новинке и том, как ещё можно использовать этот гаджет.

    Джинса
    В нашем каталоге пока нет гаджетов с нейроинтерфейсами, но много другой электроники способной поднимать настроение высокой верностью воспроизведения звука, например акустические системы, наушники и усилители
    Pult.ru
    Крупнейшая сеть Hi-Fi, High End в России

    Комментарии 9

      +1
      Сам шлем создан для того, что удобно разместить т.н. сухие электроды ЭЭГ, выполненные в виде металлических шипов с тупым концом.
      А если с острым — эффективность будет больше?
      Не понимаю: головы у всех разные — доказательство: шапки-ушанки разных размеров, но тут и форму головы нужно учитывать — как такое м.б. универсальным?:
      они впервые реализовали на практике универсальное носимое ЭЭГ устройство

      Видимо дело идет к тому, что будут втыкать в мозги золотые (позолоченные) иголки и пришивать на голову USB разъем (как у Панкеевой, Ливадного и др. фантастов).
        0
        А если с острым — эффективность будет больше?

        Смешно)). Нет, просто описал форму электродов, там ещё фишка в том, что они многочисленные, что позволяет игнорировать различия в форме головы.

        Видимо дело идет к тому, что будут втыкать в мозги
        — это вполне вероятно.
          0
          Тут больше подойдут беспроводные интерфейсы, 4G, 5G, wi-fi, bluеtooth, Qi(беспроводная зарядка) и их будущие аналоги.
          Можно всторить аналог этой ЭЭГ-гарнитуры внутрь, и всегда снимать ЭЭГ, а снаружи будет не заметно.
          Еще интересно будет встроить смартфон целиком, удобно будет, ничего не надо с собой носить, можно всегда слушать музыку и всегда на связи.
          +2

          Давно уже всё это было.
          Валяется на полке гарнитура, не помню, как называется, работает с Windows XP, с Windows 10 не завелась.
          И программа к ней была, слушал музыку, а она музыку меняла в зависимости от эмоций.
          Ещё можно было в пинг-понг играть и в ралли машиной управлять без рук.
          Теперь новым считается забытое старое.

            0
            Теперь новым считается забытое старое.

            Так было всегда, главное завернуть это в красивую упаковочку и назвать это «Знаменательным событием».
          • НЛО прилетело и опубликовало эту надпись здесь
              0
              Как говорил знакомый, который занимается нейроинтерфейсами в тайваньском институте, ЭЭГ — это тупиковая ветвь развития нейроинтерфейсов и взаимодействия с мозгом, типа как пытаться выяснить, что происходит внутри процессора, зная только его температуру.
              0
              Я не понимаю. тут же на хабре были статьи, про вполне себе успешное использование emotiv с предобучением для мысленного управления 4-5 степеней свободы (ладно, нормально работают 2-3, либо обучаться нужно дольше)… где все это? куда делось, почему с каждой новой статьей я читаю про устройство все менее функциональное.

              Цены на железо растут из года в год, почему, куда, как О_о… в 2011 можно было приобрести железо (без sdk) за $200-$300, $600 — для разработчика и исследователя, сейчас цена на устройство безальтернативно $800, и это я еще не говорю про сложности покупки его в России, как минимум доплачивать посреднику.

              При доступной цене в 200 баксов как минимум такое железо заинтересованы купить геймеры, которые не откажутся от повышения скорости реакции на 100-200мс хотя бы для двух действий (а в хардкорном варианте можно же комбинировать с клавиатурой/мышью), а при масссовом использовании устройств, одни только маркетологи за информацию с вашего устройства не откажутся платить…

            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

            Самое читаемое