Сравнительно недавно СМИ опубликовали информацию об изобретении нового музыкального инструмента — энцефалофона, позволяющего исполнять музыку, используя электрическую активность мозга. По моему мнению, эта разработка, пожалуй, наиболее свежая и перспективная инновация в области экспериментальных музыкальных инструментов.
Несмотря на относительную баянность (большинство публикаций в СМИ датируется июлем 2017), убежден, что тема достойна внимания и дискуссии. К сожалению, короткие новостные сообщения, кроме факта изобретения устройства, фамилий авторов и туманных описаний принципов работы, содержат мало полезной информации.
Думаю, что появление рабочего прототипа энцефалофона сравнимо по значимости с изобретением, например, Терменвокса. Но следует также отметить, что эксперименты по этой теме и попытки использования электроэнцефалографии, как интерфейса для звукоизвлечения, проводились на протяжении последних 60-ти лет.
По замыслу разработчиков, новый инструмент не только сможет изменить привычные представления о звукоизвлечении и нейроинтерфейсах, но также помочь людям с ограниченными возможностями. Под катом рассказ об истории изобретения, близких разработках, принципах работы энцефалофона, результатах исследования и перспективах развития.
Первое применение ЭЭГ в музыке датируется 1934-м годом, когда некими Адрианом и Мэтьюзом были замечены “музыкальность” преобразованного сигнала энцефалографии. Название энцефалофон впервые было использовано для устройства, разработанного нейрофизиологом E. Беверсом и физиком-математиком Р. Фуртом в 1943-м году. Изобретение ученых было предназначено для диагностики неврологических заболеваний, в частности, локализации поврежденных нейронов.
Как и современный музыкальный инструмент, энцефалофон 43-го года был способен издавать определенные звуки в зависимости от показаний электроэнцефалограммы, которые свидетельствовали о поражении участков коры, ретикулярной формации и других отделов мозга. По сообщению New York Times от 2-го марта 1943-го года, изобретение Беверса и Фурта было основано на совмещении электроэнцефалографии с технологией активного сонара. В отличие от современного устройства, первый энцефалофон не позволял произвольно извлекать звуки “усилием мысли”.
Очередным прорывом, который приблизил создание интерфейса “мысленного звукоизвлечения”, стал электроэнцефалофон, созданный сотрудником кафедры теоретической физики Хельсинкского Университета Эркки Куренниемии (Erkki Kurenniemi). Главным образом Эркки известен созданием разнообразных музыкальных устройств и синтезаторов (передовых для своего времени), а также как создатель первого финского микропроцессора.
В 1970-м году талантливый ученый стал управляющим и техническим директором компании Digelius Electronics Finland, где инициировал создание ряда электромузыкальных инструментов с необычными интерфейсами. Серия смелых экспериментов получила название Dimi (от сокращения (digital music instrument). Так DIMI-O получил оптический интерфейс, связанный с движениями и распознаванием графического изображения нот. Dimi-S или Sexophone использовал в качестве модулятора электропроводность кожи. DIMI-T представлял собой устройство, управляемое электрической активностью мозга.
Электроэнцефалофон DIMI-T, также как и другие устройства такого типа, был создан на основе аппарата ЭЭГ. Эксперимент можно считать относительно удачным, так как частоты сигнала, который воспроизводил инструмент путём длительной тренировки, можно было настроить на гармоничные сочетания с нотами основной композиции. По некоторым данным, для управления инструментом Куренниеми пытался использовать бета-ритм и т.н. реакцию активации.
В 1965 году композитор и экспериментальный музыкант Люсьер совместно с композитором Джоном Кейджем создали устройство, позволяющее управлять ударными инструментами при помощи ЭЭГ. Ряд полезных для создания современного инструмента сведений были также получены из экспериментов Дэвида Розенбума, который в 1970-х применял энцефалограф в качестве источника музыкальных и модулирующих сигналов.
Нейропсихолог и футуролог Ариэль Гартен в сотрудничестве с изобретателем Стефаном (Стивом) Манном в начале нулевых разработали нейроинтерфейс для управления музыкальными переменными под водой. Инструмент обладал оригинальным звучанием, но не давал точного звукоизвлечения.
Внушительный вклад в тему внесли Юань Х. и Он Б., опубликовав в 2014-м году актуальную по сей день работу “Мозговые интерфейсы с использованием сенсомоторных ритмов: текущее состояние и перспективы”, которое в числе прочих легло в основу современного энцефалофона.
Бразильский композитор и ученый Эдуардо Рек Миранда занимается созданием нейроинтерфейсов и систем биологической обратной связи. Некоторые его исследования направлены на создание устройств, позволяющих сделать электрическую активность мозга способом звукоизвлечения. Кроме того, исследователь проводит эксперименты с нейронными сетями, генерирующими музыку.
Новую “пищу” для продолжения разработок ученого дали опубликованные в 1999-м году исследования Робертса, Пенни и Резека об управлении компьютера с использованием интерфейса на основе ЭЭГ (Temporal and spatial complexity measures for electroencephalogram based brain-computer interfacing.). Важные сведения содержались в близкой по теме работе 2000-го года Пфурстшеллера, Ньюпера, Гуггера и др. (Current trends in graz brain-computer interface (BCI) research.). В этих публикациях была отмечена эффективность применения изменений альфа-ритма (PDR — ритм зрительной коры) и mu-ритма (ритм моторной коры) для реализации компьютерных интерфейсов управления через ЭЭГ.
Используя эти наработки и собственные исследования по статистическому анализу влияния субъективных факторов на результаты ЭЭГ, а также исследования в области точной регистрации изменений альфа, бета и мю-ритмов, Эдуардо удалось создать датчики, которые впоследствии легли в основу современного энцефалофона.
Как я уже отмечал, наиболее успешным экспериментальным энцефалофоном стал инструмент, представленный в этом году Томасом А. Диуэлем (отделение неврологии, Шведский неврологический институт, Сиэтл, Вашингтон, США), Хуаном Пампином (Центр цифровых и экспериментальных исследований Вашингтонского университета (DXARTS), Якобом Сундстром (Музыкальная школа Вашингтонского университета) и Феликсом Дарвасом (отделение нейрохирургии, Вашингтонского университета). Результаты исследования по разработке и тестированию нового устройства биологической обратной связи были опубликованы в Frontiers in Human Neuroscience. До появления этого устройства опыты по применению нейроинтерфейсов для исполнения музыки с точным звукоизвлечением были неудачными.
Исследователи использовали нейроинтерфейс, применяющий для управления альфа (PDR)-ритмы (зрительные — затылочные доли, характерны для состояния бодрствования без физического напряжения) и мю-ритмы (моторная кора, сопровождают состояние полного покоя). Опора на мю-ритм открывает возможности для использования инструмента пациентами с такими патологиями как боковой амиотрофический склероз, тяжелые повреждения спинного мозга, травматические ампутации, различные формы параличей, другие состояния, ограничивающие естественные возможности и двигательную активность.
Технически устройство представляет собой 19-канальный энцефалограф, оснащенный электродами, размещенными на специальной шапке, и усилителем. Этот блок передает результаты ЭЭГ через USB-интерфейс в компьютер, который анализирует частоту и амплитуду сигналов, присваивая им значения от 1 до 8. Второй компьютер преобразовывает сигналы в ноты в режиме реального времени (синтезирует звуки фортепьяно).
Принцип работы системы / Thomas A. Deuel et al., Frontiers in Human Neuroscience, 2017
Интересно, что для использования инструмента почти не требуется специальной подготовки. В основном в исследовании приняли участие 15 здоровых испытуемых в возрасте от 25 до 60 лет, не имеющих опыта с другими музыкальными инструментами. Они показали очень впечатляющие результаты по управляемому точному звукоизвлечению.
В этом опыте испытуемые практически без подготовки (не считая короткую 5-минутную калибровку), в течение 5 минут старались точно извлечь 27 нот, используя интуитивные “сознательные усилия (модуляции)”. Например, предлагалось извлечь ноты “до” и “ре” третьей и четвертой октав. В случае трехкратного успешного выполнения задания программа синтезировала мажорный аккорд и выдавала следующую задачу, а в случае неверного — неприятное дисгармоничное сочетание звуков.
Так в режиме управления через PDR-ритм точность звукоизвлечения составляла 67,1%, а при использовании мю-ритма 57,1%. Такой результат значительно выше, чем генерация случайных нот, о которой свидетельствовала бы точность не более 19,03%. Исследование подготовленных людей, имеющих опыт в музыке, продемонстрировало существенное повышение точности при управлении альфа-ритмом, но при управлении мю-ритмом точность осталась на уровне неподготовленных испытуемых.
Процентная точность для управления через PDR и Mu
Ученые активно пиарят разработку через живые выступления с джазовым проектом Dr. Gyrus and The Electric Sulci Featuring the Encephalophone. Партию на эцефалофоне исполняет сам руководитель проекта Томас Диуэль. Первое выступление с опытным прототипом, эпатажно украшенным бутафорскими проводами, датируется ещё 2015-м годом (т.е. до официального релиза устройства).
В 2017-м с этим же коллективом была проведена ещё одна джазовая презентация.
Исследования и доработка инструмента продолжаются. Разработчики убеждены, что возможности энцефалофона можно будет существенно расширить. Наиболее перспективным направлением дальнейшего развития темы является применение мю-ритма, в связи с высокой социальной значимостью для парализованных пациентов.
Наиболее подробно особенности и результаты исследования описаны здесь .
Традиционный джинсовый абзац
До старта серийного выпуска энцефалофоны, к сожалению, не попадут в наш каталог, но между тем, там представлен широкий ассортимент других устройств для воспроизведения и создания музыки.
В посте использован фотоконтент:
www.ncbi.nlm.nih.gov
neuromusic.soc.plymouth.ac.uk
Frontiers in Human Neuroscience
Несмотря на относительную баянность (большинство публикаций в СМИ датируется июлем 2017), убежден, что тема достойна внимания и дискуссии. К сожалению, короткие новостные сообщения, кроме факта изобретения устройства, фамилий авторов и туманных описаний принципов работы, содержат мало полезной информации.
Думаю, что появление рабочего прототипа энцефалофона сравнимо по значимости с изобретением, например, Терменвокса. Но следует также отметить, что эксперименты по этой теме и попытки использования электроэнцефалографии, как интерфейса для звукоизвлечения, проводились на протяжении последних 60-ти лет.
По замыслу разработчиков, новый инструмент не только сможет изменить привычные представления о звукоизвлечении и нейроинтерфейсах, но также помочь людям с ограниченными возможностями. Под катом рассказ об истории изобретения, близких разработках, принципах работы энцефалофона, результатах исследования и перспективах развития.
Первые шаги энецефалофонии — 30-е и 40-е
Первое применение ЭЭГ в музыке датируется 1934-м годом, когда некими Адрианом и Мэтьюзом были замечены “музыкальность” преобразованного сигнала энцефалографии. Название энцефалофон впервые было использовано для устройства, разработанного нейрофизиологом E. Беверсом и физиком-математиком Р. Фуртом в 1943-м году. Изобретение ученых было предназначено для диагностики неврологических заболеваний, в частности, локализации поврежденных нейронов.
Как и современный музыкальный инструмент, энцефалофон 43-го года был способен издавать определенные звуки в зависимости от показаний электроэнцефалограммы, которые свидетельствовали о поражении участков коры, ретикулярной формации и других отделов мозга. По сообщению New York Times от 2-го марта 1943-го года, изобретение Беверса и Фурта было основано на совмещении электроэнцефалографии с технологией активного сонара. В отличие от современного устройства, первый энцефалофон не позволял произвольно извлекать звуки “усилием мысли”.
Электроэнцефалофон DIMI-T Эркки Куренниеми
Очередным прорывом, который приблизил создание интерфейса “мысленного звукоизвлечения”, стал электроэнцефалофон, созданный сотрудником кафедры теоретической физики Хельсинкского Университета Эркки Куренниемии (Erkki Kurenniemi). Главным образом Эркки известен созданием разнообразных музыкальных устройств и синтезаторов (передовых для своего времени), а также как создатель первого финского микропроцессора.
В 1970-м году талантливый ученый стал управляющим и техническим директором компании Digelius Electronics Finland, где инициировал создание ряда электромузыкальных инструментов с необычными интерфейсами. Серия смелых экспериментов получила название Dimi (от сокращения (digital music instrument). Так DIMI-O получил оптический интерфейс, связанный с движениями и распознаванием графического изображения нот. Dimi-S или Sexophone использовал в качестве модулятора электропроводность кожи. DIMI-T представлял собой устройство, управляемое электрической активностью мозга.
Электроэнцефалофон DIMI-T, также как и другие устройства такого типа, был создан на основе аппарата ЭЭГ. Эксперимент можно считать относительно удачным, так как частоты сигнала, который воспроизводил инструмент путём длительной тренировки, можно было настроить на гармоничные сочетания с нотами основной композиции. По некоторым данным, для управления инструментом Куренниеми пытался использовать бета-ритм и т.н. реакцию активации.
Другие исследования и эксперименты
В 1965 году композитор и экспериментальный музыкант Люсьер совместно с композитором Джоном Кейджем создали устройство, позволяющее управлять ударными инструментами при помощи ЭЭГ. Ряд полезных для создания современного инструмента сведений были также получены из экспериментов Дэвида Розенбума, который в 1970-х применял энцефалограф в качестве источника музыкальных и модулирующих сигналов.
Нейропсихолог и футуролог Ариэль Гартен в сотрудничестве с изобретателем Стефаном (Стивом) Манном в начале нулевых разработали нейроинтерфейс для управления музыкальными переменными под водой. Инструмент обладал оригинальным звучанием, но не давал точного звукоизвлечения.
Внушительный вклад в тему внесли Юань Х. и Он Б., опубликовав в 2014-м году актуальную по сей день работу “Мозговые интерфейсы с использованием сенсомоторных ритмов: текущее состояние и перспективы”, которое в числе прочих легло в основу современного энцефалофона.
Вклад Эдуардо Рек Миранда
Бразильский композитор и ученый Эдуардо Рек Миранда занимается созданием нейроинтерфейсов и систем биологической обратной связи. Некоторые его исследования направлены на создание устройств, позволяющих сделать электрическую активность мозга способом звукоизвлечения. Кроме того, исследователь проводит эксперименты с нейронными сетями, генерирующими музыку.
Новую “пищу” для продолжения разработок ученого дали опубликованные в 1999-м году исследования Робертса, Пенни и Резека об управлении компьютера с использованием интерфейса на основе ЭЭГ (Temporal and spatial complexity measures for electroencephalogram based brain-computer interfacing.). Важные сведения содержались в близкой по теме работе 2000-го года Пфурстшеллера, Ньюпера, Гуггера и др. (Current trends in graz brain-computer interface (BCI) research.). В этих публикациях была отмечена эффективность применения изменений альфа-ритма (PDR — ритм зрительной коры) и mu-ритма (ритм моторной коры) для реализации компьютерных интерфейсов управления через ЭЭГ.
Используя эти наработки и собственные исследования по статистическому анализу влияния субъективных факторов на результаты ЭЭГ, а также исследования в области точной регистрации изменений альфа, бета и мю-ритмов, Эдуардо удалось создать датчики, которые впоследствии легли в основу современного энцефалофона.
Энцефалофон 2017
Как я уже отмечал, наиболее успешным экспериментальным энцефалофоном стал инструмент, представленный в этом году Томасом А. Диуэлем (отделение неврологии, Шведский неврологический институт, Сиэтл, Вашингтон, США), Хуаном Пампином (Центр цифровых и экспериментальных исследований Вашингтонского университета (DXARTS), Якобом Сундстром (Музыкальная школа Вашингтонского университета) и Феликсом Дарвасом (отделение нейрохирургии, Вашингтонского университета). Результаты исследования по разработке и тестированию нового устройства биологической обратной связи были опубликованы в Frontiers in Human Neuroscience. До появления этого устройства опыты по применению нейроинтерфейсов для исполнения музыки с точным звукоизвлечением были неудачными.
Исследователи использовали нейроинтерфейс, применяющий для управления альфа (PDR)-ритмы (зрительные — затылочные доли, характерны для состояния бодрствования без физического напряжения) и мю-ритмы (моторная кора, сопровождают состояние полного покоя). Опора на мю-ритм открывает возможности для использования инструмента пациентами с такими патологиями как боковой амиотрофический склероз, тяжелые повреждения спинного мозга, травматические ампутации, различные формы параличей, другие состояния, ограничивающие естественные возможности и двигательную активность.
Технически устройство представляет собой 19-канальный энцефалограф, оснащенный электродами, размещенными на специальной шапке, и усилителем. Этот блок передает результаты ЭЭГ через USB-интерфейс в компьютер, который анализирует частоту и амплитуду сигналов, присваивая им значения от 1 до 8. Второй компьютер преобразовывает сигналы в ноты в режиме реального времени (синтезирует звуки фортепьяно).
Принцип работы системы / Thomas A. Deuel et al., Frontiers in Human Neuroscience, 2017
Интересно, что для использования инструмента почти не требуется специальной подготовки. В основном в исследовании приняли участие 15 здоровых испытуемых в возрасте от 25 до 60 лет, не имеющих опыта с другими музыкальными инструментами. Они показали очень впечатляющие результаты по управляемому точному звукоизвлечению.
В этом опыте испытуемые практически без подготовки (не считая короткую 5-минутную калибровку), в течение 5 минут старались точно извлечь 27 нот, используя интуитивные “сознательные усилия (модуляции)”. Например, предлагалось извлечь ноты “до” и “ре” третьей и четвертой октав. В случае трехкратного успешного выполнения задания программа синтезировала мажорный аккорд и выдавала следующую задачу, а в случае неверного — неприятное дисгармоничное сочетание звуков.
Так в режиме управления через PDR-ритм точность звукоизвлечения составляла 67,1%, а при использовании мю-ритма 57,1%. Такой результат значительно выше, чем генерация случайных нот, о которой свидетельствовала бы точность не более 19,03%. Исследование подготовленных людей, имеющих опыт в музыке, продемонстрировало существенное повышение точности при управлении альфа-ритмом, но при управлении мю-ритмом точность осталась на уровне неподготовленных испытуемых.
Процентная точность для управления через PDR и Mu
Ученые активно пиарят разработку через живые выступления с джазовым проектом Dr. Gyrus and The Electric Sulci Featuring the Encephalophone. Партию на эцефалофоне исполняет сам руководитель проекта Томас Диуэль. Первое выступление с опытным прототипом, эпатажно украшенным бутафорскими проводами, датируется ещё 2015-м годом (т.е. до официального релиза устройства).
В 2017-м с этим же коллективом была проведена ещё одна джазовая презентация.
Итог
Исследования и доработка инструмента продолжаются. Разработчики убеждены, что возможности энцефалофона можно будет существенно расширить. Наиболее перспективным направлением дальнейшего развития темы является применение мю-ритма, в связи с высокой социальной значимостью для парализованных пациентов.
Наиболее подробно особенности и результаты исследования описаны здесь .
Традиционный джинсовый абзац
До старта серийного выпуска энцефалофоны, к сожалению, не попадут в наш каталог, но между тем, там представлен широкий ассортимент других устройств для воспроизведения и создания музыки.
В посте использован фотоконтент:
www.ncbi.nlm.nih.gov
neuromusic.soc.plymouth.ac.uk
Frontiers in Human Neuroscience
