Вот тут давно сокрушались, что нет героя в отечестве, который бы купил какой-нибудь нейрокомпьютерный интерфейс, помучил бы его на благо сообщества и поделился с окружающими результатами мучений. Собственно есть. Я его купил и попытался использовать. Подробности с картинками под катом.
Лет 5 назад, когда я начинал свою трудовую деятельность, на моей работе по вечерам или по пятницам любили устраивать «полчасика» – погонять в контру. Так сложились исторические обстоятельства, что мне больше нравились стратегии, поэтому реакция у меня была не очень хорошая. Собственно, дальше я начал размышлять, как бы ее ускорить. Помимо тренировок я пришел к выводу, что можно попробовать ускорить рефлекторные дуги или вообще их обойти. Начал искать и нашел несколько подобных интерфейсов. Собственно, так я и немного вошел в тему.
Следует различать нейрокомпьютерные и мозгокомпьютерные интерфейсы (ну или более подробно тут). Изначально исследования велись еще 70-х годах XX-го века. Как у нас в стране, так и за рубежом (Шмидтом, Фетзом, Бейкером за рубежом и Н.П.Бехтеревой у нас в стране). Дальше буду использовать сокращение BCI (Brain-Computer Interface). Следует так же различать эти интерфейсы по принципу подключения к человеку:
По вышеприведенной классификации Emotiv Epoc является мокрым непогружным BCI с пассивными электродами.
Заказывал через PayPal. За 3 дня сделал себе карточку от Альфабанка. Положил денюжшку. Еще через 7 дней он у меня был дома, пролетев почти полмира. Спасибо компании UPS за наше счастливое детство.
Приехал милый черный чемоданчик.
Внутри оказалось
Идем по списку
Процессор: 2.4 GHz Intel Pentium 4.
Оперативная память: 1 GB
Жесткий диск: 50 MB
Дополнительно: 1 или 2 USB-разъема, в зависимости от количества используемых устройств
Операционная система: Windows XP SP2, Windows Vista, Windows 7
Число датчиков: 14 шт
Тип датчиков: пассивные, мокрые
Гироскопы: 2 шт
Батарея: 7-12 часов без подзарядки
Соединение с компьютером: беспроводная радио связь
В наборе разработчика: SDK для разработки на C++, C#
В наборе исследователя: SDK исследователя, включащее в себя специальный графический пакет для анализа и обработки данных
Внутри каждой коробочки находится по 16 сменных электродов, которые вставляются в само устройство.
Ужасно неудобно их оттуда выковыривать. Но, как сделали, так сделали. Сам электрод довольно маленький.
Состоит он из двух частей. Собственно электрода и вкладки. У электрода золотое напыление, чтобы он не окислялся от влажности и для лучшего контакта.
Красными кружками на фотографии выделены выступы, о которые я и ободрал пальцы, когда выкручивал электроды из упаковки и вкручивал в устройство. Подумываю об изготовлении какого-нибудь ключа из пластика для упрощения своей жизни. Вкладка по структуре напоминает материал, из которого в фломастерах изготавливают сердечник и перо. Он хорошо держит жидкость, но при этом она не вытекает ручьем.
По размеру оно напоминает наушники. Только дужка у них не сверху, а сзади. Там же находится выключатель. Разъемов для датчиков на самом устройстве 18 штук. Датчиков 16, а в инструкции написано, что количество каналов равно 14. Объясняется это просто. Реальных каналов, по которым идет сигнал действительно 14. Еще два канала являются опорными. При работе BCI ловит электрические сигналы не только от мозга, но и от мышц – так называемая миограмма. Эти сигналы сильнее, чем от мозга и их нужно фильтровать. Для этого считывается дополнительный сигнал оттуда, где есть сигналы от мышц, но нет сигналов от мозга – это часто точки в височной области или районе ушей. Так как с каждой стороны возможны 2 варианта расположения опорных каналов (висок и за ухом), то получаем 4 дополнительных разъема для датчиков.
Если дословно следовать инструкции, то у меня подготовка к эксплуатации выглядела примерно следующим образом:
После указанных процедур оно сказало, что контакт есть. Долгая процедура намачивания объясняется тем, что материал вкладок впитывает ну очень много жидкости. Но при этом при надевании влажность практически не ощущается. Может совсем чуть-чуть в первые секунд 10 после одевания. Голова после всех процедур была совершенно сухая. Вообще, я довольно волосатый, поэтому волновался, что придется сбривать шевелюру для более надежного контакта. Слава богу, не пришлось. Так что лысые и бритые никаких преимуществ при использовании не имеют.
Наборы софта для разных поставок различаются. Шлемофон входит во все наборы.
Для того чтобы пользоваться BCI им нужно научиться пользоваться. Для этого разработчики предлагают несколько программ и несколько подходов.
Первая вкладка Headset Setup является основной. На ней проверяется вообще наличие связи, и проводится основная калибровка (может быть, где-то слабо намочили…). Каждый пользователь имеет свой собственный профиль, поэтому одним устройством могут пользоваться несколько человек.
В контрольной панели можно сразу наблюдать бонус – как система отлавливает те или иные сигналы от мышц. Это вторая вкладка – Expressiv Suite. Можно корчить себе рожи, подмигивать и система, действительно, на экране покажет, что Вы там изобразили. Еще к ним можно привязать те или иные сообщения, текстовые или смайлики, то есть Ваши смайлики будет реальным отражением Вашего состояния.
На третьей вкладке Affective Suite можно отслеживать во времени основные состояния и увидеть преобладающее.
На четвертой вкладке Congnitiv Suite можно поэкспериментировать. У нас есть кубик и 14 основных действий с ним (по числу степеней свободы вверх-вниз-вправо-влево-вперед-назад, 6 видов вращений вокруг осей в обе стороны, так же появление и пропадание). Уровень тренировки меняется от самого простого – 1 сигнал – до самого сложного – 4 сигнала. У меня после пары недель тренировок стало получаться делать одновременно 2 сигнала из 14 произвольных на выбор. Делать хоть один сигнал можно научиться буквально за пару минут. Можно помогать себе конечностями, размахивать, пыхтеть и делать другие смешные вещи.
На последней вкладке контрольной панели можно попробовать управлять мышкой.
Вспомогательная информационная панель
На ней можно включать и выключать отдельные электроды.
И привязывать эти электроды к конкретным действиям, чтобы тренировать конкретный навык. Так же на них показывается процент успешных или не очень успешных навыков, то есть можно следить за своим прогрессом.
Аналогичным образом можно тренировать свои навыки при помощи игр в комплекте. Первым идет набор миниигр на флеше их всего три.
Самая простая – это игры джедаев. Если помните эпизод в Звездных Войнах, когда Люку надо было вытащить свой истребитель из болота при помощи силы. Собственно, это игра – почувствуй себя Люком. Концентрируемся только на одном основном движении. Собственно, это тренировка концентрации.
Далее – пинг-понг против компьютера. Тут уже два движения. Вверх-вниз. Несколько кислотного зеленого цвета.
И последняя миниигра – это тетрис. Великий и могучий. 4 действия (вверх-вниз-вправо-влево). Запомните все. Никогда в жизни не играйте в тетрис своими мозгами. Оно затягивает и получается. Система такая – играешь как в обычный тетрис, нажимая на кнопки клавиатуры, а система в фоне учится распознавать. В какой-то момент времени оно приходит к выводу, что научилось и начинает дублировать. В этот момент начинается шоу с приколами. Особенно забавно выходит, когда ты хочешь сдвинуть фигуру в сторону, сигнал поступает от BCI, затем сигнал приходит по руке до пальца, и ты посылаешь второй сигнал, в итоге оно смещается в сторону 2 раза. Лечится снятием руки с клавиатуры и нажиманиями на пустое место.
Помимо вышеперечисленных есть 3D-игрушка о приключениях начинающего телепата. Написано на движке Unity3D. Там можно силой мысли поднимать камни и скалы, сгибать деревья, чинить мосты. К сожалению, корованов для ограбления я не нашел, но думаю они где-то есть. Зато есть несколько бодреньких старичков, которые научат вас всем премудростям телепатии. Фактически, это освоение тех же самых навыков, но только в игровой форме.
Есть еще несколько интересных тулз, например, карта активности мозга, которая позволяет смотреть различные ритмы мозга и активности областей. Что-нибудь записать, ну и так далее. SDK для программистов, как SDK для программистов, принимаем сигнал, обрабатываем его, делаем что-то по результатам обработки. Есть примеры использования, техническая документация, так что тут никаких замечаний нет. Примеры написаны на C++ с использованием Qt, OpenGL, DirectX, на C# с разными примочками, на Python. Есть небольшое сообщество разработчиков. Пока сделано все под Windows, так что пользователям и программистам других операционных систем следует использовать эмуляторы.
UPD Добавил по предложению ребят видео на TED
FAQ
Видеоприложение
Вместо вступления
Лет 5 назад, когда я начинал свою трудовую деятельность, на моей работе по вечерам или по пятницам любили устраивать «полчасика» – погонять в контру. Так сложились исторические обстоятельства, что мне больше нравились стратегии, поэтому реакция у меня была не очень хорошая. Собственно, дальше я начал размышлять, как бы ее ускорить. Помимо тренировок я пришел к выводу, что можно попробовать ускорить рефлекторные дуги или вообще их обойти. Начал искать и нашел несколько подобных интерфейсов. Собственно, так я и немного вошел в тему.
Немного истории и фактов
Следует различать нейрокомпьютерные и мозгокомпьютерные интерфейсы (ну или более подробно тут). Изначально исследования велись еще 70-х годах XX-го века. Как у нас в стране, так и за рубежом (Шмидтом, Фетзом, Бейкером за рубежом и Н.П.Бехтеревой у нас в стране). Дальше буду использовать сокращение BCI (Brain-Computer Interface). Следует так же различать эти интерфейсы по принципу подключения к человеку:
- погружной – собственно вживление в мозг или сращивание с нервами;
- частично-погружной – электроды находятся на поверхности мозга или рядом с нервами;
- непогружной – электроды находятся на поверхности кожи или даже несколько удалены от нее.
- мокрые – нужно смачивать специальной жидкостью для лучшего контакта;
- сухие – смачивать не нужно.
- пассивные – просто улавливают сигнал и передают его дальше;
- активные – обратно сигнал они не передают, они просто делают его первичную обработку прямо в месте прикрепления. А сигналы обратно передают уже совершенно другие электроды.
По вышеприведенной классификации Emotiv Epoc является мокрым непогружным BCI с пассивными электродами.
Как заказывал и как доставили
Заказывал через PayPal. За 3 дня сделал себе карточку от Альфабанка. Положил денюжшку. Еще через 7 дней он у меня был дома, пролетев почти полмира. Спасибо компании UPS за наше счастливое детство.
Приехал милый черный чемоданчик.
Внутри оказалось
Идем по списку
- С бумажками, я думаю, понятно, что все инструкции, программы и прочее можно скачать с сайта производителя, поэтому обошлись без дисков и флешек. Только гарантия и список того, что прислали.
- Электроды для присоединения к устройству. О них подробнее чуть ниже. Заказал 2 комплекта электродов, так как имею склонность что-нибудь разломать ради интереса.
- Само устройство. По размеру совпадает с наушниками, только дужка между ушами не сверху, а сзади. Устройство беспроводное.
- Зарядный USB-кабель для прибора, во время работы не требуется. Заряда аккумулятора по утверждениям производителей хватает на 7 часов. Мне так ни разу разрядить полностью прибор не удалось.
- Радиомодуль – собственно вторая часть беспроводного интерфейса для подключения к компьютеру. В принципе можно было сделать и на том же самом Bluetooth. Ну как сделали, так сделали. Возможно это уменьшает помехи. Знакомые спрашивали на счет радиоизлучений. Я вначале не нашел, хотел относить другим знакомым в лабораторию, чтобы прозвонили его. Потом нашел значки сертификации CE и UL. То есть для Европы и США оно подходит. Плюс, если бы слишком сильно фонило, то устройство мешало бы само себе. Так что думаю, проблем быть не должно.
- Жидкость для глазных линз – это стерильная жидкость для смачивания электродов. Так складываются обстоятельства, что сухие BCI работают несколько хуже, чем мокрые.
Технические требования
Процессор: 2.4 GHz Intel Pentium 4.
Оперативная память: 1 GB
Жесткий диск: 50 MB
Дополнительно: 1 или 2 USB-разъема, в зависимости от количества используемых устройств
Операционная система: Windows XP SP2, Windows Vista, Windows 7
Технические характеристики
Число датчиков: 14 шт
Тип датчиков: пассивные, мокрые
Гироскопы: 2 шт
Батарея: 7-12 часов без подзарядки
Соединение с компьютером: беспроводная радио связь
Дополнительные технические характеристики
В наборе разработчика: SDK для разработки на C++, C#
В наборе исследователя: SDK исследователя, включащее в себя специальный графический пакет для анализа и обработки данных
Про электроды
Внутри каждой коробочки находится по 16 сменных электродов, которые вставляются в само устройство.
Ужасно неудобно их оттуда выковыривать. Но, как сделали, так сделали. Сам электрод довольно маленький.
Состоит он из двух частей. Собственно электрода и вкладки. У электрода золотое напыление, чтобы он не окислялся от влажности и для лучшего контакта.
Красными кружками на фотографии выделены выступы, о которые я и ободрал пальцы, когда выкручивал электроды из упаковки и вкручивал в устройство. Подумываю об изготовлении какого-нибудь ключа из пластика для упрощения своей жизни. Вкладка по структуре напоминает материал, из которого в фломастерах изготавливают сердечник и перо. Он хорошо держит жидкость, но при этом она не вытекает ручьем.
Про само устройство
По размеру оно напоминает наушники. Только дужка у них не сверху, а сзади. Там же находится выключатель. Разъемов для датчиков на самом устройстве 18 штук. Датчиков 16, а в инструкции написано, что количество каналов равно 14. Объясняется это просто. Реальных каналов, по которым идет сигнал действительно 14. Еще два канала являются опорными. При работе BCI ловит электрические сигналы не только от мозга, но и от мышц – так называемая миограмма. Эти сигналы сильнее, чем от мозга и их нужно фильтровать. Для этого считывается дополнительный сигнал оттуда, где есть сигналы от мышц, но нет сигналов от мозга – это часто точки в височной области или районе ушей. Так как с каждой стороны возможны 2 варианта расположения опорных каналов (висок и за ухом), то получаем 4 дополнительных разъема для датчиков.
Об эксплуатации
Если дословно следовать инструкции, то у меня подготовка к эксплуатации выглядела примерно следующим образом:
- Зарядил устройство. Скачал, установил софт/драйвера/SDK.
- Намочил датчики.
- Проверил, что хорошо намочил.
- Вкрутил датчики в устройство и ободрал себе пальцы.
- Проверил, не высохли ли они, если нужно намочил еще.
- Надел, включил, проверил связь, при необходимости намочил еще.
- Понял, что датчики у меня вообще сухие и то, что я делал до этого – даже не намачивание.
- Замочил датчики.
После указанных процедур оно сказало, что контакт есть. Долгая процедура намачивания объясняется тем, что материал вкладок впитывает ну очень много жидкости. Но при этом при надевании влажность практически не ощущается. Может совсем чуть-чуть в первые секунд 10 после одевания. Голова после всех процедур была совершенно сухая. Вообще, я довольно волосатый, поэтому волновался, что придется сбривать шевелюру для более надежного контакта. Слава богу, не пришлось. Так что лысые и бритые никаких преимуществ при использовании не имеют.
Про софт
Наборы софта для разных поставок различаются. Шлемофон входит во все наборы.
- В базовый набор так же входит диск с игрушками
- В набор разработчика входит SDK, который можно скачать и установить сразу после оплаты — его я себе и заказал
- В набор исследователя входит SDK исследователя и программа для слежения за сигналами на разных датчиках.
- Остальные наборы отличаются только лицензиями, и тем, кому они предоставляются – учебным заведениям, исследовательским лабораториям, кампаниям по разработке игр…
Для того чтобы пользоваться BCI им нужно научиться пользоваться. Для этого разработчики предлагают несколько программ и несколько подходов.
Контрольная панель
Первая вкладка Headset Setup является основной. На ней проверяется вообще наличие связи, и проводится основная калибровка (может быть, где-то слабо намочили…). Каждый пользователь имеет свой собственный профиль, поэтому одним устройством могут пользоваться несколько человек.
В контрольной панели можно сразу наблюдать бонус – как система отлавливает те или иные сигналы от мышц. Это вторая вкладка – Expressiv Suite. Можно корчить себе рожи, подмигивать и система, действительно, на экране покажет, что Вы там изобразили. Еще к ним можно привязать те или иные сообщения, текстовые или смайлики, то есть Ваши смайлики будет реальным отражением Вашего состояния.
На третьей вкладке Affective Suite можно отслеживать во времени основные состояния и увидеть преобладающее.
На четвертой вкладке Congnitiv Suite можно поэкспериментировать. У нас есть кубик и 14 основных действий с ним (по числу степеней свободы вверх-вниз-вправо-влево-вперед-назад, 6 видов вращений вокруг осей в обе стороны, так же появление и пропадание). Уровень тренировки меняется от самого простого – 1 сигнал – до самого сложного – 4 сигнала. У меня после пары недель тренировок стало получаться делать одновременно 2 сигнала из 14 произвольных на выбор. Делать хоть один сигнал можно научиться буквально за пару минут. Можно помогать себе конечностями, размахивать, пыхтеть и делать другие смешные вещи.
На последней вкладке контрольной панели можно попробовать управлять мышкой.
Вспомогательная информационная панель
На ней можно включать и выключать отдельные электроды.
И привязывать эти электроды к конкретным действиям, чтобы тренировать конкретный навык. Так же на них показывается процент успешных или не очень успешных навыков, то есть можно следить за своим прогрессом.
Аналогичным образом можно тренировать свои навыки при помощи игр в комплекте. Первым идет набор миниигр на флеше их всего три.
Самая простая – это игры джедаев. Если помните эпизод в Звездных Войнах, когда Люку надо было вытащить свой истребитель из болота при помощи силы. Собственно, это игра – почувствуй себя Люком. Концентрируемся только на одном основном движении. Собственно, это тренировка концентрации.
Далее – пинг-понг против компьютера. Тут уже два движения. Вверх-вниз. Несколько кислотного зеленого цвета.
И последняя миниигра – это тетрис. Великий и могучий. 4 действия (вверх-вниз-вправо-влево). Запомните все. Никогда в жизни не играйте в тетрис своими мозгами. Оно затягивает и получается. Система такая – играешь как в обычный тетрис, нажимая на кнопки клавиатуры, а система в фоне учится распознавать. В какой-то момент времени оно приходит к выводу, что научилось и начинает дублировать. В этот момент начинается шоу с приколами. Особенно забавно выходит, когда ты хочешь сдвинуть фигуру в сторону, сигнал поступает от BCI, затем сигнал приходит по руке до пальца, и ты посылаешь второй сигнал, в итоге оно смещается в сторону 2 раза. Лечится снятием руки с клавиатуры и нажиманиями на пустое место.
Помимо вышеперечисленных есть 3D-игрушка о приключениях начинающего телепата. Написано на движке Unity3D. Там можно силой мысли поднимать камни и скалы, сгибать деревья, чинить мосты. К сожалению, корованов для ограбления я не нашел, но думаю они где-то есть. Зато есть несколько бодреньких старичков, которые научат вас всем премудростям телепатии. Фактически, это освоение тех же самых навыков, но только в игровой форме.
Прочее
Есть еще несколько интересных тулз, например, карта активности мозга, которая позволяет смотреть различные ритмы мозга и активности областей. Что-нибудь записать, ну и так далее. SDK для программистов, как SDK для программистов, принимаем сигнал, обрабатываем его, делаем что-то по результатам обработки. Есть примеры использования, техническая документация, так что тут никаких замечаний нет. Примеры написаны на C++ с использованием Qt, OpenGL, DirectX, на C# с разными примочками, на Python. Есть небольшое сообщество разработчиков. Пока сделано все под Windows, так что пользователям и программистам других операционных систем следует использовать эмуляторы.
Аналоги
- Neural Impulse Actuator OCZ – девайс с тремя электродами ромбовидной формы, которые прикрепляются ко лбу на ленте. Устройство проводное и имеет специальную коробочку для подключения.
- NeuroSky – девайс с одним электродом, напоминающим микрофон, приставленный ко лбу. Проводной.
- Mindball – повязка на лоб с, как я понял, тремя электродами. Скорее это даже не компьютерный девайс, а независимый игровой. Поставляется вместе с чемоданом, в котором можно погонять шары наперегонки, что-то типа мозгового футбола. Проводной.
- Intendix – устройство для печати. Представляет собой шапочку и ноутбук, а так же специальную программу, при помощи которой можно набирать текст. Мокрый. Проводной. Его как раз сейчас показывают на CeBIT'е
- Нейробелт – 7 электродов, беспроводной, с активными электродами или Неокортекс – до 160 электродов, проводной. Используются для исследований.
- Вообще говоря, медицинские электроэнцефалографы различных производителей и их вариации.
- И еще много-много подобных им вещей.
Личные ощущения или вместо послесловия
- Вначале хотел сделать видео и фото себя любимого в девайсе в процессе изучения и использования, даже начал делать. Выкладывать не стал по одной простой причине, везде получился с каменным выражением лица на протяжении всего процесса.
- Немножко жмет в висках на мышцы, но, думаю, спустя некоторое время разойдется. И после активного использования некоторое время болит голова. Несильно, но болит. Думаю, это как с мышцами после тренировки.
- Нужно тренироваться. Есть такая штука как биологическая обратная связь. За пару недель, научиться многому нельзя. Точно так же как в свое время мы учились пользоваться компьютером, или водить машину, или кататься на велосипеде, так и тут, необходимо время для приобретения навыков.
- Своей цели относительно более или менее быстрой реакции в контре я достиг без девайса, так как продаваться он начал несколько позже, чем я рассчитывал. При помощи девайса стрелять тоже можно, причем довольно быстро, так как для стрельбы учитывается только один сигнал мозга, а этому обучиться можно за несколько минут. На счет того, могут ли нынешние устройства больше, я пока затрудняюсь сказать, может быть, еще не натренировался достаточно. Реакция на наличие/отсутствие сигнала почти стопроцентная, а вот комбинации сигналов или определение какого-то сигнала из набора пока оставляют желать лучшего.
- В большинстве случаев BCI – это резиновые шапочки или их вариации, которые используются в медицине, со специально написанным под это дело софтом. Некоторые продают всего пару электродов, другие модифицируют шапочку, чтобы она была покрасивей. А остальное – это дело техники и маркетинга, а так же программистов, которые будут писать под них ПО. Собственно, на мой взгляд, Emotiv Epoc и является вот такой стилизованной шапочкой. А, допустим, тот же самый Intendix, о котором упоминалось выше, является шапочкой, но с оригинальным софтом и нагрузкой в виде ноутбука.
- Некоторые из BCI очень хорошо могут использоваться в качестве HID-устройств и их аналогов.
- Мне понравилось.
- Будущее ну совсем уже почти здесь…
UPD Добавил по предложению ребят видео на TED
FAQ
Видеоприложение
