Я проводила большое количество экспериментов, и под каждую коррекцию идеи перезаписывала датасет.
Подробный журнал экспериментов не вела.
В последнем сохранившемся в ноутбуке эксперименте было
480 записей команды,
160 записей нейтрального состояния,
320 записей других случайных понятий.
Каждая запись по 3 секунды, из них автоматически вырезался оптимальный для наилучшего качества алгоритма кусок.
Собирались они подходами по 30 интервалов, подопытный смотрел на экран, где каждые три секунды (интервал) появлялось новое слово. Слово надо было мысленно произнести и одновременно ‘представить’ его суть.
Последний датасет был снят только с меня и давал качество ~0.75 accuracy на тестовой выборке.
Сколько данных надо на 95% и какую метрику качества вы имеете в виду — я не знаю, но предположу, что данных надо гораздо больше, тк для голосовых помощников скармливают миллионы часов, а у меня в экспериментах за раз в лучшем случае было по паре часов суммарно.
Что касается Emotiv - у меня ни разу не получилось заставить Insight поймать сигнал одновременно всеми электродами. Так что особенно комментировать не могу. Но в статье я упоминала девушку, которая проходит Elden Rings с Epoc, можете посмотреть ее стримы.
К ‘стрелять мысленной командой быстрее, чем нажать рукой’ отношусь скептически, если речь про ЭЭГ девайс. Видела статьи про перчатки, которые считывают миограмму — вот с ними быстрее, чем нажать.
Это так и не уехало далее прототипов в Jupyter ноутбучках по ряду причин, но я думаю восстановить нечто подобное в своих текущих проектах. Если вкратце, то я
2) выбрала эмоционально яркие и далеко расположенные друг от друга на карте понятия, -- например, моими (как и алгоритма) фаворитами стали "бей" и "мама",
3) поменяла электроды на своей configurable шапке, чтобы находились над нужными зонами по карте
4) насобирала датасетов, где я и парочка моих друзей смотрим по очереди на разные слова и мысленно вызываем их образ (слова, щедро разбавленные нужными "командами", чтобы иметь в датасете команду, реакцию на нейтральное понятие и idle промежутки)
5) "натренировала" извращенный алгоритм Витерби, который по сути прикладывал секундные кусочки из онлайн потока данных ЭЭГ по разным каналам и ритмам к образцам из датасета
6) после переехала на kNN (раскладывая кусочки данных на фичи), так как он при той же скорости давал результат чуть получше, особенно после того, как насобирала еще данных
7) развлекалась -- на видео распознается только одна команда
Когда писала статью, Гермес был 300 т.р., вот это инфляция :) Насколько понимаю, устройство в виде технологии, прототипа и первой партии есть, просто они пока изучают, кому и как его можно продавать. С такими ценами это 99% будет B2B, но может впоследствии им удастся оптимизировать издержки.
Доставку (стоимость и время ожидания) сперва добавила в таблицу, но потом убрала, потому что на каждом сайте устройства она считается индивидуально. В некоторые страны устройства не доставляются напрямую (например, я внезапно не смогла заказать Neurosity Crown в Нидерланды, хоть и оказалось, что это было к лучшему), а стоимость перевозки через посредников еще более не предсказуема.
За наводку на Ali спасибо, хоть лично я и предпочитаю заказывать такие штуки напрямую у производителей, кому-то может быть полезно.
Из тех, что попали в таблицу -- никакая. С нюансом: из коробки. Если писать к этому свой софт, то достичь такого функционала с некоторыми из них можно, в 2021 я на коленке собрала датасеты и модельку, которая как раз выдавала примерно такие результаты: одна команда ок, две одновременно терпимо, четыре между собой путались. Команды были на основе "мысленных образов", не "воображаемая речь", а именно абстрактные понятия. Работало это на Neuroplay-8Cap, то есть на стандартной 8-электродной шапке.
Но, российский Гермес обещает распознавать аж 30 ментальных движений -- очень любопытно, сколько из них реально распознаются одновременно.
Что касается отсутствия устройства из-за потенциального вреда, то не очень в это верю, атомную бомбу, как и тикток, все-таки изобрели и продолжают совершенствовать. Тем более, что аналог БАК на рынке существует -- это большинство устройств с форм-фактором наушников из списка. Например, sens.ai. Из отечественных есть Neiry, у которых готовятся к выходу наушники с нейростимуляцией, что уже даже не просто подобранная музычка.
С этими штуками управлять мышкой вряд ли получится, на мой взгляд, для такого лучше использовать eye-tracking: любая веб-камера + предобученная моделька из интернета должны справиться.
Проблема в том, что нейродевайсы позволяют либо использовать весьма ограниченное число команд, либо продолжительные состояния. И тем и другим сложно закодировать сразу обе оси (х и у) позиции мышки на экране, т.к. придется использовать сразу команду + состояние одновременно, или еще как-то извращаться. При этом, ай-трекинг тут напрашивается весьма естественно.
Для меня OpenBCI это ту мач, поэтому и искала специально более простые в использовании устройства со сборкой из коробки :) Но если вы уже достаточно преисполнились в теме и вам не влом поработать руками (и с девайсом, и с кодом), то OpenBCI конечно победит по функциональности и надежности любую гарнитуру из топа.
Проект классный, понравилось, как мило интерпретируете ритмы!
Я проводила большое количество экспериментов, и под каждую коррекцию идеи перезаписывала датасет.
Подробный журнал экспериментов не вела.
В последнем сохранившемся в ноутбуке эксперименте было
480 записей команды,
160 записей нейтрального состояния,
320 записей других случайных понятий.
Каждая запись по 3 секунды, из них автоматически вырезался оптимальный для наилучшего качества алгоритма кусок.
Собирались они подходами по 30 интервалов, подопытный смотрел на экран, где каждые три секунды (интервал) появлялось новое слово. Слово надо было мысленно произнести и одновременно ‘представить’ его суть.
Последний датасет был снят только с меня и давал качество ~0.75 accuracy на тестовой выборке.
Сколько данных надо на 95% и какую метрику качества вы имеете в виду — я не знаю, но предположу, что данных надо гораздо больше, тк для голосовых помощников скармливают миллионы часов, а у меня в экспериментах за раз в лучшем случае было по паре часов суммарно.
Что касается Emotiv - у меня ни разу не получилось заставить Insight поймать сигнал одновременно всеми электродами. Так что особенно комментировать не могу. Но в статье я упоминала девушку, которая проходит Elden Rings с Epoc, можете посмотреть ее стримы.
К ‘стрелять мысленной командой быстрее, чем нажать рукой’ отношусь скептически, если речь про ЭЭГ девайс. Видела статьи про перчатки, которые считывают миограмму — вот с ними быстрее, чем нажать.
Это так и не уехало далее прототипов в Jupyter ноутбучках по ряду причин, но я думаю восстановить нечто подобное в своих текущих проектах. Если вкратце, то я
1) вдохновилась семантической картой,
2) выбрала эмоционально яркие и далеко расположенные друг от друга на карте понятия, -- например, моими (как и алгоритма) фаворитами стали "бей" и "мама",
3) поменяла электроды на своей configurable шапке, чтобы находились над нужными зонами по карте
4) насобирала датасетов, где я и парочка моих друзей смотрим по очереди на разные слова и мысленно вызываем их образ (слова, щедро разбавленные нужными "командами", чтобы иметь в датасете команду, реакцию на нейтральное понятие и idle промежутки)
5) "натренировала" извращенный алгоритм Витерби, который по сути прикладывал секундные кусочки из онлайн потока данных ЭЭГ по разным каналам и ритмам к образцам из датасета
6) после переехала на kNN (раскладывая кусочки данных на фичи), так как он при той же скорости давал результат чуть получше, особенно после того, как насобирала еще данных
7) развлекалась -- на видео распознается только одна команда
Когда писала статью, Гермес был 300 т.р., вот это инфляция :) Насколько понимаю, устройство в виде технологии, прототипа и первой партии есть, просто они пока изучают, кому и как его можно продавать. С такими ценами это 99% будет B2B, но может впоследствии им удастся оптимизировать издержки.
Спасибо за замечание!
Доставку (стоимость и время ожидания) сперва добавила в таблицу, но потом убрала, потому что на каждом сайте устройства она считается индивидуально. В некоторые страны устройства не доставляются напрямую (например, я внезапно не смогла заказать Neurosity Crown в Нидерланды, хоть и оказалось, что это было к лучшему), а стоимость перевозки через посредников еще более не предсказуема.
За наводку на Ali спасибо, хоть лично я и предпочитаю заказывать такие штуки напрямую у производителей, кому-то может быть полезно.
Из тех, что попали в таблицу -- никакая. С нюансом: из коробки. Если писать к этому свой софт, то достичь такого функционала с некоторыми из них можно, в 2021 я на коленке собрала датасеты и модельку, которая как раз выдавала примерно такие результаты: одна команда ок, две одновременно терпимо, четыре между собой путались. Команды были на основе "мысленных образов", не "воображаемая речь", а именно абстрактные понятия. Работало это на Neuroplay-8Cap, то есть на стандартной 8-электродной шапке.
Но, российский Гермес обещает распознавать аж 30 ментальных движений -- очень любопытно, сколько из них реально распознаются одновременно.
Что касается отсутствия устройства из-за потенциального вреда, то не очень в это верю, атомную бомбу, как и тикток, все-таки изобрели и продолжают совершенствовать. Тем более, что аналог БАК на рынке существует -- это большинство устройств с форм-фактором наушников из списка. Например, sens.ai. Из отечественных есть Neiry, у которых готовятся к выходу наушники с нейростимуляцией, что уже даже не просто подобранная музычка.
С этими штуками управлять мышкой вряд ли получится, на мой взгляд, для такого лучше использовать eye-tracking: любая веб-камера + предобученная моделька из интернета должны справиться.
Проблема в том, что нейродевайсы позволяют либо использовать весьма ограниченное число команд, либо продолжительные состояния. И тем и другим сложно закодировать сразу обе оси (х и у) позиции мышки на экране, т.к. придется использовать сразу команду + состояние одновременно, или еще как-то извращаться. При этом, ай-трекинг тут напрашивается весьма естественно.
Большое спасибо, что поделились опытом!
Для меня OpenBCI это ту мач, поэтому и искала специально более простые в использовании устройства со сборкой из коробки :) Но если вы уже достаточно преисполнились в теме и вам не влом поработать руками (и с девайсом, и с кодом), то OpenBCI конечно победит по функциональности и надежности любую гарнитуру из топа.
Проект классный, понравилось, как мило интерпретируете ритмы!
Спасибочки)
Прикольно, скоро вместо рисования дизайнеры похоже будут изучать английский и программирование.
А можешь пожалуйста сгенерить для меня
cat with butterfly wings flying above the city pixel art