Нейроинтерфейс — личный опыт использования в практических задачах

    Постараюсь рассказать про использование нейроинтерфейса для получения дополнительных данных в процессе обучения персонала (контролем необходимых психофизических возможностей персонала).

    На сегодняшний день данная «тема» становится все более популярной. Имеется масса готовых устройств для нейроинтерфейса, в т.ч. уже «оптимизированные» под использование совместно с VR, например…

    image

    На самом деле нейроинтерфейс — это старая добрая электроэнцефалография (ЭЭГ).

    Оборудование можно изготовить самостоятельно, в интернете достаточно много схем, но это слабо подходит для коммерческих задач. Мы, например, для создания нейроинтерфейса используем аппаратное и программное обеспечение компании OpenBCI (США).

    Предупреждение — очень много проблем на таможне, т.к. по мнению «наших» — это медицинское оборудование! Это конечно не так, но доказывать бесполезно.

    image

    Вот схема как это работает…

    image

    Обучение и контроль персонала проходит в такой «шапке» поверх шлема HTC Vive.

    При надевании шлема с нейфроинтерфейсом — программа (при помощи нейронной сети) анализирует колебания, выделяемые в общей электрической активности головного мозга — ритмы головного мозга. Это принимается за «0», т.е. спокойное состояние человека.

    Обучаемый персонал выполняет задание на имитационном тренажере (например – запуск центробежного насоса). Программа по определенному алгоритму формирует нештатные и/или аварийные ситуации (например – начало кавитации). При помощи анализа ритмов мозга и выполняемых (или невыполняемых) действий тренажер фиксирует текущие психофизические параметры обучаемого во время выполнения процедуры обнаружения опасной ситуации, диагностики ситуации, формирования решения, выполняемых действиях.

    image

    В результате формируется диаграмма действий персонала (FTA) с учетом психофизического состояния персонала на момент совершения им каких-либо действий. Результатом работы тренажера являются: вероятность возникновения негативных событий (аварии, инциденты) по вине персонала, эффективность выполнения поставленной задачи, вероятность потерь (деньги, жертвы и т.д.), рекомендации по устранению выявленных проблем (не только в знаниях умениях и навыках, но и в психофизическом плане)

    image

    На видео можно посмотреть что происходит... youtu.be/fhjTsFUcyew

    В это время нейронная сеть выдает дополнительные данные в процессе обучения и оценки знаний умений навыков (более 30 показателей):

    • Уровень стресса, влияние стресса на точность и время принятия решения и выполняемых действий.
    • Способность длительное время сохранять устойчивое внимание, несмотря на усталость и посторонние раздражители.
    • Умение распределять внимание при выполнении нескольких действий, функций, задач.
    • Способность вести наблюдения за большим количеством объектов одновременно.
    • Способность к быстродействию в условиях дефицита времени.
    • Эмоциональная устойчивость при принятии ответственных решений.
    • Быстрая адаптация к новым условиям.
    • Способность к длительной умственной работе без ухудшения качества и снижения темпа.

    image
    — штатное ПО OpenBCI

    Без использования нейроинтерфейса получение этих данных в процессе обучения невозможно. Даже присутствие штатного психолога не позволит получить все необходимые данные.

    Фактически эта информация помогает выявлять «потенциально опасный» персонал, т.е. персонал, работа которого несет большой риск. Эта информация, вместе с информацией, которую выдает непосредственно имитатор, на котором обучается персонал, позволят получить полную картину относительно рисков, которые несет каждый работник.

    image
    image

    Если данная статья вызовет интерес — буду продолжать публиковать это направление.
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 41

      +1
      А можно ли такой нейроинтерфейс, хотя бы в упрощенном формате, собрать самому?
        +1
          0
            0
            1 канал без проблем. Я с этого и начинал. Но 8 каналов проще купить. Кстати у OpenBCI т.к. это открытый проект — открытые схемы.
              0
              Спасибо огромное, походу я нашел чем займузь в ближайшие n месяцев)
        +2
        Не понимаю, вы собрали обучающую выборку следующим образом — запускали испытуемых в различные ситуации и записывали его показатели, а исход симуляции (решил проблему или нет) это результат работы нейронки, т.е. получается нейронная сеть по психоэмоциональному состоянию пытается предсказать исход?

        И у вас это получилось? жуть какая. Какой процент угадывания сетью?
          +1
          Не так, но у Вас мысль интересная). На входе сети куча графиков по каналам. Задача сети — по получаемым графикам (16 каналов) — выявить уровень стресса, признаки расстройства, «сосредоточенность» и т.д. для конкретного сотрудника, который сейчас обучается на симуляторе (сначала в штатном режиме, затем в аварийном и т.д.).
            +1
            А дальше уже отдел кадров (штатные психологи) смотрит, кто стрессо-не-устойчивый, у кого проблемы с памятью, концентрацией и т.д.

            Результатом работы тренажера являются: вероятность возникновения негативных событий (аварии, инциденты) по вине персонала, эффективность выполнения поставленной задачи, вероятность потерь (деньги, жертвы и т.д.), рекомендации по устранению выявленных проблем (не только в знаниях умениях и навыках, но и в психофизическом плане)
              +3
              Как вы собрали обучающую выборку для определения?
              уровень стресса, признаки расстройства, «сосредоточенность» и т.д.
                0
                Определял характерные зависимости между ритмами (альфа, бета… т.д.) в различных точках (каналах). Затем накладываю обработку, т.е. вычисляю разницу между спокойным и стрессовым например состоянием. Эту разницу и анализирует нейронная сеть. Если очень коротко.
                  +2
                  Как собирали данные о спокойном и стрессовом состоянии? Недостаточно брать значения от балды или посмотреть только на свои.

                  Именно это определит качество результата, а то получается вы запилите систему которая будет карать и наказывать людей (например увольнять/переводить на менее оплачиваемую работу как неподходящего) еще до того как они совершат или нет ошибку, потому что ваша система использовала неадекватные пороговые значения!
                    0
                    5 минут после надевания всего этого оборудования. Усредняю все значения в течении 5 минут. Это и есть «спокойное» состояние, пользователь ничего не делает. Через 5 минут начинается обучение. Стрессовое состояние вводится уже по ходу работы имитатора (создаются аварийные ситуации в тренажере).
                      +2

                      Как по этим графикам определяется, где стресс, где ошибки восприятия, памяти, мышления прочие, перечисленные в статье? С помощью симулятора удается определить, какую именно ошибку допустил человек, и таком образом размечаются данные для обучения?

                        0

                        16 каналов, каждый канал 8 ритмов. Это входные данные для НС.

                        +5
                        Интересное допущение что у испытуемого в начале записи нет стресса, да и с чего бы ему быть, ведь его никак не могут выгнать по результатам а ЭЭГ он делает каждый день.

                        По существу — запишите 40 минут — час смотрения кино и посмотрите как ваша метрика будет плавать — мокрые электроды со временем обычно снижают импеданс, сухие наоборот повышают, но в обоих случаях это ведёт к перераспределению спектрального диапазона.
                          0

                          Есть такая проблема. При длительной работе да, есть изменения как на мокрых так и на сухих. Но не критичная.

                            0

                            По стрессу очень понравился вопрос. Когда мы это все тестировали реально высокий стресс в процессе тренинга намного выше начального. Это не проблема.

            +2
            А каким образом производилась верификация всего этого? Как можно быть уверенным, что эти показатели соответствуют чему то реальному?
              0
              Корреляция между «уровнем стресса» и «неуверенности» по времени (с нейроинтерфейса) и количеством ошибок по времени.

              Она обычно всегда четко прослеживается. Получается что нейроинтерфейс «сигнализирует» о начале стресса и неуверенности и тренажер также сообщает что начались ошибки (открыл не тот кран, открыл с опозданием и т.д.).
                0
                Затем это все помещается на графики с выделением особых пиков и передается уже далее психологам и далее принимается решение.
                Если эта технология и ошибается, психолог это отметит и с персоналом ничего страшного не будет)
              0

              Точь-в-точь про вас статья: habr.com/ru/company/recognitor/blog/446038


              И более предметная от того же автора про ML и нейроинтерфейсы: habr.com/ru/post/274665

                0
                Первая статья конечно интересная), но это не по моей части.

                По моей части максимально эффективное обучение и контроль персонала всеми возможными законными способами. Более предметная 2я статья она не про обучение персонала, поэтому может и «более», но предмет другой.
                  0

                  Да ладно? Выводы, сделанные вашей безымянной нейросетью по зашумленному донельзя сигналу при полном отсутствии квалификации в ML + попытка впарить это клиентам — это именно то, про что вы рассказываете в статье.

                    –1
                    1. Сделанные вашей безымянной нейросетью
                    2. по зашумленному донельзя сигналу
                    3. при полном отсутствии квалификации в ML + попытка впарить это клиентам

                    Альберт, я кандидат технических наук и занимаюсь этим направлением уже лет 20+.

                    Чтобы делать такие выводы нужно иметь хотя-бы аргументы. Они у Вас есть? Если нет, я бы Вас попросил писать «мои предположения, что возможно ....»

                      +1

                      А вы чем именно занимаетесь 20+ лет — ML, который в ~2012 взлетел, или нейроинтерфейсами, которые еще позже на рынок вышли?

                        –1
                        Вы вообще о чем?
                        Нейронные сети появились к Вашему сведению еще в 1943 году)), про них я читал еще в детстве))), сидя за ZX Spectrum 48 (это было сильно до взлета ML). ЭЭГ посмотрите с каких годов (1875 ) известно)))

                        А реально я профессионально занимаюсь созданием тренажерных комплексов для персонала опасных производств. Поскольку имитаторы развиваются в контексте разнонаправленных научных векторов — компьютерная графика, инженерная психология, эргономика, когнитивная наука, информатика и т. д. Естественно в эту деятельность в обязательном порядке входит изучение физиологических и психологических характеристик человека, обобщенных независимых характеристик, психограммы личности и профессии.
                      +1
                      Вообще на Хабре есть диалоги. Если у Вас есть вопроса, можете их задать там. А вот уже потом писать Ваши мнения сюда. По-моему так будет более правильно.
                      +2
                      А это точно законно, принимать кадровые решения на основе несертифицированной технологии? За дискриминацию сойдёт?
                        0
                        Затем это все помещается на графики с выделением особых пиков и передается уже далее психологам и далее принимается решение.

                        Если эта технология и ошибается, психолог это отметит и с персоналом ничего страшного не будет)
                          0
                          На опасных производствах и крупных компаниях всегда есть штатные психологи, дак вот это для них сигнал…
                    0
                    Вопрос узкоспециальный, но вдруг кто знает: как электроды для нейроинтерфеса (или ЭЭГ, разница не принципиальна) сделать одновременно ложащимися в нужные точки, удобными и не очень дорогими? Когда мне надо работать с сеткой для ЭЭГ, использую подпружиненные электроды, смазанные маслом, на кожу укладываю аккуратно, расчёской. Никто не встречал сетку, которую можно просто натянуть как шапку?
                      0
                      Сетки из резинового жгута встречал — фигня, всё время сползают, нужно с метром их постоянно обмерять. Потом испытуемый почешется и можно выставлять заново, да и кабель-менеджмент у них такой себе.
                      Самое удобное как показывает моя практика — тканевые шапки с отверстиями, в которые крепятся электроды. Вполне сносные у Зеленоградцев, они немного тянутся, их немецкие коллеги делают шапки которые не тянутся, тоже неплохие. В идеале — иметь обе т.к. головы бывают разные (а ещё у обоих шапок как минимум 3 размера). На практике — обычно выбираешь одну систему и фигачишь с ней всех т.к. электроды лень переставлять если их больше десятка.
                        0
                        Кожа головы уж очень от электродов устаёт, даже если пятно контакта скруглённое или на присоске. Т.е. списать диагностическую ЭЭГ не проблема, но ходить час — уже геморрой.
                        Чтобы шапка не сползала, если в ней есть отверстия кроме как под элетроды, выпустить в эти отверстия пряди волос и прихватить у шапки невидимкой, тогда лучше держится.
                      +2
                      Как проводилось экранирование? Подобные consumer-level девайсы сильно шумятся любым электромагнитным шумом. Как вы понимаете, что определенный пик на графике это не мобильный телефон или тренеровочный аппарат?

                      Правильно ли я понял, что вы взяли набор показателей, и сделали предположение о их значении. Хорошо бы было посмотреть список литературы. Wiring у каждого мозга, вобще говоря, несколько индивидуален. Тот же стресс для двух разных людей будет отражаться на разных частотах совершенно по-разному, не понимаю, как у вашем случае работает калибровка на состоянии покоя. Как вы сравнивали различия в показателях между субъектами (например, вводя только в стресс)? По хорошему, для калибровки вам нужно для каждого субъекта строить модель, вводя поочередно в состояния только стресса, только только внимания и т. д. и потом уже выводить какие-то нелинейные коэффициенты.

                      Каковы полученные погрешности?

                      Резюмирую: как вы проверяли, что полученные показатели хоть что-то отражают?

                        0
                        Я понял что проще продолжение статьи написать, столько вопросов. Ок. Сделаю в длижайшее время.

                        Про полученные результаты — очень просто:
                        Корреляция между «уровнем стресса» и «неуверенности» по времени (с нейроинтерфейса) и количеством ошибок по времени.

                        Она обычно всегда четко прослеживается. Получается что нейроинтерфейс «сигнализирует» о начале стресса и неуверенности и тренажер также сообщает что начались ошибки (открыл не тот кран, открыл с опозданием и т.д.).
                          0
                          Про шум и т.д.

                          Сейчас OpenBCI использует чип ADS1299 — Low-Noise, 4-, 6-, 8-Channel, 24-Bit, Analog-to-Digital Converter for EEG and Biopotential Measurements

                          Вы посмотрите сначала его характеристики www.ti.com/lit/gpn/ads1299
                          На сегодня это один из лучших чипов которые можно пожелать. Какие чипы стоят в «нешумящих» EEG? Давайте сравнивать объективно.

                            +1
                            В целом, всё дешевле 3к$ (то есть только устройства, используемые в лабораториях). Однако заране оговорюсь, что я не специалист в области и могу ошибаться.
                            Если пробежаться по литературе:
                            A feasibility study of a complete low-cost consumer-grade brain-computer interface system, где рассматривается, в частности, тот же самый ADS1299:
                            In our experiments, data were recorded in a non-shielded office. Before signal recording, the electrode impedance was checked to be below 5 KΩ. During acquisition a digital bandpass filter (implemented in OpenViBE) was applied. Despite all these cautions regarding signal quality acquisition, in some situations the electromagnetic artifacts were high enough to wrap the ongoing EEG signal.

                            То есть в неэкранированном помещении электромагнитные помехи могли полностью перекрывать считываемый сигнал.

                            Если для Motor imagery точность определения приемлима (до 80%), в определении ментальных состояний в девайсах данного ценового диапазона точность хуже (около 60%): например Consumer-grade EEG devices: are they usable for control tasks?
                            Достаточна ли подобная точность для какого-то анализа? На мой взгляд, нет.
                              +1
                              Ок, я очень благодарен за информацию. Нужно это обязательно учитывать.
                          0
                          А шлем не фонит на ЭЭГ, или используется экранирование?
                            0
                            Прочитайте выше в комментариях, это обсуждалось.

                          Only users with full accounts can post comments. Log in, please.