Интерфейсы «мозг — компьютер» в образовании



В области образования в настоящее время специалистами активно исследуется и широко обсуждается вопрос о способах оптимальной поддержки обучающихся во время процесса обучения. Многогранность проблемы эффективного персонализированного обучения вместе с глубиной вопросов о работе познания обуславливает текущие позиции образовательных институтов и положение образовательных систем (весьма плачевное).

Каким образом можно обеспечить эффективную поддержку обучающихся?


Первое, что приходит на ум и кажется более-менее очевидным для участвующих в обсуждении (а также наблюдающих), — результат обучения наиболее существенный в том случае, если программа обучения и контент направлены на специфические нужды обучающегося. Просто, но проблема обучения «не тому» оказывается актуальной во все времена. Интересно, кстати, в скольких местах конкретно конкретно вам, читающему(ей) сейчас этот пост уже приходилось забывать то, чему учили в школе / предыдущем месте, и переучиваться.

Второе — для наиболее оптимальной поддержки попыток обучающегося к познанию крайне важна подходящая сложность контента: не слишком просто, но и не чересчур сложно. Так, чтобы соблюдался баланс между вовлеченностью и усталостью, сохраняющий мотивацию к обучению. Выражаясь более научно: для успешного обучения важно поддерживать когнитивную нагрузку (cognitive load) обучающегося в рамках оптимального для конкретного ученика интервала.

Как достичь такой персонализации?


Традиционным способом оптимизировать когнитивную нагрузку является адаптация сложности обучающего контента к индивидуальным компетенциям обучающегося.


Рис. 1. Компьютерная программа-ассистент, геймифицирующая обучение и адаптирующая образовательный контент под ученика.

При этом для внедрения адаптивности и специализированной реализации такой поддержки обучения лучше всего подходит использование цифровых ассистентов: компьютеров, планшетов, смартфонов. Компьютерные информационные среды могут быть довольно легко расширены алгоритмами, изменяющими сложность представляемого материала в зависимости от поведенческих реакций и ответов ученика. Такая «адаптивность» способна предложить несложную персонализацию обучающего окружения к нуждам пользователя, которая является ключом к более эффективному обучению.

Как работает адаптивность образовательных сервисов сейчас?


На данный момент поддерживаемые с помощью компьютерных программ обучающие окружения подстраиваются под конкретного пользователя на основании поведенческих реакций и прошлых результатов — например, основываясь на количестве правильных ответов, соотношении между правильными и неправильными ответами, треке прогресса, времени, затрачиваемом на задание, или других подобных метриках.


Рис. 2. Принципиальное устройство адаптивных систем обучения, основанных на моделировании поведения ученика, представлениях об области знания и адаптационной моделью, связывающей их. Подробнее об этом — в источнике.

Если задуматься, становится понятным, что подобные «поведенческие» параметры в основе персонализации — это в большей степени «непрямые» измерения, поэтому и точность, обеспечиваемая данным подходом, зачастую оказывается крайне невысокой.

Так, например, большое количество ошибок при прохождении тестирования, допускаемое учеником подряд, запросто может быть вызвано не самим тестом, его сложностью, но неспецифическими процессами, такими как потеря концентрации, вовлеченности, психофизиологическим состоянием или эмоциональными реакциями во время выполнения заданий.

Может ли новая технология прийти на помощь?


Спойлер
Само собой. Про это, в общем, и пост.

В обучение вовлечен ряд нейрокогнитивных процессов, таких как, например, память, восприятие, внимание и др., которые лежат в основе познания и, по сути, отвечают за результат образовательной деятельности. Поэтому прямой доступ к информации об этих процессах (например, их мониторинг), а также возможность управления ими способны дать новые инструменты в персонализированном обучении и вывести образовательные практики на принципиально новый уровень.

Информация о когнитивных процессах спрятана, конечно, в активности головного мозга. Довольно глубоко и завуалированно, однако все же может быть найдена и извлечена из записанных нейрофизиологических показателей.


Рис. 3. Записанная электрическая активность головного мозга с датчиков, расположенных на разных участках головы. Где-то здесь информация о протекающих когнитивных процессах.

Как добраться до спрятанной в активности мозга информации и когнитивных процессах?


С появлением и развитием интерфейсов «мозг — компьютер» — устройств, напрямую связывающих головной мозг человека и компьютер (а значит — мозг и любое устройство интернета вещей), позволяющих транслировать сигналы мозга в контрольные сигналы физических или информационных устройств, — а также с развитием методов анализа сложных данных проявляется новая технология, которая дает возможность извлекать и использовать информацию о происходящих индивидуальных нейрокогнитивных процессах в обучении и построении обучающих окружений.


Рис. 4. Модель интерфейса «мозг — компьютер», которым мало кто согласится пользоваться (ввиду его инвазивности: электрод вводится прямо в ткань мозга). Подробнее — в источнике.

Доступ к мозговой активности может обеспечиваться разными способами. Среди прочих электроэнцефалография (ЭЭГ) — наиболее широко распространенный метод измерения активности головного мозга. Сигналы считываются с помощью электродов, расположенных в отдельных разных частях на поверхности головы (неинвазивно, не как на рисунке выше), усиливаются и передаются на компьютер. На рисунке ниже приведен пример системы, которая позволяет записывать слабые электрические сигналы, идущие от головного мозга с поверхности головы.


Рис. 5. Лабораторное устройство считывания биоэлектрических сигналов мозга (cлева) и его нелабораторный «аналог», разработанный одной молодой российской компанией, совмещенный с VR-шлемом (справа). Розовым на картинке подсвечены электроды.

Многие из вас наверняка видели подобные экстравагантно выглядящие шапочки с массой проводов, идущих от разных мест и подключаемых к коробке с энцефалографом. Однако не все знают, что в настоящее время активно развивается направление, связанное с переходом от таких девайсов к user-friendly консьюмерским эверидэй-интерфейсам, и многие зарубежные, а также и российские компании занимаются разработкой удобных для использования широкой аудиторией устройств для измерения активности головного мозга.

Вернемся к сигналам мозга. Насколько они сильны? Что и как с ними можно делать?


Сырые сигналы с сенсоров шумны, сложны, нестационарны и имеют большую размерность. Поэтому они проходят процесс первичной обработки — препроцессинга, включающего фильтрацию, после чего становятся пригодными для экстрагирования отдельных компонентов, которые могут в дальнейшем использоваться в качестве контрольных сигналов. Для обработки показаний датчиков используются различные методы машинного обучения. Такие методы обычно требуют определенного количества данных для тренировки алгоритмов: прошедших препроцессинг, подвергнутых ручной разметке для понимания того, где что написано, и возможности отнесения к тому или иному классу по специализированным меткам.

Основываясь на этих данных и соответствующих метках, алгоритмы учатся находить паттерны в считываемой новой информации и классифицировать их, а также строить предиктивные модели, позволяющие предсказывать, к какому классу будут принадлежать новые точки данных.


Рис. 6. Классификация сигналов без использования современных компьютерных методов.

С контролем и выделением паттернов понятно. Как это использовать в образовании?


Традиционные BCI (Brain-computer interfaces) дают возможность коммуницировать с компьютером или контролировать его с помощью использования активности мозга, разделенной алгоритмами на несколько классов. Более поздние модификации нейроинтерфейсов позволяют так же эффективно экстрагировать некоторую информацию о самом пользователе (конечно, при его согласии, и — внимание! — это не чтение мыслей), оценивать его/ее ментальные состояния (напр., когнитивную нагрузку, эмоциональное состояние, уровень внимания / бдительность).

Таким образом, с помощью BCI и компьютера становится возможно осуществлять мониторинг и обратную связь с представлением информации о функционировании головного мозга, полезной для пользователя. Кроме этого, поскольку нейроинтерфейсы позволяют оценивать когнитивные процессы, в том числе в реальном времени, использование ИМК способно осуществить более хитрое и точное (по сравнению с непрямыми методами, лежащими в основе традиционных систем адаптивного обучения) неявное отслеживание состояния учащегося и тем самым способствовать лучшей адаптации учебного контента для повышения успешности образовательного процесса.

Многие исследования, направленные на измерение когнитивной нагрузки, сделанные разными группами ученых, неоднократно демонстрировали, как количество когнитивной нагрузки может быть измерено с помощью ЭЭГ.


Рис. 7. Эксперимент компании BrainCo в китайской школе. Прибор, отслеживающий концентрацию ученика на учебе. Китай активно интересуется эффективностью обучения.

Эта тема заслуживает отдельного обзора. Здесь скажу только, что основными параметрами для ЭЭГ-фидбэка обычно являются изменения амплитуд, связанных с событиями потенциалов или специфическими колебаниями (ритмами), фиксируемые — например как изменение мощности сигналов в определенных частотных диапазонах при решении арифметических задач — при повышении внимания (концентрации) или, наоборот, релаксации.

Подобные эффекты рабочей нагрузки, экстрагируемые и классифицируемые в ЭЭГ, могут обнаруживаться с помощью BCI и использоваться для адаптации учебной среды.

Так вот она — технология? Давайте использовать?


— Ну, так, да. Давайте попробуем...

Текущие достижения областей искусственного интеллекта, обучения с подкреплением с использованием нейрональных сигналов вместе с технологиями мозг-компьютерных интерфейсов способны обеспечить лучшее понимание функционирования головного мозга учащегося, а также использовать индивидуальные показатели при построении адаптивных иммерсионных компьютерных сред для эффективного персонализированного обучения.

Применение нейрокомпьютерных интерфейсов, активно развивающихся в настоящее время, имеет потенциал вывести персонализированное обучение на новый уровень, повысив качество, эффективность процесса образования и удовольствие от него, значительно улучшив традиционные подходы адаптивного обучения.

Конечно, не каждый нейроинтерфейс в действительности позволяет сделать то, о чем написано выше, однако девайсы, которые действительно работают, уже активно появляются на рынке.

Расскажите в комментариях, если хотели бы опробовать такие устройства на себе.

Similar posts

Ads
AdBlock has stolen the banner, but banners are not teeth — they will be back

More

Comments 31

    0
    Так уже…
    habr.com/ru/post/508532
      0
      maxgammer какие у вас впечатления от использования?
      0
      есть только одно но. покажите модель ур. регрессии связывающее результат решения к.л. познавательной задачи, например точность пересказа параграфа из учебника истории 8 класса с нейрофизиологическими коррелятами. Если этого нет — все описанное выше — пока утопия
        0
        Посмотрите внимательно на «Рис. 7. Эксперимент компании BrainCo в китайской школе. Прибор, отслеживающий концентрацию ученика на учебе.»

        Предположу что эти ребята не занимаются вопросами поиска связи между точностью и нейрофизиологическими данными, есть огромная масса других направлений.
          –1
          если вы разводите людей через очередной лохтрон одевая на детей вольтметр, это еще не «революция в педагогике»
            +1

            На рисунке 7 иллюстрирован процесс поиска вышеупомянутых коррелятов, результат там не обозначен

            +1
            odins1970 а зачем вам связь точности пересказывания параграфа с нейрофизиологическими данными? какой в этом смысл?
            речь в данной статье про ассистирую технологию, которая при правильной разработке может адаптировать сложность заданий под ваше текущее психофизиологическое состояние, оцененное по тем самым нейрофизиологическим коррелятам. Это вполне реально. Кроме этого, по обратной связи вы можете научиться лучше концентрировать внимание (и использовать навык для того, чтобы реже, например, пить кофе на работе или просто более продуктивно учиться в школе\университете\дома).
              –1
              вы цифры мне приведите. А лучше — нормальную мат.модель этих фокусов.Когда аргументом является мнение — «Это вполне реально» а не строгое доказательство, тогда это мало чем отличается от таких «чудо техноинноваций» как например ru.wikipedia.org/wiki/Е-метр и т.п. мошеничества. "… Прибор используется в шарлатанских целях."
                0
                Так матмодель денег стоит если что. Ктож Вам ее пришлет. Ваше мнение мне напоминает реакцию на изобретение компьютерной мыши в Xerox — «Вы меня за дурака считаете! Это никто не будет использовать....»… ну и)

                Это раз, два — Вас не смущает количество продукции ЭЭГ, ориентированное уже на конечного пользователя. Кому нужно столько «вольтметров»?
                  –1
                  так это и называется «техническая гомеопатия». И да сколько же устройств ЭЭГ выпускается «не медицинского» назначения ??? Вы не знаете!!! вы думаете цена на EPOC или например ENOBIO такая высокая от того что эти устройства массовые??? Я специально разговаривал с одним из менеджеров «Нейроботикс». И точно у них нет никаких оптимистических иллюзий по этому поводу. Не знаю как там у вас в РФ, но в той стране где я работаю, что бы использовать какое либо устройство как учебно-материальное средство педагог. технологии — его надо аккредитовать, т.е доказать эффективность. Как вы это делаете без модели и ее эксперим. валидации?? Шарлатанство.
                    0
                    odins1970 Вы совершенно правы в том, что производителями должна доказываться эффективность, проходиться сертификация, а любые заявления подкрепляться научными фактами. В посте поэтому написано «Конечно, не каждый нейроинтерфейс в действительности позволяет сделать то, о чем написано выше, однако девайсы, которые действительно работают, уже активно появляются на рынке.»

                    теперь по поводу цифр, науки и фразы «это вполне реально»: судя по тому что вы написали в предыдущем комментарии о странах, вы читаете на английском. Чтобы обсуждать далее более предметно, предлагаю вам ознакомиться с некоторыми источниками: scholar.google.ru/scholar?hl=de&as_sdt=0%2C5&q=%22cognitive+load%22+%22EEG%22+%22attention%22&btnG=
                    там ключевые слова вы можете поменять в зависимости от вашего интереса и возникающих вопросов (напр. — регрессий). А здоровый скептицизм — вещь, несомненно, очень важная.
                      0
                      Ок. Вот пример тренажера, в котом в определяется уровень «стресса» в зависимости от сложности заданий… и мне лично удалось получить зависимость между сложностью и этим «стрессом» например…

                      https://www.youtube.com/watch?v=fhjTsFUcyew

                      аналогично и пульс также изменяется.

                      Графики могу предоставить, укажите почту.
                        –1
                        вы меня троллите??? а где контроль. фон ?? а как элминировано по вегетососудистому статутсу ??? а как а как… Слушайте вы серьезно считаете это научным результатом ??!!!
                        Для начала просто сами соотнесите на себе время простой зрительно моторной реакции с динамикой по амплитуде и частотным периодом в mPFC и. Вы сильно удивитесь какой «стресс» она проявит
                          0
                          Вы меня извините, но я не медик, я — инженер! Я решаю задачи по другому, а именно — ДАНО — есть выборка записей ритмов с 16 точек. Есть запись действий обучаемых по времени. Есть запись самих обучаемых во время прохождения обучения. Есть масса упоминаний в литературе, какие ритмы, в каких точках и в каких сочетаниях указывают на то или иное состояние. РЕШЕНИЕ — применяя известный мне математический аппарат найти возможные зависимости, проверить сходимость на доступной выборке по всем обучаемым. Если сходимость есть, задача решена. Все. При этом, вся «постобработка» сигналов осуществляется софтом OpenBCI, я туда не лезу.
                            0
                            1. В этом то и проблема, что вы не понимая природы явлений соединяете килограммы с километрами а выводите паскали. Вот например как все началось nealmiller.org/?tag=biofeedback
                            или тут www.researchgate.net/publication/279869680_Biofeedback_History_An_Alternative_View
                            2. Проблема в том что эл. потенциалы нейроосетей коры не имеют абсолютных эталоных сигнатур, даже фоновые значения вариативны более 2 сигм (т.е вывести норму нельзя). Поэтому остается открытым и дисскусионным даже вопрос возможно ли иметь динамический шаблон для интраиндивидуальных сравнений, не говоря уже о межиндивидуальных. Конечно это не исключено, и я например думаю что такие паттерны должны быть. Но пока никто это не показал и следовательно не доказал. А вы строите свои калькуляции на песке.
                              +1
                              odins1970 есть вполне аккуратно поставленные научные работы. Несмотря на интра- и межиндивидуальную вариативность, существуют устойчивые нейрофизиологические показатели определённых состояний. про вызванные потенциалы (ERP) тоже не забывайте!
                                0
                                Да я все понимаю, но меня лично результат устраивает, т.к. на самом деле показывает нужные «отклонения» сотрудников.

                                Вы не представляете сколько аварий и нештатных ситуаций в нефтянке например, а сколько людей с ограничениями или отклонениями, которых вообще пускать туда нельзя. Это огромная проблема.
                                  0
                                  скорее все же представляю, имея 28 календарных лет службы в МЧС, в т.ч. в ведомственной системе вузовской подготовки
                                0
                                maxgammer стоит, конечно, основываться на принципе «фальсифицируемости». в астрологии тоже «звёзды иногда сходятся»
                                  0
                                  Просто нужно работать, если просто все критиковать — ничего и не будет)
                                  Я делаю, Вы делаете, кто-то критикует… все нормально)

                                  Я много лет слышал, что 3D тренажеры и VR — это игрушки и никто не будет никогда на них учится… и в диссертации спорил и доказал и работаю и заказывают)

                                  И нейроинтерфейс сейчас очень нужная штука, т.к. Вы не представляете сколько аварий и нештатных ситуаций в нефтянке например, а сколько людей с ограничениями или отклонениями, которых вообще пускать туда нельзя. Это огромная проблема.
                  0
                  Мозгу будет гораздо проще подстроиться под нейроинтерфейс, чем ML в приборе под мозг.
                  Отсюда и выстраивать процесс обучения и подстройку.
                    0
                    почему вы считаете что тут нет плацебо эффекта???
                      0
                      Причем тут плацебо?
                      Я говорил про то, что «вычислительная мощность» мозга и способность к (само)реорганизации несоизмеримо выше по сравнению с процессорами этого девайса.
                      Используем ТРИЗ. Принцип “наоборот”
                        0
                        да, здесь плацебо ни при чём, но наверное odins1970 имеет ввиду некоторые «медицинские применения» нейрообратной связи, которые используются (зачастую необоснованно) в качестве терапии…
                      0
                      maxzawalo можете пояснить подробнее что вы имеете ввиду под: «отсюда выстраивать процесс обучения»?
                        0
                        Мозгу будет гораздо проще подстроиться под нейроинтерфейс, чем ML в приборе под мозг.

                        Вроде бы вполне конкретно выразился.

                        Я не специалист по нейрофизиологии и обучению людей. Могу лишь свои предположения описать.
                        Вы пытаетесь «расшифровать» мозг. Это невозможно сегодняшними технологиями. Уж точно не поверхностным «съемом» ЭМ импульсов.

                        Надо зайти с другой стороны. Иметь стандартный набор картинок, звуков, текста итп. Так же надо некий стимул + и -, чтобы мозг понимал чего учить и «куда идти». Направлять его.
                        Вы сможете отследить что нравится и что не нравится… частично. Склонности, паттерны/ситуации с которыми сталкивался индивид. Но это дело очень изменчивое.
                        Именно так и работает и образование и дальнейшее «обучение жизнью».

                        Не будет одной постоянной настройки девайса даже для одного мозга.
                        Частично симуляторы VR решают эту проблему.

                        Если вы сможете симуляцию прямо в мозг девайсом закинуть — это будет супер!)

                        Но вы не сможете сделать из солдата ученого и наоборот. Сломаете мозг.

                            0
                            Все верно. И я и вы озвучили проблему.
                            Но я так же описал решение. Пусть и сумбурно.
                            К «в теме» — пусть «поработают напильником».
                            0
                            спасибо! да, конечно, ваше представление, в общем, верно. Оно отчасти отражает принцип научных экспериментов, которые ставятся нейрофизиологами для выявления закономерностей и концепцию обратной связи вместе с обучением с подкреплением, основанную, однако, на контенте. Это довольно сложный подход, ввиду, например, наличия эмоциональных реакций и неинвазивности подходов.

                            Что вы можете делать ещё, и что проще — так это держать мозг (который очень «ленив») в стимуле, показывая ему, когда он расслабляется, а когда наоборот, работает продуктивно — поощряя, например состояние высокой когнитивной загрузки. Это примерно то же что вы описываете в предложении выше в терминах "+ и -" и «направления» движения. Ну и, конечно, отслеживать более простые, базовые реакции/состояния, адаптируя сложность контента под них.

                            «закинуть симуляцию в мозг», конечно — фантастика)
                              0
                              поощряя, например состояние высокой когнитивной загрузки

                              Ой не надо его так!))

                              «Копайте» в сторону Самадхи, Нирваны… медитации.
                                0
                                в вашем тексте «Вы» и " мозг" противопоставлены. Это что два разных субъекта??
                                На самом деле в BF мы имеет классический случай оперантного обуславливания ( в Скиннеровском понимании), т.е по сути инструментальный условный рефлекс. И к нему в полной мере применимы все законы научения: Павлова, Торндайка, Хебба, и т.д.

                        Only users with full accounts can post comments. Log in, please.