Привет, Хабр! Хочу сегодня поговорить о нетривиальных способах применения игр и продолжить тему необычных средств ввода. Игровая индустрия воспринимается, как развлекательная, но границы применения гораздо шире, чем это кажется на первый взгляд. Давайте заглянем в околомедицинскую разработку, узнаем, как контролировать происходящее на экране при помощи дыхания, пульса и сфинктера, и как это помогает игрокам в реабилитации и обучении. Погнали!
Дисклеймер: это не медицинская статья. Она затрагивает темы доступности и проблем, возникающих при заболеваниях, но концентрируется на дизайнерских решениях и не касается вопросов лечения или постановки диагнозов. В случае проблем, пожалуйста, обратитесь за консультацией к врачу.
Мы уже успели обсудить историю игровых контроллеров и то, как игры понимают и обрабатывают получаемые от них данные. Но существуют задачи, где сам процесс управления игрой требует переосмысления как с точки зрения интерпретации сигналов, так и с точки зрения геймдизайна. Речь идёт, в первую очередь, про сферы образования и медицины.
В этой статье я предлагаю заглянуть в мир медицинского, реабилитационного и корректирующего оборудования. А заодно обсудить, какими могут быть эти устройства, с какими данными они могут работать и что из представленного на этом незаметном и весьма необычном рынке действительно работает.
Нестандартный подход
В научной среде есть немало работ о позитивном влиянии интерактивных развлечений на человека. Результаты измеримы и повторяемы, а сами исследования отвечают критериям научности. Даже обычные игры помогут развить усидчивость, внимательность и вообще когнитивные способности за счёт нового опыта. Но дело не ограничивается обычными играми.
Множество состояний можно скорректировать или сгладить правильным тренировками. Это касается и физических нарушений после травм, и неврологических проблем. А уж если использовать развлечение как стимул к выполнению упражнений, ими можно увлечь даже детей с врождёнными патологиями, находящихся в возрасте, когда регулярные занятия способны дать наибольший позитивный эффект. Да и здоровому ребёнку правильная мотивация поможет развить полезные навыки.
Однако таким играм нужны не только правильно подобранные механики, но и специализированные контроллеры. Тут мы ступаем на территорию совершенно иных устройств, где могут меняться не только привычные способы управления, но и сама цель манипуляций.
Для начала нужно определить, что должен сделать игрок. Размеренно дышать, сидеть без движения или провести ровную линию ручкой? Не удивляйтесь таким, казалось бы, простым задачам. Например, пациент после инсульта с нарушением двигательной активности может испытывать с этим сложности. И даже правильно дышать умеют далеко не все взрослые.
А какие ещё задачи являются типичными в этом сегменте? Рассмотрим их вместе со способами решения.
Развитие подвижности
Существуют и задачи, где главная цель — восстановление подвижности после травм или болезней. Это уже пример области, в которой действия игрока или пациента должен контролировать специалист.
Во главе подобных инструментов прежде всего методика и определённые задачи для конкретного пациента. Но всё же можно выделить группы интересных продуктов.
Стабилоплатформы — группа тренажёров развития подвижности, основанная на платформе, считывающей изменение центра тяжести человека. При этом сама платформа также может изменять угол наклона в зависимости от задачи. Здесь нет сложностей с данными — это просто вектор смещения от центра в двух осях. Но сам способ взаимодействия даёт интересные возможности для реализации методик. Эти устройства могут не считаться медицинскими и в большей степени направлены на помощь специалистам, обладающим необходимыми знаниями.
Использование стабилоплатформ с биологической обратной связью имеет доказанную эффективность. Программы реабилитации и тренировок с их использованием позволяют снизить падения примерно на 21%, особенно у пациентов пожилого возраста. В сочетании с технологиями виртуальной реальности тренировки на стабилоплатформах показывают в три раза более эффективную реконструкцию положения стоя и ходьбы по сравнению с методиками стандартной тренировки с применением комплексов лечебной гимнастики.
Стабилоплатформы показывают высокую эффективность в самых разных сценариях. Один из них — реабилитация детей с ДЦП:
Не совсем медицинский факт, но всё же нельзя не отметить, что на ниве стабилоплатформ отметилась даже Nintendo. В 1989 году для Nintendo Entertainment System вышел аксессуар Roll 'n Rocker. По задумке, он был способен заменить D-pad в любой игре. Правда, работало устройство не всегда корректно, не слишком подходило для большинства динамичных игр того времени и к тому же требовало держать в руках геймпад, чтобы нажимать кнопки A и B. Да и травмоопасность неустойчивого куска пластика сыграла свою роль, так что популярности Roll 'n Rocker не сыскал.
Представьте, каково играть на этой штуке в Megaman или Battletoads!
В некоторых ситуациях главной задачей в игре может быть не какое-то действие, а, наоборот, бездействие. Такая задача мотивировать игрока возникает для геймдизайнера не так часто, хоть иногда и встречается в играх. Примером могут послужить Heavy Rain, The Walking Dead и другие интерактивные фильмы, где можно иногда не делать вообще ничего, и это просто приведёт к развитию истории по другому пути (причём не обязательно негативному).
Видеобиоуправление. Этот вариант взаимодействия можно считать отдельным направлением развития подвижности. Принцип работы у него достаточно прост и опирается на определение положения маркеров перед камерой. В каком-то смысле это похоже на принципы, используемые в устройствах типа Kinect или камерах для консолей, но опирающийся только на программную реализацию поиска маркера, как у PlayStation Move.
Видео, конечно, рекламное, но суть взаимодействия пользователя с PS Move показывает весьма наглядно:
Главная задача игрока — двигать руками так, чтобы курсор на экране попадал в нужную область. Звучит, вроде, несложно, но если задача касается развития подвижности или тренировки, то дополнительная мотивация вытянуть руку в неудобное или некомфортное положение, полученная через игровую механику, может дать хороший результат. Опять же — при наблюдении специалиста, если это может навредить хотя бы в теории.
Продукты для развития подвижности, основанные на видеобиоуправлении, могут быть аналогами активностей, которые мы знаем по коммерческим устройствам с похожим принципом работы. Вопрос только в реализации и методическом наполнении.
Примером могут послужить игры, входящие в комплекс МОБИ «Соло» (кстати, я одним из разработчиков этого комплекса). Они способствуют развитию координации движений, скорости и точности, избирательности моторной реакции, моторной ловкости детей трёх-восьми лет. Управление производится при помощи специальных шариков. Положение рук с ними непрерывно регистрирует камера. Во время игры нужно наводить шарики на объекты на экране, фиксировать положение, перемещать объекты и т.д. Похожим образом работают комплексы Timocco и другие аналоги.
Стилус и графический планшет. Корректировать дисграфию вполне логично при помощи привычных письменных принадлежностей. Или как минимум похожих по форме устройств. Нарушение письма может быть совершенно не связано с медицинскими причинами, но сформированные привычки и стереотипы будут мешать человеку писать от руки. Для таких задач и используют знакомые художникам приспособления. Планшет может возвращать не только координаты на листе, но и силу нажатия и наклона пера, что позволяет дополнительно корректировать процесс с учётом дополнительной информации.
В традиционных видеоиграх графические планшеты используются как удобная замена мышке — точная и быстрая. Такой необычный способ ввода поддерживал отечественный проект «Тургор», посвящённый рисованию. Bridge Constructor позволяет с большим комфортом возводить мосты, буквально рисуя их на экране. Да и большинство про-игроков в популярную опенсорсную ритм-игру osu! используют в качестве контроллеров именно графические планшеты.
Но нас интересует именно медицинское и реабилитационное использование планшетов. И, надо отметить, в этой сфере они весьма популярны. Скажем, разработанный в том числе и мной тренажёр-корректор «Почерк Леонардо» помогает бороться с визуальной дисграфией и зеркальным письмом у детей. Он представляет собой аппаратно-программный комплекс из планшета со стилусом и специального ПО на флеш-накопителе, которое позволяет отслеживать прогресс в терапии и корректировать её по мере необходимости.
«Почерк Леонардо» использует экран компьютера как зеркало.
В таком сложном деле, как медицинское применение игровых устройств, неизбежно использование данных, которые в обычных играх используют крайне редко или не используют вообще. О них — ниже.
Нетипичные данные
Частота сердечных сокращений (ЧСС). В этой области обычных игр точно нет. Тем не менее пульс тоже может давать информацию не только о состоянии человека, но и о его действиях. Сразу можно вспомнить повышение ЧСС при физической активности, но есть и другой интересный вариант использования этих данных. Дело в том, что частота сердечных сокращений меняется в зависимости от фазы вдоха. На этом факте основаны методики тренировки дыхания и речевого дыхания. Правильное речевое дыхание полезно во многих областях, поставить его ещё в детском возрасте — одна из задач логопедов. И для таких целей в качестве вспомогательного инструмента может использоваться информация о пульсе и фазе вдоха.
В этой области могут использоваться как датчики ЭКГ, так и оптический сенсор фотоплетизмограммы (часто используется в бытовых пульсоксиметрах). В итоге данные преобразуются в показатели условной частоты сердечного ритма и глубины вдоха, информацию с которых уже можно использовать для коррекции в процессе обучения и тренировки. Сама же программа может содержать игры, опирающиеся на изменение этих параметров, где игрок управляет процессом через вдох и выдох.
Российская игра «Гребной канал» учит пользователя регулировать кардиоинтервал — чем он больше, то есть чем спокойнее пульс, тем быстрее движется лодка, которой управляет игрок. Чтобы успешно опережать компьютерного оппонента, нужно быть как можно более спокойным и расслабленным. Регистрация ЧСС происходит через специальный детектор пульса.
Научные исследования показывают, что несложная тренировка с соревновательным компонентом не только вызывает у пользователей неподдельный интерес, но и реально помогает развить навык самостоятельной осознанной регуляции кардиоинтервала в пределах весьма солидных 5-12%.
Аналогично работают игры «Вира!», где нужно управлять погружением аквалангиста, «Ралли» (здесь скорость автомобиля обратно пропорциональна пульсу) и «Волшебные кубики» — здесь спокойный ровный пульс удерживает башню от обрушения. Все они помогают снизить тревожность, нормализовать сон, повысить настроение и даже улучшить характеристики голоса.
Необходимо подчеркнуть, что использование дыхания в играх не всегда требует дорогостоящего оборудования. Пример тому мобильная Breeze 2, которая помогает научиться правильному медленному дыханию, используя для этого только смартфон. Всё дело в программном алгоритме обнаружения дыхания в реальном времени на основе звуков. Несложный геймплей, связанный с управлением парусной лодкой, не только нравится большинству пользователей, но и способствует релаксации и лечению неинфекционных заболеваний дыхательных путей, например астмы.
Попытки внедрить ЧСС как канал передачи информации в массовый гейминг предпринимались неоднократно. Во время работы над DualShock 4 и DualSence корпорация Sony рассматривала возможность интеграции в контроллеры датчиков ЧСС и даже потливости ладоней. А Nintendo ещё в 2009 анонсировала Wii Vitality Sensor — аксессуар, способный считывать пульс. Правда, дальше анонса дело так и не пошло.
Идеальный жанр для использования ЧСС — хорроры. Nevermind, пожалуй, самый известный проект, который использует мониторинг сердечного ритма в качестве основы для важной игровой механики: чем быстрее бьётся сердце игрока, тем страшнее игра.
«Самый главный враг — в твоей голове», — сообщает трейлер Nevermind. И не врёт.
Похожим образом работает VR-ужастик Bring to Light. Только здесь слишком низкая ЧСС игрока не понижает, а, наоборот, повышает сложность. Впрочем, ни в той, ни в другой игре биологическая обратная связь не является обязательной. Играть в них можно и просто так.
Если у игрока нет монитора сердечного ритма, Bring to Light сама настроит собственную сложность, основываясь на статистике других пользователей.
В небольших аркадных проектах вроде Beats Down или Skip a Beat пульс используют для того, чтобы регулировать игровой ритм. Чем выше ЧСС, тем сложнее игра и выше награда.
Дополнительно пульс можно использовать в задачах, связанных с контролем стресса и расслабления. В этой области могут использоваться и другие необычные данные.
Так, сфинктерометр «ГастроСкан-СФ», предназначенный для реабилитации мышц тазового дна методом биологической обратной связи, при помощи геймификации спасает людей от операции и помогает в лечении целой пачки заболеваний, от запоров до эректильной дисфункции. Для этого используются инструменты, способные регистрировать анальное и вагинальное давление.
Задача пациента — напрягая и расслабляя мышцы тазового дна, управлять самолётом, который летит через облака. Если траектория регулируется правильно, облака открывают глаза и улыбаются. Элементарный геймплей делает не самую приятную процедуру более увлекательной и, как следствие, гораздо более эффективной.
Но есть и более сложные параметры, которые учитываются в «серьёзных играх».
Температура. Можете ли вы силой воли повышать или понижать температуру тела? Вопрос кажется странным, но ответ не так очевиден. Дело в том, что наше текущее эмоциональное состояние может влиять на тонус сосудов, в том числе и в конечностях. То есть холодные руки вполне могут свидетельствовать о стрессовом состоянии. Значит, мы можем использовать эту информацию как показатель расслабления. Тут уже можно не ждать той точности и очевидности, о которой мы говорили в статье про игровые контроллеры. В конце концов, это очень индивидуальная история. Один человек может повышать температуру через мысли о том что его руки должны потеплеть, а другой может этого и не добиться. Но как один из показателей вполне сгодится.
Электромиограмма (ЭМГ). Кто вспомнил Mindlink и человека с серьёзным лицом из первой статьи этого цикла — тот молодец! Этот сенсор в привычных игровых устройствах не прижился, но в специальных вполне существует. Его данные говорят о степени напряжения мышц в области наложения электрода. Это может быть полезно как для считывания движения конкретной мышцы, так и для установления уровня её статического напряжения.
Массовыми продукты с использованием ЭМГ не стали. Однако в медицинских и реабилитационных целях их активно используют. Отечественный комплекс биологической обратной связи «Кинезис» использует сочетание каналов электромиограммы, электроэнцефалограммы и электрокардиограммы для коррекции широкого спектра психоэмоциональных и функциональных расстройств с помощью несложных игр.
Электроэнцефалограмма (ЭЭГ). Есть и другая группа сенсоров, которую можно использовать для тех же задач. Возможно, вы даже видели в интернете специальные обручи на голову для расслабления. Конечно, смотреть нужно на каждую конкретную реализацию, но в общем в них используется считывание электрической активности мозга. Различные ритмы обычно связывают с разными состояниями сознания. Анализ этих ритмов может дать информацию о том, верно ли человек реагирует на игровую ситуацию.
Говоря о реальном применении, стоит отметить, что пока не замечено чёткой корреляции снимаемых с кожи головы сигналов с конкретными мыслями. Сигнал серьёзно усредняется, и возникает существенный шум, но для простых задач определения состояния принцип используется и в рассматриваемой нами группе устройств.
Обратную связь от мозга в играх можно использовать для борьбы с самыми разными проблемами психики. Самый яркий пример здесь — Mindlight, которая использует расслабление и концентрацию, чрезвычайно органично вписанные в геймплей. Например, чтобы решить головоломку, нужно на ней сосредоточиться, а чтобы фонарик светил поярче и отгонял монстров, напротив, необходимо расслабиться. По заверениям детей, которые пробовали Mindlight, игра получилась ничуть не хуже коммерческих аналогов. А увлекательность в таких проектах идёт рука об руку с терапевтической эффективностью. Жаль только, что такое комбо в «серьёзных играх» встречается довольно редко.
Доказано, что Mindlight справляется с тревожностью у детей 8-12 лет не хуже, чем когнитивно-поведенческая терапия.
Другой пример — отечественный Программно-аппаратный комплекс «Коррекция зрения». Компьютерный тренажер преобразует биоэлектрическую активность зрительной области головного мозга в сигнал обратной связи. Статистика показывает, что 86% случаев достигается положительный клинический эффект, а в 50% случаев — уменьшение астенопических жалоб пациентов.
Чипы в мозг. От довольно редко упоминаемых околомедицинских устройств предлагаю перейти к модной теме инвазивных датчиков, устанавливаемых на кору головного мозга. Компания Neuralink весьма активна в медиа.
Одна из первых новостей, связанных с играми и мозговыми чипами, относится к 2021 году. Как раз в то время прошло сообщение что обезьяна научилась играть в Pong силой мысли. Новость начала 2024 года уже сообщает о подключении к устройству парализованного человека. Именно эта область и считается приоритетной на первых этапах.
Добровольное улучшение качества жизни через имплантацию подобных устройств выглядит достаточно логичным. В этом же ряду стоят и эксперименты с восстановлением зрения. Технологии и алгоритмы работы таких устройств в основном являются коммерческой тайной, однако можно с уверенностью сказать, что анализ сигналов при помощи ИИ — существенная часть механизма их работы.
Neuralink превращает человека в телекинетика.
Как я уже писал в блоке про ЭЭГ, интерпретация сигнала может быть непростой задачей. И важно помнить, что подобные сигналы вряд ли жёстко стандартизированы. Особенности развития коры мозга, ведут к тому, что устройство должно учитывать индивидуальные особенности человека и отельно учиться считывать сигналы правильно. Точно так же, как и человек должен учиться отдавать сигналы устройству. Глубже в тему можно погрузиться в этой статье.
Необходимость хирургического вмешательства ставит такие устройства в разряд медицинских, а значит, этапов проверки и контроля будет достаточно много. Кроме того, общество в целом должно дозреть до принятия подобных устройств. Но вполне чёткий вектор прослеживается уже сейчас.
Взгляд. И тут мы вновь возвращаемся к контроллерам, которые используются в обычных играх. Видео Neuralink об управлении игрой в шахматы с помощью имплантированного чипа ставит вопрос: действительно ли необходимо проводить хирургическое вмешательство в мозг, чтобы перемещать курсор по экрану без использования рук?
Контроллер отслеживания взгляда, представленный как отдельное коммерческое устройство, существует и используется уже достаточно давно. Примером таких устройств можно назвать Tobii Eye Tracker. Он отслеживает точку на экране, на которую смотрит пользователь. Точность определения координат достаточно высока, и в ряде задач подобный подход может даже заменить другие способы ввода.
Однако есть некоторые сложности с определением событий ввода, так как требуется интерпретировать клик без использования кнопки. Представьте, если бы на мышке не было кнопок, но сенсор перемещения работал бы как обычно. Это создает некоторые сложности для разработчиков в адаптации интерфейсов, хотя задача вполне решаема.
Использование таких инструментов вполне поравдано в образовательном ПО. Например, для отслеживания и тренировки внимания и концентрации игрока. Отдельной интересной областью использования трекеров взгляда можно считать системы аналитики. Анализ внимания в тренажёрах для обучения пилотов или машинистов даёт дополнительную информацию о процессе обучения. Применение устройств отслеживания взгляда в рабочем процессе позволяет вовремя заметить потерю концентрации и предупредить о возможной аварии.
Хоррор Glimpse of Fear использует отслеживание взгляда для управления фонариком, а заодно подсовывает всякие ужасы в слепые пятна, чтобы игрок не расслаблялся:
Отслеживание взгляда используют и UX-дизайнеры. Скажем, в «Мире кораблей» при проектировании интерфейсов технология активно использовалась для анализа взаимодействия пользователя с интерфейсом. Отличная статья по теме есть неподалёку.
Специализированные устройства с дополнительными инфракрасными камерами обеспечивают более высокую точность, но сама задача на базовом уровне может быть решена и простой веб-камерой с необходимым ПО. Использование ИИ в обработке изображения с камеры с точки зрения практики довольно подробно описано в этой статье.
Как уже было отмечено выше, в разделе про электроэнцефалограммы, системы биологической обратной связи активно используют в лечении заболеваний глаз. Отслеживание взгляда в играх помогает офтальмологам в лечении, например, синдрома «ленивого глаза» и глазодвигательной дисфункции, особенно у детей. Согласно исследованиям, примерно в 30% случаев школьники могут улучшить зрение без операций, исключительно тренировками. При этом использование систем отслеживания взгляда в игровой форме делает процедуру более увлекательной и эффективной для пациента.
Примером может послужить Catch the Fruits, где необходимо следить взглядом за фруктами, падающими из верхней части экрана, и не допускать их падения.
Игры с отслеживанием взгляда приносят пользу и в менее очевидных областях, чем офтальмология. Например, с помощью этой технологии и особой версии классической игры «Танграм» борются со старческой деменцией. А при помощи набора несложных проектов от KINKA дети учатся поддерживать зрительный контакт и просто развлекаться без использования рук — это очень полезно для пациентов с ДЦП, мышечной атрофией, боковым амиотрофическим склерозом и другими проблемами.
Девочка играет при помощи трекера взгляда:
Кроме того, оказалось, что игры такого рода значительно уменьшают боль, возникающую при смене повязок у пациентов с хроническими ранами. 93% пациентов, которым во время этой неприятной процедуры предлагали при помощи взгляда кидаться тортами в игре Look to Learn, отметили значительное снижение болевых ощущений. При этом из оборудования учёные использовали исключительно стандартный Tobii Eye Tracker пятого поколения и обычный ноутбук.
У разработчиков более традиционных игр частенько возникает соблазн превратить взгляд в самостоятельный элемент управления интерфейсом. Сложнее всего при этом продумать правильное событие для регистрации клика. На первый взгляд им может стать моргание, однако в реальной жизни концентрация пользователя на том где и как он должен моргать, заставляет уставать глаза существенно быстрее. Создатели Before Your Eyes убедились в этом на практике и долго искали баланс между идеей и удобством.
Данные, методики и особенности работы
Но мало собрать неспецифические сигналы, их нужно ещё и обработать. В противном случае лишние шумы и всплески приведут к неточности контроля или ложным срабатываниям. Любой, кто играл на клавиатуре с западающими клавишами или на геймпаде со сломанном стиком, подтвердит: удовольствие от процесса с нечётким управлением получить почти невозможно. А значит, под угрозой оказывается весь смысл геймификации.
Разработчикам полезных игр нужно ответственно подходить к шумоподавлению. К примеру, если игра рассчитана на работу с сигналами электрической активности мозга, то стоит иметь в виду, что процесс считывания ритмов в первую очередь должен быть ориентирован на уровень сигнала со сглаженной реакцией на его изменения.
Также качество данных может улучшить и предварительная калибровка сигналов ввода с учётом индивидуальных особенностей каждого пользователя. Если человек достаточно свободно двигает рукой, но при этом ему тяжело поднять её вертикально вверх, программа должна это учитывать и изменять задания (например, через множитель целевого значения) для достижения лучшего результата.
Сигнал и шум. Если в привычных игровых контроллерах основная работа с сигналом часто проводится при разработке самого устройства, то со специфическими сигналами и сенсорами ситуация сложнее. Часто сигнал, приходящий с датчиков и электродов, может быть плохо различим и требовать дополнительной фильтрации. Эти задачи должны решаться с учетом методики и требуемых данных, поскольку предварительная фильтрация сигнала в зависимости от алгоритма может уменьшить точность информации или навредить самому процессу тренировки.
С сигналом с датчика температуры ситуация проще. В описанных выше примерах использования этот показатель может меняться достаточно медленно, и нам скорее важно иметь точное значение изменения за относительно большой промежуток времени (усреднение данных за несколько секунд совсем не будет проблемой).
Как пример можно использовать данные электромиограммы. Если игра согласно методике должна быстро реагировать на напряжение мышцы, важно, чтобы фильтрация не вносила существенной задержки в сигнал. Иначе возникнет проблема с обратной связью и пониманием, верно ли игрок совершает требуемые действия.
Похожим образом дело обстоит с сигналами ЧСС, и тут у разных методов получения данных может быть своя специфика. Интерпретация сигнала для получения фазы вдоха будет иметь некоторую задержку в зависимости от датчика, но пользователь точно знает, в какой фазе он находится, так как сам контролирует процесс дыхания. В этом случае программа не может быть совершенно адекватна текущему состоянию, но должна минимально отставать от реальности. При визуализации данных графики должны легко восприниматься если не игроком, то специалистом уж точно. В зависимости от методик и целей часто необходима работа с сырыми данными, которая может переходить с уровня контроллера на уровень конкретного программного комплекса, а иногда и конкретной мини-игры.
Калибровка. Индивидуальные особенности и сложность интерпретации сигнала часто требуют персонализированной калибровки ввода для каждого пользователя. Учитывая уникальность каждого человека, при разработке универсального игрового контроллера часто проводится тщательное предварительное тестирование с учетом сглаживания углов и стремлением к большей универсальности. В данном контексте, хотя уникальность пользователя и возможность настройки контроллера имеют значение, они не столь критичны для обсуждаемой темы.
Для некоторых методов ввода может потребоваться предварительная настройка. Например, если программное обеспечение анализирует изображение и позволяет использовать различные модели камер, важно снизить влияние конкретной камеры и особенностей определенной модели.
Калибровка под конкретного пользователя может проводиться перед каждым сеансом. При обсуждении тренировки необходимо четко определить цели и характер тренировочного процесса. Это аналогично установке уровня сложности, но с более гибкими параметрами и возможностью настройки со стороны специалиста.
Например, если целью является аккуратное развитие подвижности левой руки, программа должна учитывать индивидуальный диапазон движений и корректировать игровой процесс в соответствии с этой информацией. Метод коррекции может различаться в зависимости от методиста, однако при разработке программного обеспечения этому аспекту следует уделять особое внимание.
Методики. Мы уже не раз вспоминали загадочного методиста. Любые процедуры, тренировки или занятия опираются на определенную теоретическую базу. Предварительные исследования и испытания методик дают понимание о безопасности и последствиях определенных действий. В области медицины все строго регламентировано большим количеством правил и требований, но и в сфере образования и коррекции методики являются существенной частью процесса разработки.
Часто методика может быть разработана отдельно и не быть связанной с какими-либо комплексами. Например, различные методики коррекции в логопедии существуют отдельно от компьютера. Однако использование их принципов при создании программных продуктов позволяет опираться на доказанную эффективность. Здесь главное — не испортить всё лишней геймификацией, а улучшить результат.
Скажем, коррекция дисграфии зеркального письма достигается как традиционными логопедическими методиками, так и их вариантом на тренажёре, основанном на вводе через графический планшет.
В таких проектах методист становится частью команды разработки, проверяя промежуточные этапы и отслеживая эффективность методики в её новой форме. Тестирование в этом случае также обретает дополнительный этап. Кроме проверки качества самого комплекса, необходимо на реальных примерах убедиться, что всё работает как задумано. Для медицинских устройств это жёсткое требование, но и немедицинские системы должны проверяться в реальных условиях. Такая апробация позволяет понять, удачно ли выбраны контроллеры, способы взаимодействия и сами игровые механики.
В основном при создании рассматриваемых устройств и программ движение идет не от игрового процесса, а от методик и исследований. Встречаются и устройства, польза которых не так очевидна, но здесь главное — осторожность и соблюдение главного медицинского принципа «не навреди». Большинство подобных девайсов не предназначены для самостоятельного применения и используются прежде всего в клиниках или у специалистов. Контроль процесса со стороны человека даёт дополнительный эффект, так как одновременно с применением самого комплекса биологической обратной связи (БОС) специалист может использовать собственные практики, совмещая различные подходы и улучшая результат.
Увлекательная лекция по теме:
Например, комплексы для тренировки расслабления, основанные на анализе электроэнцефалограммы, могут соседствовать с сеансами психолога. Поэтому подобные устройства часто рассматриваются не как медицинские, а скорее как вспомогательные. Вопрос, как именно данные будут интерпретированы для конкретного пациента, может решать не программное обеспечение, а специалист. Значит, ПО всё равно должно давать человеку дополнительную информацию для контроля результатов. Это предполагает дополнительное обучение и участие в семинарах. Отчасти из-за этого подобные устройства редко выходят за пределы профессионального сообщества и, из-за небольших тиражей и узкой направленности, стоят довольно дорого.
Интерпретация данных. Учитывая специфику области, сам процесс разделяется на отдельные этапы либо самой программой, либо контролирующим специалистом. Периоды активной работы должны сменяться отдыхом.
В зависимости от методики работа может быть очень разной. В тренажёрах физической активности она носит явный характер и особых вопросов не вызывает: крути педали, пока не скажут остановиться. А в тренажёре внимания или письма такое разделение уже менее очевидно. Зачастую отдых — это отвлечение от экрана или от самого занятия. Но в некоторых случаях процесс отдыха может давать важную информацию о человеке.
В случае с вышеописанными датчиками информация, полученная во время работы или отдыха будет одинаково важной. Если в активной фазе мы добились определённых значений ЧСС, то важным может быть, как быстро показатель вернулся к привычным значениям в процессе отдыха. С фазы отдыха может начинаться тренировочный цикл, а данные с датчиков могут использоваться как калибровочные или информационные для понимания обычных показателей конкретного человека.
А что если наша задача — контролировать покой? Тут целью является не действие, а его отсутствие. При некоторых нарушениях сидеть прямо, удерживая равновесие, само по себе настоящий вызов. В таких случаях можно использовать контроллеры, считывающие положение тела. Стабилоплатформа, на которой можно как стоять, так и сидеть, передаёт данные о наклоне контроллера. А игра, интерпретируя их, может подсказать и показать пользователю, как правильно распределять вес. Выходит даже доходчивее, чем у живого человека.
При регулярных занятиях важно понимать динамику каждого пользователя. Насколько улучшилась концентрация, насколько точно и быстро выбраны нужные объекты на экране, насколько ровно проведена линия и так далее.
Здесь возникает необходимость сбора дополнительной статистики и тестирования. Частично для этих целей могут использоваться данные калибровки перед отдельными занятиями. Но отдельный интерес скрыт в сохранении и анализе самих данных ввода. Это тот самый случай, когда мы можем сохранять практически все данные ввода в процессе и анализировать их на длинной дистанции. Это как если бы в файлах сохранения обычной игры содержалась информация, какой стик и как именно вы повернули в конкретный момент каждой игровой сессии.
Что могут давать эти данные? Ответ зависит от методики и целей. Но большие данные порождают большую ответственность большие возможности по глубокому анализу. Конечно, встает вопрос разметки, однако тут важно вспомнить про специалиста. Наблюдая и корректируя действия игрока, он способен дополнительно размечать важные моменты. В результате такая разметка может поддаваться автоматизации после набора достаточного датасета. Но в данный момент машинное обучение скорее редкость в подобном ПО.
Обратная связь. Качественная проработка обратной связи важна для любого ПО. Если человек получает информацию о состоянии игры, понимает, что он должен сделать, а после чётко видит результат своих действий, то это обеспечивает ему ощущение контроля и вовлечённости.
В медицинских тренажерах этот аспект и вовсе становится критически важным. Пользователь должен понимать, правильно ли делает упражнение, ведь от этого зависит его здоровье. К тому же при отсутствии мгновенного лечебного эффекта хорошая обратная связь может сделать подчас тяжкий процесс тренировки чуть приятнее.
Использование тренажёров с геймификацией для реабилитации после инсульта:
Казалось бы, обязанности по объяснению и мотивации можно переложить на медицинский персонал, проводящий инструктаж и контролирующий работу оборудования. И в большинстве случаев так и происходит, ведь это дешевле, чем разработка методик и подсистем, учитывающих все факторы. Тем более что участие специалиста в любом случае обязательно, например, для правильного закрепления датчиков на коже. Однако обратная связь всё равно должна чётко реагировать на объективные данные датчиков, поскольку специалисту информация о правильности выполнения упражнений важна не меньше, чем пользователю.
Пользователь же должен видеть прогресс, и чем он очевиднее, тем лучше. Обратная связь в этом случае не просто говорит человеку, что он молодец. Она сообщает, что пациент преодолел себя и свои ограничения, не просто прокачался в условной игре, а получил конкретную пользу.
Комплекс для активной реабилитации, сопряжённой с игрой, ReviMotion от Института инновационного развития СамГМУ:
Заключение
Контроллеры вынуждены балансировать между универсальностью и специфичностью. Массовый рынок игр на то и массовый, чтобы требовать стандартизации. Во всех основных сегментах уже сложились общепринятые способы управления интерфейсами и игровым процессом. От них не хотят отходить ни пользователи, ни крупные студии. В таких условиях на создание новаторского устройства требуется не только воображение, но и огромные ресурсы.
Однако инди-разработчики постоянно исследуют границы возможного и разумного. Особняком стоит медицинское, реабилитационное оборудование, ведь его задачи не сделать привычно и удобно, а принести пользу. Поэтому здесь ценится всё, что способно улучшить результат.
Возможно, скоро очередной Джобс сумеет вдохнуть новую жизнь в VR. А может, в медицинской лаборатории всё-таки создадут неинвазивный чип для контроля нейроинтерфейсов. Кто знает! Энтузиасты продолжают экспериментировать. Наверняка очередная революция уже не за горами. И когда она произойдёт, мы непременно обсудим её последствия в новой статье.
Бонус. Список интересных материалов по теме:
Название и ссылка | Категория | Тема |
Включение «компьютерного спорта» в перечень видов спорта https://rg.ru/2016/06/08/kibersport-priznan-oficialnym-vidom-sporta-v-rossii.html | Юридическое | Признание киберспорта |
Улучшение памяти Virtual Environmental Enrichment through Video Games Improves Hippocampal-Associated Memory | Научное | Развитие |
ПОВЫШЕНИЕ МОЩНОСТИ МОЗГА С ПОМОЩЬЮ ВИДЕОИГР https://scientificrussia.ru/articles/povyshenie-moshchnosti-mozga-s-pomoshchyu-videoigr | Научпоп | Развитие |
Обзор | Хабр | Развитие |
Commercial video games and cognitive functions: video game genres and modulating factors of cognitive enhancement | Научное | Развитие когнитивных функций |
Нейроинтерфейсы: как учёные сделали телекинез реальностью | Образование | Контроллеры |
Neiry | Продукты | Нейроинтерфейсы
|
Нет предела совершенству: как нейроинтерфейсы помогают человечеству | Обзорная статья 5/5 | Нейроинтерфейсы |
Не голова, а компьютер. Что такое нейроинтерфейсы и что ждет их в будущем | Научпоп | Нейроинтерфейсы |
Использование отслеживания взгляда при анализе UX | Образование | Отслеживание взгляда |
Определение точки взгляда через анализ изображения с камеры при помощи нейросетей | Отслеживание взгляда | |
Комплекс БОС Кинезис Опорно-двигательный https://mederia.ru/catalog/kompleks_bos_neyrotekh_kinezis_oporno_dvigatelnyy | Продукт | Продукт на основе ЭМГ |
Zwift для бегунов, или ещё один способ сделать тренировки на беговой дорожке увлекательными. | Обзор | Фитнес |
