Тактильные перчатки (англ. Haptics – хаптик) сегодня используются не только в играх, развлечениях и киберспорте, они находят применение в промышленности и медицине, позволяют создавать инновационные решения.
Дальнейшее совершенствование систем дополненной и виртуальной реальности (AR и VR), телероботов и аватаров сегодня уже трудно представить без развития технологий удаленной передачи тактильных ощущений. Наша команда Dragon Tree Labs готовится к финалу конкурса ANA Avatar XPRIZE и тоже активно применяет тактильные перчатки для создания реалистичного взаимодействия оператора с предметами вокруг аватара.
Хотим поделиться нашими знаниями в этой области и рассказать о доступных покупателю образцах таких решений от наиболее известных производителей.
Разновидности haptic-технологий
В реальном мире человек воспринимает тактильные ощущения (haptics) как раздражение рецепторов, расположенных в коже и мышцах рук или других частей тела. Например, через передачу тепла, а также как изменяющиеся по силе давление или вибрацию.
Виртуально имитировать такие ощущения и взаимодействовать с удаленными объектами позволяют специальные преобразователи. Они могут располагаться в перчатках на кончиках пальцев и на ладонях. Назначение и возможности перчаток зависят от типа использованных в них датчиков и преобразователей. В хаптик-перчатках используют:
Электромагнитные преобразователи;
Пьезоэлектрические преобразователи;
Эксцентриковые вращающиеся микроприводы.
Отслеживаемые датчиками движения руки передаются в виртуальную среду, а возникающие при взаимодействии с виртуальными объектами сигналы (например, при рукопожатии) передаются обратно для воспроизведения тактильных ощущений в руке оператора.
Возможности тактильных устройств
Для оценки и распознавания особенностей и характеристик объектов виртуальной среды хаптик-устройства должны воспроизводить и передавать оператору:
Пространственное разрешение;
Твердость, деформируемость;
Шероховатость, текстуру;
Усилие (обратная связь по силе);
Температуру объекта (нагрев/охлаждение).
Возможности тактильных перчаток во многом зависят от использованного производителем конструктивного решения. А именно от типа датчиков и приводов тактильной перчатки, а также от совершенства программного обеспечения (ПО). При этом для достижения эффекта погружения в другую реальность особое значение имеет частота обновления контроллером измеряемых характеристик.
Для поддержки функций акселерометра и гироскопа во многих хаптик-устройствах имеется также IMU (инерциальный измерительный блок) сенсоры. Отслеживать положение рук в пространстве помогают встроенные камеры гарнитур VR. Инновационным методом сегодня считается магнитный трекинг, как в перчатках Manus Metaglove. Еще более расширяют возможности хаптик-перчаток экзоскелетные технологии.
Наручные тактильные устройства
Среди конструкций наручных тактильных устройств можно выделить:
Традиционные перчатки;
Наперстки / Наконечники на пальцы (thimbles);
Экзоскелеты.
HaptX
HaptX – один из ведущих разработчиков тактильных устройств из США. Перчатки этого бренда передают реалистичность прикосновения в виртуальной среде. Их применяют некоторые участники конкурса ANA Avatar XPRIZE.
В каждой перчатке HaptX DK2 размещено по 133 микрожидкостных подушки. Они передают коже на пальцах тактильные ощущения, которые во многом аналогичны реальному взаимодействию с объектом. По сигналу обратной связи может передаваться усилие до 18 кг.
HaptX является одним из членов команды Converge Robotics (включает компании Shadow, HaptX и Tangible) которая вышла в финал конкурса $10M ANA Avatar XPRIZE и занимает пятое место по итогам полуфинала.
Джефф Безос с перчатками HaptX DK2.
SenseGlove
Компания SenseGlove из Нидерландов выпускает удобные экзоскелетные перчатки. Силовая обратная связь обеспечивает ощущение размера и плотности виртуальных объектов. Также имеется вибротактильная обратная связь для передачи ощущения имитируемого удара. Все детали перчаток производятся методом 3D печати. Команда Dragon Tree Labs также закупила данную перчатку для проведение тестов и возможного применения в финале конкурса.
Модель SenseGlove Nova – новейшие беспроводные перчатки стоимостью около 5000 долларов США. Они работают с гарнитурой виртуальной реальности Oculus Meta Quest 2. Перчатку Nova можно надеть практически на любую руку за 5 секунд, их можно легко отрегулировать на 3 разных размера. Для подключения к Oculus есть адаптер. А некоторые гарнитуры, такие как Pico Neo, могут подключаться к перчаткам Nova напрямую.
SenseGlove используют некоторые участники ANA Avatar XPRIZE, их демонстрировали на Spring 2020 Virtual Team Summit.
Видео о перчатках SenseGlove Nova.
Haption
Одним из продуктов французской компании Haption являются тактильные перчатки HGlove. Это модель экзоскелетного типа на 3 пальца, она предназначена для регистрации усилия и крутящего момента, имеется 6 степеней подвижности.
HGlove могут использоваться с удаленно-управляемыми роботами. Уже скоро ожидается появление новых версий для систем виртуальной реальности, симуляции и моделирования.
VRGluv
Тактильные перчатки с силовой обратной связью от компании VRGluv из США. Сегодня они применяются в исследованиях по медицинскому моделированию, проводимых министерством обороны США.
Запатентованная технология VRgluv создает усилие до 4,5 кг на каждом пальце, чтобы имитировать размер, форму, жесткость и воздействие от любого виртуального объекта. Встроенные датчики силы измеряют сопротивление пальцев оператора и позволяют ему манипулировать твердыми и мягкими предметами.
Teslasuit
Компания Teslasuit из Великобритании предлагает комбинированные перчатки с тактильной и силовой обратной связью. Наборы из девяти электродов на каждом пальце создают ощущение прикосновения к несуществующей поверхности, а пластиковый экзоскелет имитирует сопротивление и вибрацию как при взаимодействия с твердым телом.
Продукцией Teslasuit пользуются некоторые участники ANA Avatar XPRIZE, она была представлена на конференции Spring 2020 Virtual Team Summit.
Manus
Голландская компания Manus предлагает для использования в системах виртуальной реальности перчатки Prime X. Это модель нового поколения помогает управлять виртуальными кнопками и рычагами. За счет тактильной обратной связи она позволяет воспринимать текстуру объектов с повышенным разрешением.
Prime X совместимы с широким спектром оборудования для отслеживания положения, включая контроллеры Oculus Rift S / Quest, OptiTrack с OptiTrack ActivePuck, Vicon Origin с Vicon Pulsar.
Последняя и наиболее дорогая профессиональная модель Quantum Metaglove использует технологию магнитного трекинга и обеспечивает еще более точное отслеживание движений руки и пальцев.
WEART
Устройство TouchDIVER от итальянской компании WEART включает от 1 до 3 хаптик-наперстков, надеваемых на отдельные пальцы и позволяет передавать тактильные усилия, вибрации и температуру в системах игровой виртуальной реальности и при обучении на тренажерах.
TouchDIVER удобны в использовании и совместимы с Oculus, HTC, Windows Mixed Reality.
DextaRobotics
Китайская компания DextaRobotics с 2014 года занимается разработкой технологий для взаимодействия человека с объектами виртуальной и смешанной реальности (VR и MR). В ассортимент продукции компании входят легкие многофункциональные перчатки экзоскелетного типа. Они позиционируются как инструмент для игр, обучения и моделирования в образовании, медицине, аэрокосмической и многих других отраслях.
Перчатки Dexmo демонстрировались на ANA Avatar XPRIZE Geneva Team Summit.
BeBob Sensors
Перчатка Forte Data Glove от компании Bebop Sensors — это полнофункциональное хаптик-устройство для систем VR и AR. Точное отслеживание положения пальцев и тактильные преобразователи с минимальной задержкой по времени создают почти реальное восприятие тренировок в виртуальной реальности.
С помощью фирменного программного обеспечения перчатки Forte Data полностью совместимы с различными виртуальными гарнитурами и платформами, включая Unreal, Unity, Python, Vive, Windows Mixed Reality, Oculus, C++, Java и другие. С Forte Data работают несколько команд на ANA Avatar XPRIZE.
Cambridge
Компания Cambridge Mechatronics (CML) из Великобритании применяет при создании хаптик-устройств собственные оригинальные тактильные технологии и запатентованные приводы SMA (Shape Memory Alloy). Тактильные приводы CML состоят из прецизионных миниатюрных компонентов.
Технология SMA отличается минимальным энергопотреблением по сравнению с конкурирующими решениями и работает при низком напряжении питания. При этом дополнительно минимизируется размер приводов.
Современные тактильные технологии продолжают стремительно развиваться. Если изначально они применялись лишь в игровой индустрии, то сегодня уже помогают решать сложные задачи на производстве, в тренировках и учебных процессах. Теперь управлять виртуальными объектами и взаимодействовать с ними можно не только с помощью мыши или джойстика, но и напрямую с помощью пальцев.
А дальнейшее развитие хаптики позволит реализовать во многом немыслимые прежде возможности и является еще одним шагом, приближающим человечество к телепортации в удаленное пространство.
К моменту завершения соревнований мы планируем перевести разработку аватара как продукта в Стамбул и в Austin, штат Texas, так что в нашей лабе в Москве можно попробовать себя в работе над аватаром примерно до конца 2022 года.
