Люди — существа социальные, и даже заядлым интровертам иногда нужно общение с представителями своего вида. По сути своей, если не рассматривать психологические аспекты, то общение — это обмен данными, которые выражаются в определенной сенсорной форме, грани которой менялись и дополнялись параллельно развитию технологий. Благодаря этому письма сменились телефонами, с появлением пользовательской вычислительной техники и интернета нам стали доступны и видеозвонки. Каждый из этих вариантов общения предполагает передачу определенной сенсорной информации, помимо самих слов. Во время телефонного звонка мы слышим голос собеседника, видео связь позволяет видеть его эмоции. Не менее важным аспектом общения является и тактильное взаимодействие, но передача тактильной информации во время дистанционного общения ранее была невозможной. Ученые из Городского университета Гонконга разработали беспроводную искусственную кожу, которая способна считывать и передавать тактильные ощущения между пользователями на расстоянии. Из чего сделано данное изобретения, и как оно работает? Ответы на эти вопросы мы найдем в докладе ученых.
Основа исследования
В реальном мире мы постоянно воспринимаем информацию об окружающей среде с помощью органов чувств. Но вот в виртуальной (VR) или в дополненной (AR) реальности сенсорная информация ограничена визуальными и звуковыми сигналами. VR это своего рода музей, в котором мы можем смотреть, но не трогать. Отсутствие осязания внутри виртуальной реальности сильно ограничивает возможности этой технологии и ее применимость в разных областях, от коммуникаций до научных исследований.
Решением этой задачи является то, что занимается этим от природы и есть у каждого из нас, а именно кожа. Точнее электронный эквивалент кожи, который сможет не только считывать тактильные данные и обладать обратной связью. Проблема в том, что современные варианты электронной кожи обладают только одной из этих двух функций.
Подобно визуальной и слуховой коммуникации, беспроводная тактильная коммуникация позволяет передавать тактильные ощущения между разными пользователями. Один пользователь, который прикасается к специальной считывающей накладке, может отправлять информацию о «прикосновении» другому пользователю на такую же накладку, оснащенную обратной связью, что позволяет воспроизвести полученную тактильную информацию. Другими словами, электронная кожа должна воспринимать прикосновения одного пользователя, передавать их дистанционно другому и воспроизводить. Основная задача в том, чтобы это устройство могло работать в обе стороны, воспринимая и передавая информацию от одного пользователя другому и обратно.
Строение электронной кожи
Чтобы построить беспроводную сенсорную сеть для дистанционной сенсорной передачи, ученые разработали электронную кожу считывания/воспроизведения тактильных ощущений. Благодаря встроенному массиву беспроводных тактильных датчиков и тактильной обратной связи в электронной коже ощущение прикосновения может быть синхронизировано и передано непосредственно с одного устройства на другое.
Изображение №1
На 1A показана концепция тактильной передачи, когда два человека носят электронную кожу для сбора, передачи и воспроизведения тактильной информации. Когда один человек прикасается к электронной коже, воспринимаемая информация о прикосновении преобразуется в тактильный электрический сигнал, который может быть передан по беспроводной сети на другую электронную кожу через Bluetooth. Как только тактильный сигнал получен другой электронной кожей, соответствующие вибрационные приводы запускаются для воспроизведения прикосновения другому человеку. Данный процесс работает в обе стороны.
Электронная кожа состоит из массива 4×4 гибких датчиков/актуаторов, электронных компонентов блока микроконтроллера (MCU), модуля Bluetooth и другой электроники на гибкой плате (1A). Гибкий актуатор считывания, служащий основной частью электронной кожи, состоит из трехслойной гибкой катушки, мягкой силиконовой подложки, магнита и тонкой полидиметилсилоксановой (PDMS) пленки (1B). Трехслойная гибкая катушка состоит из трех однослойных медных (Cu) катушек, изготовленных с помощью фотолитографии и жидкостного травления с использованием полиимида (PI; толщина 12.5 мкм) с медным покрытием (Cu; толщина 18 мкм) (1C и 1D). После сборки всех отдельных компонентов получается гибкий квадратный актуатор толщиной 2.7 мм (длина стороны 12 мм), в котором квадратный неодимовый магнит служит виброприводом (3 х 3 х 0.5 мм) (1E). При подаче переменного тока этот актуатор генерирует механическую вибрацию и обеспечивает ощущение прикосновения к коже. Когда этот привод испытывает внешнюю силу (нажатие), его гибкость позволяет ему деформироваться и генерировать электромагнитно индуцированный сигнал напряжения для тактильного восприятия.
Толщина электронной кожи с массивом актуаторов 4×4 составляет всего 4.2 мм (1F). Кожа была дополнительно оснащена 16 светодиодами для визуализации состояний тактильной обратной связи. На 1G и 1H продемонстрирована мягкость этой электронной кожи при изгибе и двустороннем складывании.
Моделирование методом конечных элементов (МКЭ) позволило оценить распределение деформации в медных слоях отдельной гибкой катушки в актуаторе при изгибе, и распределение деформации в медных слоях всей электронной кожи при изгибе и двухстороннем складывании (1I-1K). Результаты показали, что вся гибкая электронная кожа демонстрирует стабильные механические свойства, которые могут обеспечить комфортное прилегание к коже.
Результаты экспериментов
Считывание тактильных сигналов
Функция тактильного восприятия гибкого актуатора основана на законе электромагнитной индукции Фарадея. Принцип измерения основан на скорости изменения магнитного потока, связанной со скоростью деформации. При динамическом нажатии на датчик со скоростью нажатия гибкий актуатор деформируется, в результате чего изменяется относительное расстояние между магнитом и катушкой.
Изображение №2
Как показано на 2A, прижатый магнит приближается к катушке, в результате генерируется индуцированный ток по часовой стрелке (вид сверху). Когда нажатие уменьшается, магнит удаляется от катушки, и генерируется соответствующий индуцированный ток против часовой стрелки. Значения этих электрических сигналов предоставят важную информацию о тактильной силе и продолжительности.
Настроив тестовую систему (2B), ученые могли количественно определить взаимосвязь между внешним динамическим нажатием и напряжением тактильного восприятия. Ударный блок с цилиндром (диаметр 4 мм) устанавливался на линейный двигатель, а 12-мм актуатор плотно наклеивался на датчик давления. Во время испытаний привод был подключен к системе сбора данных (PowerLab 16/35), а нажатие на магнит осуществлялось блоком, приводимым в движение линейным двигателем.
Таким образом, была получена взаимосвязь между силой нагрузки, создаваемой динамическим нажатием, и напряжением тактильного восприятия. Результаты показали, что датчики демонстрируют хорошую линейность (2C). Тактильный сигнал, генерируемый электромагнитной индукцией, тесно связан со скоростью нажатия и расстоянием между магнитом и катушкой (2D–2F). На 2D суммированы изменения напряжения считывания с течением времени при различных скоростях нажатия при фиксированном расстоянии нажатия в 1 мм, что представляет отношение сигнал/шум (SNR) 34.05 дБ и хорошую линейную зависимость между скоростью нажатия и напряжением считывания (2F).
Когда скорость нажатия фиксировалась на определенном значении, существовала положительная корреляция между напряжением считывания и расстоянием нажатия (2E), поскольку более глубокое расстояние нажатия соответствует большему изменению магнитного потока и, следовательно, более сильному электромагнитно индуцированному напряжению.
Напряжение считывания показало мультипликативное увеличение с количеством витков катушки, поэтому и была выбрана трехслойная катушка (2G). В тесте на производительность с 10000 циклов напряжения считывания продемонстрировало явно выраженную стабильность на протяжении всех циклов (2H).
Чтобы подтвердить потенциал для практического применения, ученые также протестировали тактильный сигнал, поместив гибкий актуатор на кожу человека и нажав на него пальцами (2I). Как показано на 2A, при нажатии на актуатор генерируется положительный импульсный сигнал, а при отпускании появляется сигнал отрицательного напряжения (2J). Во время промежуточной фазы, когда актуатор удерживается в нажатом состоянии, сигнал напряжения поддерживался на уровне около 0 В (2J).
Ученые отмечают, когда устройство помещается на кожу, на напряжение считывания может влиять вдавливающая деформация мягкой кожи. Для устройства, носимого на мягкой коже, расчетные расхождения чувствительности будут иметь место, если использовать результаты тестирования на жесткой подложке. Чтобы точно рассчитать тактильное восприятие, нужно больше данных именно для мягкой кожи, чтобы компенсировать несоответствие напряжения по сравнению с жесткой подложкой. Поэтому ученые добавили тест чувствительности устройства на искусственной коже толщиной 1 см с модулем упругости 10 кПа (50:1 PDMS), 23 кПа (45:1 PDMS), 38 кПа (40:1 PDMS), 70 кПа (35:1 PDMS) и 135 кПа (30:1 PDMS). Испытанные напряжения считывания на искусственной коже были меньше, чем на жесткой подложке, потому что вдавливание искусственной кожи вызывает меньшее относительное расстояние прижатия между магнитом и катушкой. Кроме того, наклоны k напряжений считывания со скоростью нажатия на искусственной коже уменьшались по мере уменьшения модуля упругости.
Также были исследованы интерференционные сигналы датчиков, генерируемые движениями тела. Для обычной ходьбы и прыжков максимальные пиковые значения составляют всего 0.0086 и 0.013 мВ соответственно, что намного меньше, чем диапазон напряжения от 0.3 до 1 мВ для общего тактильного восприятия (2C и 2F). Следовательно, движения человека не будут вызывать помех или проблем для точности сенсорных характеристик устройства.
Затем был проведен тест с электронной кожи из 16 актуаторов, прикрепленной к коже человека. Когда на определенный привод нажимали пальцем, этот привод подавал отчетливый тактильный сенсорный сигнал (2K). Учитывая небольшую деформацию электронной кожи, вызванную нажатием, соседний привод также генерировал слабый сигнал. Эта особенность хорошо согласуется с реальным прикосновением к настоящей кожи, когда нажатие на один участок кожи вызывает тянущее ощущение на соседних участках.
Тактильная обратная связь
Изображение №3
Функция тактильной обратной связи гибкого актуатора (3A) также основана на законе электромагнитной индукции Фарадея. При подаче переменного тока гибкая катушка генерирует переменное магнитное поле (3B). Магнит, прикрепленный к тонкой пленке PDMS, производит периодические колебания под действием силы Лоренца этого переменного магнитного поля. Затем эти периодические колебания вызывают механическую обратную связь с кожей для тактильного воспроизведения. Характеристики тактильной обратной связи актуатора регулируются и могут быть настроены в зависимости от толщины пленки PDMS (3C).
Покрытие PDMS (5:1) наносили методом центрифугирования при 500, 400, 300 и 200 об/мин. После отверждения были получены четыре соответствующие пленки толщиной 188, 233, 345 и 490 мкм (3D). Гибкие актуаторы, собранные из этих четырех пленок, имели четыре резонансные частоты 100, 140, 195 и 300 Гц соответственно, что хорошо согласуется с результатами расчетов МКЭ (3E). Вибрации этих четырех приводов были записаны с помощью высокоскоростной камеры (видео №1).
Видео №1
Результаты показали, что чем толще пленка PDMS, тем выше резонансная частота. В общем случае резонансная частота (f) связана с эффективной жесткостью K∝Eh3 и эффективной массой (M) колебательной системы соотношением f = (K/M)0.5, (E — модуль упругости, h — толщина PDMS, M — масса магнита), поскольку пленка PDMS очень легкая по сравнению с магнитом. Таким образом, с одним и тем же магнитом резонансная частота привода будет увеличиваться с увеличением толщины PDMS. Следовательно, настроить резонансную частоту актуатора можно посредством разной толщины слоев PDMS.
Поскольку наша кожа наиболее чувствительна к механическим колебаниям в диапазоне частот от 100 до 300 Гц, ученые выбрали для электронной кожи актуатор с резонансной частотой ~200 Гц. Как показано на 3F, актуатор демонстрирует наиболее интенсивную вибрацию на своей резонансной частоте 195 Гц с амплитудой вибрации 201 мкм, что соответствует максимальному ощущению тактильной обратной связи. При отклонении частоты срабатывания от резонансной амплитуда колебаний магнита уменьшалась. Такое изменение вибрационного поведения одинаково для актуаторов с резонансными частотами 100, 140 и 300 Гц и максимальными значениями амплитуды 606, 245 и 60 мкм на их резонансных частотах. Все результаты испытаний основаны на подаче на актуатор синусоидального тока силой 50 мА.
Как показано на 3G, форма волны всех актуаторов во время цикла срабатывания имеет синусоидальную форму, которая согласуется с формой волны тока срабатывания. Более того, существует линейная зависимость между входным током и амплитудой колебаний магнита в актуаторе (3H).
В процессе срабатывания были зафиксированы пиковые и минимальные моменты в цикле, чтобы показать смещение магнита привода (3I). С помощью моделирования методом конечных элементов были смоделированы состояния актуатора в цикле вибрации с магнитом в нижнем, горизонтальном и верхнем положениях (3J и видео №2).
Видео №2
Когда актуатор прикладывается стороной магнита к коже, вибрации магнита создают тактильную обратную связь с телом пользователя. Кроме того, гибкий привод обладает более высокими характеристиками износоустойчивости по сравнению с традиционными жесткими эквивалентами. Для проверки этого было проведено сравнительное моделирование с гибким и жестким актуаторами, которые были эквивалентны мягкому PDMS (30:1) и квадратному листу из материала PI соответственно.
При наложении устройства на поверхность кожи с радиусом изгиба 28 мм результаты моделирования показали, что жесткий актуатор оказывает на кожу заметные нормальные и касательные напряжения, в то время как мягкий гибкий актуатор не оказывает на кожу заметных напряжений (3K). Следовательно, гибкий актуатор более удобен в использовании, особенно при ношении на участках кожи с большой кривизной поверхности.
Чтобы проверить, может ли актуатор эффективно вибрировать на искривленной поверхности, были рассчитаны распределения нормированных контактных напряжений (σN) на границе между поверхностью и актуатором, прикрепленным к недеформируемой и изгибаемой основе с радиусом кривизны R = 28 мм. Результаты моделирования (видео №3) показали, что контактные напряжения на недеформированной и искривленной основе не имеют существенной разницы в случае применения мягкого актуатора (3L).
Видео №3
Электронная кожа, интегрированная с вышеописанным гибкими сенсорными актуатором, может плотно прилегать к различным частям тела, таким как кисти, руки, грудь, спина и ноги (3M). Ранее сообщалось, что разные части тела по-разному воспринимают и распознают тактильную обратную связь. Чтобы исследовать способность этих частей тела распознавать тактильное воспроизведение разработанной электронной кожи, была проведена серия экспериментов с участием людей. После размещения электронной кожи на разных частях тела 12 человек и управления электронной кожей для выполнения различных моделей вибраций людей попросили распознать эти модели. Кисти и руки показали точность восприятия в 90%, затем шли грудь и ноги — 85% и спина — 60% (3N). Из этого следует, что верхние конечности демонстрируют более высокую чувствительность и способность к распознаванию тактильной обратной связи от электронной кожи, в то время как спина демонстрирует относительно более низкую чувствительность. Эксперименты с динамическими тактильными сигналами показали значительное улучшение восприятия на спине (до 88.75%) и на других частях тела (вплоть до 95%).
Беспроводная система электронной кожи
Изображение №4
Выше показана беспроводная система с модулями для тактильного восприятия и тактильной обратной связи, сенсорной передачи и сенсорной сети. Как показано на 4A, гибкая схема электронной кожи состоит из микроконтроллера со встроенным Bluetooth модулем, четырех 24-разрядных аналого-цифровых преобразователей, 16 гибких актуаторов, 16 электронных переключателей и 16 светодиодов.
Электрические сигналы, генерируемые актуаторами, соответствующими внешнему динамическому давлению, преобразуются в цифровые сигналы с помощью АЦП и отправляются в микроконтроллер через последовательный периферийный интерфейс. Когда электронная кожа испытывает внешнее динамическое нажатие, она отправляет эту тактильную информацию через Bluetooth. Когда другая электронная кожа получает тактильный сигнал, соответствующие приводы активируются и переключаются в режим тактильной обратной связи для тактильного воспроизведения и наоборот (4B).
Существует несколько способов передачи данных между несколькими устройствами Bluetooth: точка-точка, вещание и ячеистая сеть (4C). По сравнению с первыми двумя топологиями ячеистые сети имеют большее расстояние связи, больше подключенных узлов, повышенную надежность и большую скорость реагирования при межузловой связи. Чтобы сформировать носимую сенсорную систему, ученые подключили несколько устройств электронной кожи к ячеистой сети Bluetooth. События (данные), отправленные любым устройством в сети, могут быть получены другими устройствами в сети, что делает возможной передачу прикосновения аналогично видео и аудио.
Когда электронная кожа работает в режиме тактильной обратной связи, актуатор работает как линейный резонансный привод, обеспечивая вибрационную обратную связь. В модуле обратной связи имеется 16 актуаторов с соответствующими электронными переключателями (4A и 4D). Электронный переключатель содержит полевой транзистор на основе оксида металла и полупроводника с P-каналом, которым можно управлять с помощью включения/выключения входа на электрод затвора (4E). Состоянием включения/выключения электронного переключателя можно управлять с помощью низковольтных сигналов широтно-импульсной модуляции (ШИМ), выдаваемых через вход/выход общего назначения (GP I/O). Тем временем, 16 светодиодов используются для индикации рабочего состояния актуаторов. Модуль тактильного считывания использует 16 автоматических актуаторов совместно с модулем тактильной обратной связи, а также дополнительными четырьмя четырехканальными АЦП (4F). В этой схеме гибкое устройство действует и как тактильный датчик, и как актуатор. Электронная кожа может работать в режимах тактильного восприятия и тактильной обратной связи одновременно для разных актуаторов на одном устройстве, но эти режимы не могут работать одновременно на одном актуаторе.
Устройство электронной кожи поддается масштабированию матричным методом, а размер матрицы можно увеличить путем группирования 4×4 массивов, что увеличит площадь рабочего пространства. На 4G показан расширенный 6×6 массив. Форма устройства также может быть изменена, чтобы лучше прилегать к участкам кожи с разного рода изгибами (4H).
Практическое применение
Как отмечают ученые, сенсорный IoT может быть создан между несколькими пользователями, использующими электронную кожу, что позволяет осязанию быть объединенным в сеть так же, как слуху и зрению.
Изображение №5
Каждая электронная кожа содержит 16 актуаторов в 4×4 массиве, которые теоретически могут генерировать 65535 паттернов статической вибрации. С помощью ШИМ-сигналов, управляющих амплитудой, можно создавать бесконечное количество комбинаций вибрации (5A и видео №4).
Видео №4
Чтобы продемонстрировать практическое применение, был проведен тест, в котором два пользователя сидят в разных комнатах с электронной кожей, прикрепленной к руке (5B и видео №5). Когда пользователь 1 нажимал на электронную кожу на своей руке, пользователь 2 мог чувствовать прикосновение пользователя 1 через свою электронную кожу.
Видео №5
На 5C показана ячеистая сеть Bluetooth с четырьмя конечными точками. Когда на электронную кожу 1 совершалось нажатие, электронные кожи 2, 3 и 4 переходили в режим тактильной обратной связи для вывода тактильного воспроизведения с четырьмя горящими светодиодами, а при нажатии на электронную кожу 2 устройства 1, 3 и 4 переключились в режим тактильной обратной связи (видео №6).
Видео №6
Таким образом, может быть реализована сенсорная сеть «один ко многим». Поскольку в ячеистой сети нет ведущего или ведомого устройства, любая электронная кожа, которая отключается, не повлияет на нормальную работу сети.
На 5D показано несколько сценариев применения тактильного IoT (интернет вещей). Благодаря тому факту, что ячеистая сеть основана на Bluetooth с низким энергопотреблением, электронная кожа может напрямую связываться со смартфоном или компьютером с модулем BLE и передавать данные через интернет.
Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых и дополнительные материалы к нему.
Эпилог
В рассмотренном нами сегодня труде ученые продемонстрировали необычное устройство, которое способно считывать и передавать тактильные ощущения между пользователем и поверхностью или между двумя и более пользователями. Данное устройство, названное электронной кожей, оснащено датчиками, которые считывают давление, что является основным параметром прикосновения, и модулями обратной связи. Это позволяет создавать связь между двумя или более устройствами, каждое из которых сможет передавать на все другие полученную им сенсорную тактильную информацию.
Фактически, это позволяет людям на большом расстоянии передавать друг другу тактильные данные, т. е. прикосновения. Данное устройство также может применяться и в космосе, где тактильные ощущения ограничены ввиду громоздких скафандров, которые препятствуют прямому контакту астронавта с объектом. Эту проблему можно эффективно решить с помощью двух устройств электронной кожи, которым можно придать определенную форму в соответствии с конструкцией скафандра. Когда одна электронная кожа находится близко к коже астронавта, а другая находится снаружи скафандра, сенсорные ощущения могут передаваться между двумя устройствами и воспроизводиться, так что человек может чувствовать сенсорное взаимодействие с внешней средой. Тактильная электронная кожа также может применяться и в медицине, а именно в дистанционной диагностике, где помимо звуковых и видео данных можно будет использовать и тактильные для формирования более точного диагноза. Людям с ограниченными возможностями такое устройство также может стать весьма полезным. Не говоря уже о том, как сильно может измениться технология виртуальной/дополненной реальности, где ранее могли использоваться только аудио и видео сигналы.
Немного рекламы
Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
Dell R730xd в 2 раза дешевле в дата-центре Maincubes Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?
