Виртуальная реальность стала вполне реальной в современном мире, уж простите за каламбур. Когда-то эта технология считалась научной фантастикой, но сейчас любой, имеющий достаточно средств, может приобрести себе развлекательную систему VR (виртуальной реальности). VR используется не только для развлечения, но и для обучения, и даже для лечения различных психических расстройств. Однако среда виртуальной реальности все же не является настоящей, так как в ней не хватает многих аспектов реального мира. Одним из этих аспектов является запах. Ученые из Стокгольмского университета (Швеция) разработали устройство, способное дополнить виртуальную реальность реальными ароматами. Из чего состоит устройство, как оно работает, и где может быть использовано? От этом мы узнаем из доклада ученых.
Основа исследования
Окружающая среда для человека является набором данных, полученных из нескольких сенсорных источников одновременно. Отсутствие или же нарушение работы одного из них приводит к неполной картине мира. В вопросе того, какой из органов чувств, стоит считать самым важным пока нет консенсуса, и его не будет. Ведь все они в равной степени важны, что видно по многочисленным исследованиям зрения, слуха, обоняния и т. д. Касательно последнего дополнительным толчком к более детальному изучению стала пандемия Covid, одним из симптомов которой является нарушение обоняния.
Изучение обоняния и того, как наш мозг воспринимает и обрабатывает запахи, является одним из важных аспектов изучения работы мозга в целом. Авторы рассматриваемого нами сегодня труда предложили использовать для этого среду виртуальной реальности. Они разработали устройство, которое может генерировать запахи предметов, с которыми взаимодействует человек и которые присутствуют исключительно в виртуальной реальности.
Внутри устройства
Изображение №1
На данный момент уже существуют подобные обонятельные устройства, которые называют «обонятельными дисплеями». Но большинство из них монтируется в шлем VR. В данном же труде ученые создали устройство, которое монтируется на контроллер (фото выше). Диаметр устройства составил 10 см, высота — 15 см, а масса — 432 грамма. Все детали изготовлены из пластика PETG и Ninjaflex, напечатанного на 3D-принтере, за исключением основной трубы, которая изготовлена из анодированного алюминия для более эффективной очистки. По словам ученых, оценочная стоимость материалов для изготовления одного такого устройства составляет 150 долларов.
Обонятельный дисплей содержит 4 ароматических резервуара. Испарение происходит в камерах, содержащих губчатый материал, пропитанный жидкими ароматизаторами. Смешивание достигается с помощью напечатанных на 3D-принтере вращающихся бесступенчатых клапанов, приводимых в действие стандартным сервоприводом RC (Tower Pro-Servo SG90).
Уровень интенсивности запаха не был линейной функцией положения клапана, вместо этого было откалибровано ряд (10) различных уровней, подходящих для смешивания запахов. В результате было проведено по 20 испытаний для каждого из 10 уровней.
Изображение №2
Для каждого запаха имеется два клапана, один на входе в контейнер и один на выходе. Когда определенный аромат не используется, эти клапаны плотно закрываются, предотвращая просачивание (фото и схема выше). Клапаны управляют двумя потоками воздуха, одним чистым и одним ароматизированным. Клапаны смешивают чистый воздух с ароматизированным воздухом пропорционально, так что два воздушных потока уравновешиваются, а общий воздушный поток остается постоянным. Воздушный поток создается одним вентилятором, который доставляет ароматы к носу пользователя. Сервоприводы и вентилятор потребляют 2.2 Вт, а питание подается от аккумулятора.
Высвобождение аромата может быть вызвано несколькими способами. Один из вариантов — позволить пользователю активировать выпуск запаха, нажав кнопку на контроллере HTC Vive. Вторым вариантом является пассивное выделение запаха, рассчитанное на основе близости ручного контроллера к наголовному дисплею.
Обонятельный дисплей управляется Raspberry Pi Zero W и контроллером Adafruit 815 PWM/Servo. Устройство можно запускать с компьютера через WIFI, настроив Raspberry Pi в качестве WIFI точки доступа. Связь основана на протоколе Open Sound Control (OSC), а вся программная составляющая выполнена на Python 2.7.1.
Подготовка к опытам
Для измерения выхода и времени отклика обонятельного дисплея использовался фотоионизационный детектор (PID от photo-ionization detector). В качестве отдушки использовался изоамилацетат, 0.25 мг которого поглощалось куском Wettex ткани размером 25 × 10 мм (примерно 0.07 г), помещенным в один из контейнеров обонятельного дисплея. Скорость воздушного потока была откалибрована до 1.0 м/с (т. е. 15 л/мин при внутреннем радиусе трубки 9 мм).
В ходе опытов проводилась регистрация выходных сигналов PID и триггерных сигналов обонятельного дисплея, которые генерировались Raspberry Pi непосредственно перед срабатыванием.
Проводилось непрерывное измерение потока 20 подач запаха продолжительностью в 3 секунды и с перерывами в 20 секунд. Наличие обонятельного стимула (запаха) характеризовалось повышением уровня ионизации на 10% C/Cmax с последующим резким подъемом. Время нарастания измерялось как время, прошедшее от 10 % до 75 % уровня ионизации.
Ученые отмечают, что ключевой функцией цифровых обонятельных дисплеев является возможность регулировать интенсивность запаха. Это обеспечивает, среди прочего, возможность создания смесей (одновременная стимуляция более чем одного запаха) при сохранении постоянной интенсивности запаха за счет уменьшения объемов его составных частей. В данном устройстве это было достигнуто за счет пропорционального регулирования смеси ароматизированного воздушного потока с контрольным (не ароматизированным) воздушным потоком. Следовательно, коэффициент открытия клапана определял степень ароматизации. Опыты проводились при пяти различных номинальных значениях коэффициента: 1, 0.8, 0.6, 0.4 и 0.2. В данном случае 0 обозначает полное отсутствие ароматизированного потока, т. е. клапан полностью закрыт, а 1 — клапан полностью открыт.
Изображение №3
На графике 3a показан зарегистрированный уровень ионизации как функция времени для пяти различных номинальных уровней (1, 0.8, 0.6, 0.4 и 0.2), а также записанный сигнал запуска от порта GPIO Raspberry Pi. Таблица 1 и графики 3b-3d показывают измерения трех наборов уровней (т. е. квинтилей, квартилей и терцилей).
Таблица №1
Чтобы проверить обонятельный дисплей для повторного использования, ученые использовали два метода. Сначала они сравнили разницу между ранней и поздней стимуляцией запахом в серии из 60 различных стимуляций, затем позволили обонятельному дисплею непрерывно излучать запах в течение 10 минут и сравнили излучаемый запах в начале и в конце, чтобы измерить надежность стимуляции.
Было рассчитано среднее значение первых семи предъявлений стимула, где стимул определялся как запах, исходящий от устройства в течение времени, начиная с которого величина запаха превышала 10 % от Cmax до тех пор, пока она снова не опускалась ниже 10 % от Cmax. Эти результаты сравнивались с результатами последних семи презентаций, определенных аналогичным образом. На 4а показано, что средние значения первых и последних семи испытаний из 60 полных представлений запаха были близки к идентичным.
Изображение №4
Во втором методе оценки стабильность доставки запаха с течением времени измерялась с помощью PID, где выходной сигнал регистрировался для 10-минутного непрерывного выделения запаха с максимальной интенсивностью.
Разница в процентах между первой и последней минутой записи использовалась как мера стабильности. Разница была на 9.2% меньше для последней минуты по сравнению с первой. На 4b показано среднее значение с окном непрерывной интенсивности в 1 секунду в течение 10 минут.
Определив, что выход аромата из устройства стабилен, а смешивание происходит по установленным параметрам, ученые приступили к практическим испытаниям, в которых приняли участие люди.
Основной задачей опытов с испытуемыми был вопрос — предоставляет ли обонятельный дисплей какие-либо уникальные взаимодействия, влияющие на опыт человека в аспекте пользования VR. В частности, ученые отслеживали поведение людей, которое свидетельствовало о «погружении», т. е. более сильном восприятии виртуальной среды как реальной.
Изображение №5
В серии опытов приняли участие 12 человек (7 женщин и 5 мужчин) со средним возрастом 31.1 года. Виртуальная среда, где проводили наблюдения, представляла собой винный погреб. Испытуемый стоит в винном погребе, а перед ним расположено 5 бокалов (5a). Задача состоит в том, чтобы взять в руки бокал, нажать на кнопку на контроллере, чтобы выпустить запахи, и угадать их содержимое (5b). Рядом «висела» таблица, куда испытуемые должны были указать, тем самым определяя бокал к тому или иному варианту. Если ответ верный — круг загорался зеленым, а если нет — красным. За правильные ответы каждый испытуемый получает очки.
Демонстрация виртуальной среды проведения опытов.
Таким образом, данную симуляцию можно назвать своеобразной игрой на угадывание ароматов. Каждая игровая сессия состояла из одного раунда на каждом из 4 уровней сложности. В каждом раунде было 8 проб (т. е. 8 бокалов на столе), которые состояли из четырех разных запаховых стимулов (отдельных запахов или смесей) с двумя повторениями. В общей сложности участники провели 4 сеанса × 4 уровня × 4 запаховых стимула × 2 повторения = 128 испытаний. Уровень 1 знакомит игрока с отдельными запахами (например, 100% груши). Затем сложность игры возрастает (5d) за счет представления смесей запахов. На уровне 2 использовалась 50/50 смесь (например, 50% груши и 50% ванили). На уровне 3 один доминирующий запах смешивался с двумя более слабыми (например, 50% груши, 25% ванили и 25% лимона). Наконец, на уровне 4 игроку предоставлялись три одинаково сильных запаха (например, по 33% груши, ванили и лимона). По завершению игры все участники проходили небольшой опрос.
Результаты опытов
Изображение №6
Результативность игры измерялась точностью определения аромата, которую выражали в виде процента правильных ответов. Самая высокая точность составила 76.6%, а самая низкая — 35.2%. Чтобы проиллюстрировать индивидуальные различия и результаты в разных сеансах, на график нанесены средние значения точности для сеансов с красным вином (6a) и белым вином (6b).
Далее была проведена оценка стабильности повторных тестов посредством сопоставления индивидуальных баллов между четырьмя сеансами. Как правило, корреляции между тестом и повторным тестом рассчитываются с одинаковыми стимулами для разных сеансов, и следует исходить из того, что любые изменения в задаче уменьшают корреляцию.
Поскольку участники использовали разные букеты для сессий 1–2 (красное вино) и 3–4 (белое вино), ожидались более высокие положительные корреляции между тестами и повторными тестами, когда букеты были одинаковыми, и ниже, когда разные. Действительно, производительность сильно коррелировала между сеансами, когда запахи были одинаковыми (1–2 и 3–4), и умеренно коррелировала, когда запахи были разные (6c). Этот результат указывает на то, что индивидуальные оценки отражают различия между участниками в их обонятельных способностях, иначе эта картина корреляций не проявилась бы. По мнению ученых, это указывает на то, что данную методику можно в будущем использовать для оценки обонятельных способностей человека.
На 6d показаны различия в производительности между четырьмя уровнями, т. е. средний балл за четыре объединенных сеанса. Повторные ANOVA измерения показали, что средние баллы статистически значимо различались между четырьмя уровнями сложности, F (1.76, 19.4) = 38.8.
Этот анализ подтвердил вполне очевидное умозаключение, что определение смесей запахов является более сложной задачей, чем определение индивидуального запаха. Однако среднее время выполнения задания (без оглядки на успешность) уменьшалось от уровня 1 до уровня 4 (с 18.5 минут до 13.1 минуты). Это свидетельствует о привыкании испытуемых к среде проведения опыта.
Как уже было сказано ранее, после опытов участники прошли небольшой опрос, нацеленный на оценку их личных впечатлений от использования системы.
При оценке того, как воспринималась немедленная доставка запаха, участники оценили ее как быструю (M = 5.3) по шкале Лайкерта от 1 (очень медленно) до 7 (моментально). Напротив, участники в некоторой степени осознавали наличие устройства внутри виртуальной среды (M = 3.5), оценивая их по шкале Лайкерта от 1 (устройство не ощущается вообще) до 7 (полная осведомленность о наличии устройства). Испытуемым также был задан весьма любопытный вопрос — откуда исходил запах? Пятеро ответили, что от бокала, а 7 — от устройства.
Удобство использования устройства также было оценено испытуемыми. Большинство оценило его как удобное, но были и недостатки, вызывающие дискомфорт: вес устройства, наличие кабеля, тактильные ощущения и звук вентилятора внутри устройства.
Изображение №7
Во время проведения опытов поведение испытуемых также было любопытным. Они производили действия и движения с виртуальным бокалом, будто он реален: вращали его (в попытке усилит аромат), пытались вылить содержимое и т. д. При этом некоторые испытуемые утверждали, что после вращения бокала (7a) аромат был более выраженным. Другие же применяли иную тактику (7b) — отводили бокал от носа или нюхали что-то другое, чтобы «перезапустить нос» (как заявляли сами испытуемые). Такие движения присущи людям, которые дегустируют вино в реальности. Следовательно, подобное поведение в виртуальном мире свидетельствует о более сильном погружении. Также были и те, что варьировали расстояние между носом и бокалом (7c).
В целом, было обнаружено, что надежность устройства, установленная в ходе исследования газового датчика, была дополнительно подтверждена в ходе опытов с пользователями, где наблюдались устойчивые индивидуальные различия в производительности.
Проиллюстрированные игровые данные (6a-6b) показывают, что производительность участников была относительно стабильной, при этом индивидуальные средние баллы не менялись более чем на 20% между сеансами с использованием одних и тех же ароматов, а баллы большинства участников менялись менее чем на 10% между сеансами. Такая стабильность указывает на то, что обонятельный дисплей отлично подходит для оценки индивидуальной обонятельной способности.
Ученые отмечают, что эвристики являются важным источником удовлетворения и вовлеченности в игру, поскольку они подразумевают приобретение навыков с течением времени. Их появление в исследовании свидетельствует о том, что участники были вовлечены в процесс, несмотря на виртуальную среду его проведения. Движения некоторых участников, которые свойственны дегустаторам, показывают, что они на некоторое время перестали задумываться о том, что они находятся в виртуальной среде и являются участниками опыта.
Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых.
Эпилог
В рассмотренном нами сегодня труде ученые продемонстрировали весьма необычное изобретение — обонятельный дисплей для виртуальной реальности. Данное устройство содержит контейнеры с несколькими запахи, которые могут смешиваться в разных пропорциях. Устройство присоединено к контроллеру и высвобождает аромат нажатием кнопки. Тестировалась новинка в условиях виртуального винного погреба, где испытуемые должны были определить запахи, исходящие от виртуальных бокалов.
На первый взгляд может показаться, что такое устройство это ничто иное как замысловатая и странная игрушка, позволяющая усилить вовлеченность игроков в среду виртуальной реальности. Однако у данной разработки есть и куда более полезное практическое применение.
К примеру, как считают сами разработчики, человек, частично утративший обоняние ввиду Covid (или других причин) может теоретически восстановить его посредством тренировок в игровой форме. Тренировка обоняния является вполне действенной методикой его восстановления, которую рекомендуют некоторые медики. Однако многие пациенты прекращают тренировку, так как она скучна. Если же преобразовать данную тренировку в игровую форму, то процесс не будет казаться столь муторным.
Авторы исследования надеятся, что их творение, которое находится в открытом доступе, станет полезным инструментом для разработчиков игр, которые захотят сделать свой продукт более реальным и повысить вовлеченность игроков.
Немного рекламы
Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
Dell R730xd в 2 раза дешевле в дата-центре Maincubes Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?
