Представьте себе, что вы сидите за компьютером и набираете текст, играете на фортепиано или просто стучите пальцами по столу от скуки. Каждое движение пальца, каждое постукивание генерирует уникальную в своем роде вибрацию, проходящую от фаланги к основанию кисти.
Исследователи из Швейцарской высшей технической школы Цюриха (ETH) нашли применение этой физической особенности человеческих рук в своем изобретении — двухсенсорном браслете, позволяющем напрямую взаимодействовать с виртуальными объектами.
Виртуальная реальность уже широко применяется в различных сферах, но нужна в основном для поглощения контента, а не для его создания. Но швейцарские ученые на пути к разрешению этой несправедливости.
Один из профессоров ETH, Кристиан Хольц, видит в VR-технологиях потенциальную замену десктопным ПК. По его мнению, «отвязка от экрана» позволит в полной мере задействовать виртуальное пространство: разместить вокруг себя «рабочие инструменты» и взаимодействовать с ним наиболее естественным путем – руками.
Почему до сих пор нет виртуальных компьютеров с безграничным количеством мониторов и периферии? Хольц говорит, что все дело в отсутствии нормальных механизмов взаимодействия между человеком и VR-объектами. Сейчас VR-системы оснащаются не только шлемами/очками, но и специальными контролерами и камерами, чтобы фиксировать движения пользователя. О какой продуктивности и сосредоточенности на работе может идти речь, когда приходится взаимодействовать с такой изощренной системой?
Вторая проблема заключается в том, что при наборе текста на клавиатуре руки двигаются не так, как при игре в теннис, поэтому камере сложно зафиксировать и корректно интерпретировать движение конечностей. К тому же в этом случае отсутствует физическая отдача.
Команда Хольца смирилась с тем, что без дополнительных пассивных интерфейсов не обойтись, но решила их переосмыслить, превратив в такой интерфейс пальцы рук и их уникальные вибрации, возникающие при касании любой твердой поверхности. Для реализации идеи была создана технология TapID, которая будет представлена на конференции IEEE VR в конце марта 2021 года. Туда Хольц и его команда привезут прототипы TapID в виде мультисенсорных резиновых браслетов.
Сенсоры в браслете регистрируют момент соприкосновения пальца с любой поверхностью и сообщают системе, какой из пальцев использовал человек. Для этого сенсор анализирует вибрацию в основании кисти и, опираясь на характеристики этой вибрации, определяет, какой палец используется в текущий момент времени. Браслет работает вкупе с камерой, установленной в VR-очки, и продвинутой нейросетью, разработанной специально для TapID. Вместе они позволили исследователям достичь крайне высокой точности фиксации «нажатий» на виртуальные клавиши. Разработчики TapID уже продемонстрировали свое детище в работе на примере двух приложений: виртуальной клавиатуры и виртуального фортепиано.
Хольцу особенно нравится виртуальное фортепиано: он считает его наиболее удачным приложением для демонстрации возможностей TapID, потому что в нем важно учитывать и точность расположения пальцев, и тайминг нажатий (ведь в противном случае в мелодии появятся лишние диезы, да и в ритм попасть не получится). Технология TapID отлично справляется с фиксацией времени нажатия за счет использования браслета вместо камер.
Но специализированный браслет может и не понадобиться. Исследовательская команда ETH протестировала разработку на 18 умных браслетах и убедилась, что любой из них может стать основой для TapID, потому что во всех подобных устройствах есть гироскоп.
Также Хольц верит в то, что разработка его команды упростит развитие так называемой мобильной виртуальной реальности.
В мечтах Кристиана Хольца будущее, в котором люди могут использовать виртуальное пространство для совместной работы и не чувствовать никаких ограничений, связанных с аппаратным обеспечением. И TapID, кажется, должен стать ключом к стремительному развитию технологий в этом направлении.
Исследователи из Швейцарской высшей технической школы Цюриха (ETH) нашли применение этой физической особенности человеческих рук в своем изобретении — двухсенсорном браслете, позволяющем напрямую взаимодействовать с виртуальными объектами.
Виртуальная реальность уже широко применяется в различных сферах, но нужна в основном для поглощения контента, а не для его создания. Но швейцарские ученые на пути к разрешению этой несправедливости.
Один из профессоров ETH, Кристиан Хольц, видит в VR-технологиях потенциальную замену десктопным ПК. По его мнению, «отвязка от экрана» позволит в полной мере задействовать виртуальное пространство: разместить вокруг себя «рабочие инструменты» и взаимодействовать с ним наиболее естественным путем – руками.
Каждый палец вибрирует по-своему
Почему до сих пор нет виртуальных компьютеров с безграничным количеством мониторов и периферии? Хольц говорит, что все дело в отсутствии нормальных механизмов взаимодействия между человеком и VR-объектами. Сейчас VR-системы оснащаются не только шлемами/очками, но и специальными контролерами и камерами, чтобы фиксировать движения пользователя. О какой продуктивности и сосредоточенности на работе может идти речь, когда приходится взаимодействовать с такой изощренной системой?
«Если вам придется постоянно держать руки на весу (чтобы их засекла камера), то вы быстро устанете. А работать зачастую приходится по несколько часов без перерыва», — добавляет Хольц.
Вторая проблема заключается в том, что при наборе текста на клавиатуре руки двигаются не так, как при игре в теннис, поэтому камере сложно зафиксировать и корректно интерпретировать движение конечностей. К тому же в этом случае отсутствует физическая отдача.
Команда Хольца смирилась с тем, что без дополнительных пассивных интерфейсов не обойтись, но решила их переосмыслить, превратив в такой интерфейс пальцы рук и их уникальные вибрации, возникающие при касании любой твердой поверхности. Для реализации идеи была создана технология TapID, которая будет представлена на конференции IEEE VR в конце марта 2021 года. Туда Хольц и его команда привезут прототипы TapID в виде мультисенсорных резиновых браслетов.
Сенсоры в браслете регистрируют момент соприкосновения пальца с любой поверхностью и сообщают системе, какой из пальцев использовал человек. Для этого сенсор анализирует вибрацию в основании кисти и, опираясь на характеристики этой вибрации, определяет, какой палец используется в текущий момент времени. Браслет работает вкупе с камерой, установленной в VR-очки, и продвинутой нейросетью, разработанной специально для TapID. Вместе они позволили исследователям достичь крайне высокой точности фиксации «нажатий» на виртуальные клавиши. Разработчики TapID уже продемонстрировали свое детище в работе на примере двух приложений: виртуальной клавиатуры и виртуального фортепиано.
Смарт-часы помогут людям играть на виртуальном пианино
Хольцу особенно нравится виртуальное фортепиано: он считает его наиболее удачным приложением для демонстрации возможностей TapID, потому что в нем важно учитывать и точность расположения пальцев, и тайминг нажатий (ведь в противном случае в мелодии появятся лишние диезы, да и в ритм попасть не получится). Технология TapID отлично справляется с фиксацией времени нажатия за счет использования браслета вместо камер.
Но специализированный браслет может и не понадобиться. Исследовательская команда ETH протестировала разработку на 18 умных браслетах и убедилась, что любой из них может стать основой для TapID, потому что во всех подобных устройствах есть гироскоп.
Также Хольц верит в то, что разработка его команды упростит развитие так называемой мобильной виртуальной реальности.
«TapID – портативная разработка, ее можно использовать даже на ходу. Можно создать вокруг себя виртуальное рабочее пространство в любом месте и в любое время», — добавил профессор.
В мечтах Кристиана Хольца будущее, в котором люди могут использовать виртуальное пространство для совместной работы и не чувствовать никаких ограничений, связанных с аппаратным обеспечением. И TapID, кажется, должен стать ключом к стремительному развитию технологий в этом направлении.
