Comments 74
Сейчас на Oculus Quest 2 вполне работает управление пальцами без контроллеров, не очень удобно, не во всех приложениях, но работает. Чтобы ютубом управлять достаточно. Там используются обычные камеры. Так что со временем это сможет развиться и перейти и в другие сферы.
Я как раз зашел, чтобы написать коммент про управление руками в Oculus Quest (в первой версии тоже отлично работает). Насколько я помню release notes там используется нейросеть для разпознавания пальцев, и работает все через камеру, без использования лидара.
Alex_Donchuk автор, я думаю что разработка очень перспективная, с учетом того, что вебкамера сейчас висит почти над каждым монитором, но конечно придется отвязаться от лидара, иначе пользователей не найдете.
А еще вас может купить Эппл, с их любовью к таким фишкам и учитывая встроенный в новый процессор нейросетевой ускоритель.
Почему нельзя вращать/качать головой? Тем более, что взгляд (и нос) устремляется туда, куда нужно сделать перемещение?
Например, нажимаешь «шифт» активируется функция камеры и смотришь куда надо, глаза и нос указывают в точку на экране. Бросаешь клавишу «шифт» — можно печатать текст.
Пассивный — чтобы не нужны были аккумуляторы и следовательно вес. Как пластырь/татуировка.
А было бы точнее проще в реализации и удобнее перчатки с маячками и камера? Руку детектировать сложнее, руки разные бывают
мыши, которая трением убирает дрожание руки.
Не столько трением, сколько массой.
Если вы видели профессиональные игровые мышки, то обратили внимание что к ним идёт набор грузов. Масса мыши подбирается в зависимости от силы руки.
Такая проблема есть и при использовании мыши, в графических редакторах часто решается нажатием клавиши-модификатора, которая увеличивает "масштаб движения" мыши (курсор проходит меньше за то же движение рукой" или делает это параллельно с увеличением картинки (что видно отдельные пиксели как крупные квадратики). Что-то похожее можно и для управления руками использовать, когда нужно пиксели двигать.
Попробовать бы сперва, вдруг наоборот станет лучшим контроллером всех времён? В теории-то все новое должно проваливаться, однако некоторые новинки прочно поселяются в повседневной жизни.
Согласен. Плюс задержка будет, какая бы маленькая она не была. Да и как-то резко переходить от огромной игровой мыши к воздуху, не совсем удобно :)
А если, чисто теоретически, использовать только жесты, где пальцы должны касаться друг друга? Обучаем детектор, чтобы он реагировал только на соответствующие комбинации пальцев, а физическая обратная связь получается "сама собой".
Самый примитивный вариант: жест "ок" используется как аналог зажатой левой кнопки. Сцепили пальцы и двигаем руку — то же самое, как если бы тащили что-то курсором. Расцепили — перестали тащить.
Не знаю, может, так и используют такие жесты? Или нет?
Имелось ввиду скорее всего касание, а не нажатие (можно настроить касание как клик софтово) — вся поверхность мыши (включая место под ладонью) может распознавать 5 тачей одновременно. Т.е по ней можно тапать 2-3 пальцами, драгать в разные стороны разным количеством пальцев — это все распознается как разные жесты. Все то же самое относится и к внешнему тачпаду. Софт для настройки, например, этот http://magicprefs.com (скорее всего не работает на последней macos).
А по теме статьи: для жестовых устройств нужно гораздо больше жестов, чем кажется на первый взгляд. Жест «подвинуть курсор на полэкрана» должен отличаться от «подвинуть на пару пикселей», например. Дочно так же «прокрутить страницу» и «скролл на одну строку» и т.п. Выделение текста мышью или последовательное выделение графических объектов, расположенных в хаотическом порядке — тоже задача для жестовых устройств нетривиальная.
К тому же, глядя на изображения вижу потенциальную проблему с безопасностью, т.к. можно считывать набираемые на клавиатуре данные. Зато, можно сразу же делать и замену клавиатуре. Будет 2 в 1. И в качестве переносного девайса — вполне себе хороший вариант.
Лично мне классический вариант точно подходит, поскольку бо´льшую часть времени рука просто лежит на мышке и не напрягается. Да и мышку я привык двигать не кистью, а пальцами. При этом варианте лично у меня рука почти не напрягается.
Вот для разных жестов — да, вполне вариант.
Сложновато немного написано. Как человек не особо шарящий — я не сразу все понял.
Все равно огромное спасибо за информацию
DELETED
Я сам таким занимался лет 5 назад, правда без лидара и с высокоскоростными камерами от PS2. В итоге пришел к тому, что носимый акселерометр (в виде перстня) гораздо практичнее.
Единственное «но»: реализация очень интересная, но, ИМХО, чисто как пет-проект, так как слишком уж дорогая, требовательная к ресурсам и громоздкая замена мышке получается, а сейчас рынок требует мобильности.
Мышка будет ничуть не дешевле, если вы будете её в единственном экземпляре делать.
Но производство сотнями миллионов экземпляров — кардинально меняет стоимость мыши.
Сравнивать серийное производство и штучное экспериментальное производство — смысла нет никакого.
Разница в цене и в 1000 раз может быть.
сначала нужно избавиться от шума
p.s. если камера не шумит, можно воспользоваться совокупными данными с depth камеры и обычной — приняв за точку отсчета координат данные именно с малошумящей камеры, а лидар использовать как инструмент распознавания объектов.
p.p.s. нарисуйте на пальцах простой для распознавания контрастный узор, и пользуйтесь двумя обычными камерами, смотрящих на руки.
А вот если бы просто отслеживаться кисть руки. Допустим указательный палец на коврике. Провел по коврику, передвинул курсор в нужном направлении, оторвал указательный от поверхности, прекратился трекинг. Стукнул указательным пальцем по коврику — клик. Стукнул кулаком по столу, компьютер отключился )) Как то так. В принципе ту же камеру с лидаром можно использовать для отслеживания руки и высоту указательного пальца относительно других. Получается мышка с как минимум четырьмя кнопками или пятью если отслеживать и большой палец. Плюс возможные комбинации и жесты.
Мне кажется такой вариант будет даже удобнее мышки. Я просто раньше думал попробовать сделать так на основе четырех микрофонов приставленных к поверхности стола, а на указательный палец надевать что то вроде наперстка. Но не был уверен хватит ли чувствительности, что бы определить положение пальца, да и с наперстком на пальце не так уж и удобно ))
Все таки основная проблема массового использования такого решения, это «лень».Для компенсации недостатка физической активности можно чаще выбираться на природу на выходных или походить в тренажёрный зал, фитнес-центр. А на работе надо думать о работе, а не о напряжении каких-то групп мышц.
одна из причин не популярности VR шлемов в том, что ни кто не хочет ходить по комнатеНикто не хочет таранить столы и кресла, врезаться в шкафы и спотыкаться о табуреты и пуфики. Странно, правда? Но проблема на самом деле в другом — эта игрушка быстро надоедает, при том, что стоит немало.
Допустим указательный палец на коврике. Провел по коврику, передвинул курсор в нужном направлении, оторвал указательный от поверхности, прекратился трекинг. Стукнул указательным пальцем по коврику — клик.
Мне кажется, или вы изобрели тачпад?
Ну да, похоже, только с тачпадом надо руку поднимать и возить пальцем по нему. А в таком варианте рука лежит на поверхности стола и отслеживается указательный палец если он на столе. Приподнял палец и трекинг прикратился. Думаю не так напряжно для руки будет и не надо мышь держать.
В последнее время руки стали уставать, пробовал вертикальную мышку, но я ее сбиваю нафиг когда от клавиатуры к ней руку веду. Бросил. А а вот с тренингом руки мне кажется для здоровья лучше.
Ну да, похоже, только с тачпадом надо руку поднимать и возить пальцем по нему.
А зачем отрывать? У меня нет под рукой условного макбука, но сомневаюсь, что даже на самом крупном таче придётся отрывать запястье от стола. Если речь про его расположение под клавиатурой, то существуют внешние.
Или речь про размеры площадки, сравнимые с игровыми поверхностями для мышек (40х50см и больше)? А зачем? Качественный тачпад 10х15 для бытовых задач достаточен. Надо больше — Wacom в помощь. Там и А3 размер есть.
Запястье да, лежит на столе, но пальцы надо держать на весу. Получается кисть руки загнута вверх, что неестественно и первое время даже мышцы предплечья напряжены. Потом привыкаешь конечно. Посмотрите обзоры трекпада на Ютубе, там видно как люди держат руку.
В любом случае конечно это очень дорогой огород в сравнению с трэкпадом или тачпадом. Камера стоит 350 баксов, но может придумают со временем что поудобнее.
В качесте proof-of-concept очень круто. Можно потом применять в более подходящих целях.
IMHO, лучший манипулятор графической информации это трекбол. Всё, что требует более или менее длительного нахождения даже пальца на весу и не фильтрует дрожание руки, мягко говоря не очень эргономично.
Для повседневной работы за компьютером да, намного удобней всего и очень устраивает, причем не важно какой он.
Уже восемь лет пользуюсь трекпадами apple, второй версии вообще хороший. По началу указательный палец был сильно напряжен и быстро уставал, но через короткий промежуток времени так привык, что вообще рука/палец не устает ни капли, а пользоваться одно удовольствие. Разницы в точности лично у меня нет, что там, что там отлично. Единственное для чего не подходит — игра в шутеры.
Для такого способа ввода, нужно сразу разрабатывать оболочку для операционки, заточенную на жесты, а не под физическую мышьку.
Пора избавляться от мышки или Hand Pose Estimation на базе LiDAR за 30 минут