Комментарии 19
www.youtube.com/watch?v=6lxGU66w0NM
Вот тут есть пара таких «вкраплений», с видом от первого лица.
Вот тут есть пара таких «вкраплений», с видом от первого лица.
Первая и главная проблема, полагаю это чисто техническая, решаемая исключительно высокой стоимостью и весом устройства — это низкие углы обзора.
Вторая проблема, которую майкрософт так и не решила — это низкое качество трехмерного сканирования для наложения виртуальных объектов на реальный мир, все прыгает и скачет. Управление руками лагает и глючит. Играть и работать с этим никто не будет. На текущий момент похоже это можно решить только дополнительными устройствами/сканерами (тяжелыми и дорогими), метками и джойстиками, по крайней мере никто красивых решений не показывал.
Лично я для джойстиков-пальцев посоветовал бы хардварным разработчикам для управления использовать простые кольца на руках со спец-тиснением (или например видимых только в ИК), это сильно повышает точность и скорость. А еще не пытаться все снимать статичной камерой, пусть их будет 2-3 с управляемым углом (пусть следят за руками), это не так дорого как кажется (не нужны сервы, ведь тут не нужна микронная точность, хватит простых электромагнитов и легких зеркал).
Углы зрения (наложения изображения или field of view) у первой версии были — 30x17.5 градусов.Такой маленький угол обзора ограничивает применение до исключительно в рабочей области, т.е. повесить сбоку на периферии информационное табло, чтобы можно было к нему обращаться только меняя угол взгляда — не получится. Постоянно вращать головой с тяжелым устройством — это ад и мазохизм. Если ради развлечения народ еще может потерпеть пол часа — час, то работать 8 часов с этим никто не согласится или потребует доплату.
У второй версии чуть чуть побольше, 43x29 (кстати разные источники говорят разное, одни про 70 но это они пытаются рассчитывать углы на 16:9 область видимости, когда как для обоих моделей она примерно 3:4).
Вторая проблема, которую майкрософт так и не решила — это низкое качество трехмерного сканирования для наложения виртуальных объектов на реальный мир, все прыгает и скачет. Управление руками лагает и глючит. Играть и работать с этим никто не будет. На текущий момент похоже это можно решить только дополнительными устройствами/сканерами (тяжелыми и дорогими), метками и джойстиками, по крайней мере никто красивых решений не показывал.
Лично я для джойстиков-пальцев посоветовал бы хардварным разработчикам для управления использовать простые кольца на руках со спец-тиснением (или например видимых только в ИК), это сильно повышает точность и скорость. А еще не пытаться все снимать статичной камерой, пусть их будет 2-3 с управляемым углом (пусть следят за руками), это не так дорого как кажется (не нужны сервы, ведь тут не нужна микронная точность, хватит простых электромагнитов и легких зеркал).
Неплохой маркетинг и минимум технических деталей.
Когда можно ждать более техническую статью? С ценами, разрешением, доступностью, ссылками на API / доки, временем работы и прочими немаркетинговыми вещами.
Когда можно ждать более техническую статью? С ценами, разрешением, доступностью, ссылками на API / доки, временем работы и прочими немаркетинговыми вещами.
Увидел врачей, сразу подумал про GITS.
Я надеюсь что эта технология будет жить и развиваться.
Я надеюсь что эта технология будет жить и развиваться.
Интересно, как решили и решили ли вообще проблему синхронизации виртуального и реального миров? Ну, типа, чтобы виртуальный пациент не дёргался на реальном столе при повороте головы. Я вот знаю одну контору с мировым именем, которая с этим уже три года разобраться не может.
На видео выше прекрасно видно что проблему подергиваний не решили. Еще и дикий алиасинг. Короче не зря нам по три раза повторяют что этот продукт не пользовательский.
А я знаю как минимум 2 конторы с мировыми именами которые эту проблему решили. В медицине это решается несколькими способами, но базовый принцип один и тот же — общая точка отсчёта координат. У некоторых для этого используются магниты, у других измерение импеданса. Точка как правило вмонтирована в пол или операционный стол, на пациенте крепится датчик и вуаля. Эти методы кстати говоря используются для создания 3D карт внутренней поверхности сердца, которое подвижно, и пациент во время операции тоже ворочается.
Ого! А можно поподробнее? Я, например, говорю про вот эту контору. Они уже три года бьются над синхронизацией картинки прозрачной двери и самой двери. Используют для этого целую кучу обычных и инфракрасных камер, визуальные точки в салоне. Основная проблема в данный момент — это соединение всех девайсов трекинга по вайфай, что даёт задержку и изображение дергается по отношению к реальному миру.
Очень хотелось бы узнать поподробнее по методы синхронизации с помощью магнитов или импеданса. Просто впервые про это слышу.
Очень хотелось бы узнать поподробнее по методы синхронизации с помощью магнитов или импеданса. Просто впервые про это слышу.
Мне кажется что в ролике Hololens положения пациента вирутального и реального синхронизируются либо наличием какого-то внешнего датчика, либо наложением его собственной 3D модели (например МРТ скана)с привязкой по типу скелетной анимации как в motion capture.
Посмотрел ваше видео, в моём примере юзеркейс намного более узкоспециализированный, и его с трудом можно назвать даже дополненной реальностью. Это мой косяк конечно, но про навигаю напишу, возможно это будет полезно.
Опишу оба метода коротко.
1. Магниты — в пол операционной монтируется специальный блок«треугольник» в каждой вершине которого находится катушка испускающая магнитное поле с заданными параметрами. В инструменте (аблационный катетер) находятся датчики, взаимодействующие с этими магнитными полями посредством триангуляции.
На основании ослабления или усилиения сигнала по мере удаления или приближения датчиков в пространстве — система определяет положение, не только широту, долготу и высоту но и горизонтальные наклон и поворот (инструмент цилиндрический, поэтому вращение определять практически бессмысленно). Для чего это используется — находясь инструментом внутри сердца, на 2-х мерном изображении, например с ангиографа или рентгена — трудно ориентироваться «по глубине» и в перчатках тактильные ощущения врача не всегда позволяют оценить насколько плотно инструмент плилегает к рабочей поверхности. Во вторых — внутри сердца находятся довольно деликатные структуры и их поврежедние может вызывать пожизненные проблемы или даже смерть. Карта помогает ориентироваться «изнутри». Чтобы система понимала где начинается пациент (операционный стол во время процедуры может менять положение в пространстве) на его тело крепятся специальные электроды с датчиками, в начале процедуры система колибруется, чтобы датчик на пациенте например был точкой отсчёта.
2. Импеданс — система работает несколько иным образом. На тело пациента крепятся 6 навигационных электродов, 4 из них образуют две пары непосредственно в области сердца, а ещё два крепятся на шею и левую ногу соответственно, каждая пара это концы виртуальной оси X,Y,Z соответственно. 6 электрод содержит датчик для калибровки системы отсчёта.
Когда в такой системе координат появляется инструмент (аблационный катетер) он служит своеобразным «ползунком», перемещаясь относительно каждой из осей — измеряется сопротивление от него до навигационных электродов. Получается своеобразная конструкция из 3-х виртуальных потенциометров. Из изменения импеданса система тоже триангулирует положение инструмента в пространстве.
У каждого метода есть свои плюсы и минусы, но есть варианты комбинированного исполнения где применяются обе технологии вместе. Точность в них сказочная.
Предположу что у Hololens, Google Glass и других, проблемы прежде всего связаны с тем что они пытаются сконцентрировать всё в одном устройстве и упираются в ограничения, связаные с масштабами и неоднородностью поля деятельности и использованием совершенно других типов навигации. Скажем чтобы нарисовать маршрут на асфальте такие очки полагаются скорее всего на GPS, и данные геолокации базовых станций, а там размах до 10 метров по точности.
Ну или пример с плакатом и стрелочкой из видео. Голова у человека крутится и система должна суметь не только распознать текст на плакате и найти соответствие для получения информации для выдачи пользователю, но и опознать «плоскость» к которой он прилежит, т.е. стену и прилепить и держать стрелочку согласно ориентации взгляда и положения очков в пространстве. Скорее всего это делается с помощью акселерометра, это энергоэффективно но артефакты в виде дрожания и т.д.
Это реализуемо при доступной вычислительной мощности и например если в плакате для упрощения такого взаимодействия есть крупные QR коды как для роботов на фабрике. Для той же самой триангуляции.
Ну или крестики фиксированной величины нанести на линзу камеры, чтобы дальность и масштабы объектов было распознавать легче.
Посмотрел ваше видео, в моём примере юзеркейс намного более узкоспециализированный, и его с трудом можно назвать даже дополненной реальностью. Это мой косяк конечно, но про навигаю напишу, возможно это будет полезно.
Опишу оба метода коротко.
1. Магниты — в пол операционной монтируется специальный блок«треугольник» в каждой вершине которого находится катушка испускающая магнитное поле с заданными параметрами. В инструменте (аблационный катетер) находятся датчики, взаимодействующие с этими магнитными полями посредством триангуляции.
На основании ослабления или усилиения сигнала по мере удаления или приближения датчиков в пространстве — система определяет положение, не только широту, долготу и высоту но и горизонтальные наклон и поворот (инструмент цилиндрический, поэтому вращение определять практически бессмысленно). Для чего это используется — находясь инструментом внутри сердца, на 2-х мерном изображении, например с ангиографа или рентгена — трудно ориентироваться «по глубине» и в перчатках тактильные ощущения врача не всегда позволяют оценить насколько плотно инструмент плилегает к рабочей поверхности. Во вторых — внутри сердца находятся довольно деликатные структуры и их поврежедние может вызывать пожизненные проблемы или даже смерть. Карта помогает ориентироваться «изнутри». Чтобы система понимала где начинается пациент (операционный стол во время процедуры может менять положение в пространстве) на его тело крепятся специальные электроды с датчиками, в начале процедуры система колибруется, чтобы датчик на пациенте например был точкой отсчёта.2. Импеданс — система работает несколько иным образом. На тело пациента крепятся 6 навигационных электродов, 4 из них образуют две пары непосредственно в области сердца, а ещё два крепятся на шею и левую ногу соответственно, каждая пара это концы виртуальной оси X,Y,Z соответственно. 6 электрод содержит датчик для калибровки системы отсчёта.
Когда в такой системе координат появляется инструмент (аблационный катетер) он служит своеобразным «ползунком», перемещаясь относительно каждой из осей — измеряется сопротивление от него до навигационных электродов. Получается своеобразная конструкция из 3-х виртуальных потенциометров. Из изменения импеданса система тоже триангулирует положение инструмента в пространстве.
У каждого метода есть свои плюсы и минусы, но есть варианты комбинированного исполнения где применяются обе технологии вместе. Точность в них сказочная.
Предположу что у Hololens, Google Glass и других, проблемы прежде всего связаны с тем что они пытаются сконцентрировать всё в одном устройстве и упираются в ограничения, связаные с масштабами и неоднородностью поля деятельности и использованием совершенно других типов навигации. Скажем чтобы нарисовать маршрут на асфальте такие очки полагаются скорее всего на GPS, и данные геолокации базовых станций, а там размах до 10 метров по точности.
Ну или пример с плакатом и стрелочкой из видео. Голова у человека крутится и система должна суметь не только распознать текст на плакате и найти соответствие для получения информации для выдачи пользователю, но и опознать «плоскость» к которой он прилежит, т.е. стену и прилепить и держать стрелочку согласно ориентации взгляда и положения очков в пространстве. Скорее всего это делается с помощью акселерометра, это энергоэффективно но артефакты в виде дрожания и т.д.
Это реализуемо при доступной вычислительной мощности и например если в плакате для упрощения такого взаимодействия есть крупные QR коды как для роботов на фабрике. Для той же самой триангуляции.
Ну или крестики фиксированной величины нанести на линзу камеры, чтобы дальность и масштабы объектов было распознавать легче.
Ну, то есть вы решили забыть опыт всей индустрии, в т.ч. и историю собственного успеха. Нам нужны простые и удобные устройства, которые используют все, которые будут на голове у каждого второго и будут использоваться для просмотра интернета и фоточек в соцсетях. Использоваться по любому поводу, как айфон. Они пролезут «снизу» и в проф. сектор, если надо.
Вместо этого вы делаете — что? Ага, специализированную вундервафлю с никому не нужной дополненной реальностью и попсовым 3D. Которое провалилось в гораздо более простых и удобных устройствах — 3D телевизорах.
Неужели никому в Microsoft не приходила идея сделать простой шлем типа мотоциклетного с экраном-забралом (который мы будем легко поднимать и опускать, когда надо)? У вас же почти всё есть, осталось-то — придумать удобное управление. Там море плюшек — куча места, можно воткнуть мощные батареи, хорошую начинку, придумать вентиляцию и чуть ли не обогрев. Но нет. Прозрачные 3D-очки. Дополненная реальность. $3500. Facepalm.
Вместо этого вы делаете — что? Ага, специализированную вундервафлю с никому не нужной дополненной реальностью и попсовым 3D. Которое провалилось в гораздо более простых и удобных устройствах — 3D телевизорах.
Неужели никому в Microsoft не приходила идея сделать простой шлем типа мотоциклетного с экраном-забралом (который мы будем легко поднимать и опускать, когда надо)? У вас же почти всё есть, осталось-то — придумать удобное управление. Там море плюшек — куча места, можно воткнуть мощные батареи, хорошую начинку, придумать вентиляцию и чуть ли не обогрев. Но нет. Прозрачные 3D-очки. Дополненная реальность. $3500. Facepalm.
Мотоциклетный шлем тяжелый и в нем жарко. У майкрософта есть дешевые mixed reality шлемы на той же платформе — и как раз с экраном-забралом, но на проводах и без батарей. Из штатов можно за 200$ заказать.
Ну, первый смартфон Motorola тоже был тяжёлый, и слабый. Надо сделать
a). Нетяжёлый
b). Чтобы было нежарко.
Глядя на велосипедные шлемы, вспоминая что при необходимости можно и активное охлаждение делать — задача явно решаемая.
У майкрософта есть дешевые mixed reality шлемы на той же платформе — и как раз с экраном-забралом, но на проводах и без батарей.
Быстрое гугление не помогло. Один какой-то шлак с железнодорожным вагоном, одетым на глаза. Явно не тонкий «мотоциклетный визор». Не дадите ссылку? Но на проводах и без батарей — это да, классно. Я про фоточки стоя в метро смотреть, а в ответ «без батарей». Супер.
a). Нетяжёлый
b). Чтобы было нежарко.
Глядя на велосипедные шлемы, вспоминая что при необходимости можно и активное охлаждение делать — задача явно решаемая.
У майкрософта есть дешевые mixed reality шлемы на той же платформе — и как раз с экраном-забралом, но на проводах и без батарей.
Быстрое гугление не помогло. Один какой-то шлак с железнодорожным вагоном, одетым на глаза. Явно не тонкий «мотоциклетный визор». Не дадите ссылку? Но на проводах и без батарей — это да, классно. Я про фоточки стоя в метро смотреть, а в ответ «без батарей». Супер.
Глядя на велосипедные шлемы, вспоминая что при необходимости можно и активное охлаждение делать — задача явно решаемая.Решаемая, но нужная ли? Громоздить на голову здоровенную коробку, когда достаточно просто тонких пластиковых держателей. Смысл мотошлема — в защите, а в ВР-очках она в принципе не нужна.
Один какой-то шлак с железнодорожным вагоном, одетым на глаза. Явно не тонкий «мотоциклетный визор».Я это к тому привел, что там экраны поднимаются. Да, там обычные экраны, линзы, большой объем, но и стоит оно копейки. А если делать тонкий визор — цена легко скакнет за 3500, так как железо потребуется явно не массовое.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Представляем Microsoft HoloLens 2