AR и VR

В очередном видео от Microsoft Reserch демонстрируются эксперименты с дополненной реальностью, сенсором Kinect и пикопроекторами, которые позволяют приоткрыть окно из реального в вирутальный мир.



Источник видео и сопроводительная статья доступны по следующей ссылке.

Казалось бы, галстуки в мире существуют уже давно и всем мужчинам пора бы научиться их завязывать. Но, как показывает практика, делать это по памяти умеют не все. Завязывание галстука для многих людей остаётся проблемой. Видимо сложность этой простой на первый взгляд процедуры заключается в том, что надо одновременно смотреть в зеркало на своё отражение и манипулировать обеими руками, не путая левую с правой.



Особенно сложно это делать по утрам, когда кофеин от утренней чашки кофе ещё не подействовал, а времени до того, как начальник придёт в офис, остаётся всё меньше и меньше. Однако, мучениям скоро придёт конец, приложение TieSight смотрит за вашими действиями через web-камеру и подсказывает голосом и на экране, что вам нужно делать дальше. Согласитесь, дополненная реальность — это круто.

Microsoft Research продолжает радовать проектами и демонстрациями. В новой демонстрации — проект Holodesk от команды Sensors and Devices. Holodesk позволяет управлять виртуальными 3D-объектами в дополненной реальности через особый прозрачный экран.

На прошлой неделе была представлена новая виртуальная примерочная на основе дополненной реальности — Virtual Interactive Podium.

Российская компания Fitting Reality впервые представила свой продукт на конференции DEMO Fall 2011, которая проходила в Санта Кларе (Калифорния).



VIPodium, основанный на технологии дополненной реальности, позволяет в режиме реального времени примерить сотни элементов одежды и аксессуаров. Пользователь не только видит себя на экране в новой одежде, но и управляет программой простыми жестовыми командами: взмахами рук и нажатием невидимых кнопок прямо в воздухе.

Сейчас виртуальные примерочные уже не редкость. Их даже ставят в некоторых магазинах, позволяя покупателям оценивать разные вещи, одевая их на себя в виртуальной реальности. Все это выглядит вроде высокого зеркала, которое показывает покупателя с уже «одетыми» вещами из магазина. Некоторые интернет-магазины внедряют похожие системы, которые требуют лишь фотографии покупателя в полный рост. Но есть и еще более интересные виртуальные примерочные — предлагаю оценить одну, созданную веселой группой разработчиков Arbuzz.

Что должна сделать сеть корейских супермаркетов, чтобы заманить в нее корейских же трудоголиков? Конечно же расположить свои витрины прямо на станциях метро. А чтобы у компании не возникло никаких проблем с санитарными нормами, сделать витрины полностью виртуальными. В результате люди оформляют заказы прямо в подземке, ожидая прибытия электропоезда, а товары доставляются им домой курьером.

Мобильник HTC Evo 3D, снабжённый двумя фотовидеокамерами (и способный поэтому к записи стереовидео) и специальным экраном, воспроизводящим стереоизображения («3D») без необходимости специальных очков, этой весною появился в Штатах (о чём Pollux любезно сообщал нам, приведя полезные подробные технические характеристики устройства).

AR Door разработала примерочную для Topshop для показа новой коллекции платьев Dress up.

Виртуальная примерочная сочетает в себе две самые модные технологические тенденции: дополненную реальность и Microsoft Kinect. Пользователь не только видит себя на экране киоска в новой одежде, но и управляет программой жестовыми командами: взмахами рук и нажатием невидимых кнопок прямо в воздухе.

Для работы программы не требуются дополнительные маркеры: камера, встроенная в Kinect, распознает тело человека и накладывает поверх него трехмерные модели платьев.

Третья и заключительная часть стенограммы-трилогии (см. часть 1 и часть 2) доклада про Дополненную Реальность.

Речь пойдет об обработке изображений в применении к дополненной реальности:

• детектирование маркеров и меток;
• многокамерные системы маркерного захвата движений;
• структурированная подсветка;
• Z-сенсоры (в частности, Kinect);
• использование баз данных поз;
• чисто оптические системы захвата движений.

И на закуску — субъективный взгляд на будущее дополненной реальности, который прояснит смысл картинки с собакой.

Это продолжение (см. часть 1) стенограммы одноименного доклада с конференции ADD-2010.

В этой части речь пойдет о том, как обрабатывать данные с сенсоров, а именно: акселерометров, гироскопов и магнитных компасов. И зачем в современных устройствах ставят все три вида датчиков.

Аннотация

Представляю вашему вниманию материалы одноименного доклада, сделанного мной на конференции ADD-2010 осенью прошлого года.

В докладе после краткого экскурса в историю рассматривается текущее¹⁾ состояние дел в освоении дополненной реальности:

• использование датчиков: акселерометры, гироскопы, магнитные компасы, GPS
  (различные мобильные телефоны, Wii, Sony Move, XSens)
  
• использование маркеров: с инфракрасной подстветкой, в видимом диапазоне
  (Sony Move, OptiTrack, Vicon)
  
• использование структурированной подсветки
  (на примере Microsoft Surface)
  
• Z-камеры, выдающие картику + расстояние до объекта
  (Microsoft Kinect, её предшественники и аналоги)
  
• безмаркерный захват движений
  (OrganicMotion, iPi Soft Desktop Motion Capture)
  
• сканирование 3d-поверхности по набору изображений:
  (стереокамеры, 3d-сканеры, воссоздание 3d-сцены с движущейся камеры)
  

Программа (iPhone) для перевода картинок/знаков и других надписей с помощью дополненной реальности.



Уже доступна для загрузки через iTunes. Словари по $4.99, пока только англо-испанский и обратно.

Введение

Все началось с того, что мною были куплены анаглифные очки. Как только они попали в руки, сразу было решено проверить их общие возможности. Просто путешествовать по интернету и искать фотографии не так интересно, поэтому, скрепя сердце, пришлось признать за любимой операционной системой существенный недостаток (отсутствие драйверов для добавления в игры режима вывода в анаглифе) и загрузить давно заброшенный Windows. Так как я счастливый обладатель видеокарточки с чипсетом от Nvidia, то используя несложный трюк (можно загрузить более свежие драйвера, также для владельцев 64-битных систем надо подредактировать реестр) я открыл для себя потрясающий мир псевдообъемных игр. Понятное дело, что ощущения не совсем те, как если бы использовались очки с ЖК-затворками, но ведь и порядок затраченных денег совсем другой. (Кстати, для тех, у кого более старые видеокарты или чипсеты других производителей, есть замечательная бесплатная утилита, позволяющая делать то же самое. Правда, по моему субъективному мнению, качество картинки на моей видеокарточке у нее несколько хуже). Так как цель данной статьи вовсе не реклама разных технологий псевдообъемного изображения, то я не буду подробно рассказывать о своих впечатлениях и показывать скриншоты игр (тем более, те, у кого есть очки, и так прекрасно это знают, а у кого их нет — не смогут и оценить). Но то, что меня огорчило — что я не могу сделать себе скриншот на память. То есть сделать я его могу (благо Nvidia заботливо предусмотрела недокументированную комбинацию «alt»+«F1»), но вот формат его вовсе не в виде анаглифа, а в виде стереопары (.jps).

Тема электротранспорта уже перестала быть новой для IT-сообщества. Хотя электромобиль на российских дорогах увидеть пока в диковинку, но некоторые хабралюди уже собирают электровелосипеды своими руками. Этот репортаж об электромобилях, но главная изюминка вовсе не в этом. Дело в том, что итальянская фирма VisLab некоторое время назад начала воплощать в жизнь грандиозное мероприятие — трансконтинентальный автопробег на автоматически управляемых электромобилях, способных передвигаться почти без участия человека и совсем без использования традиционного топлива. С 17 по 19 августа итальянская делегация находилась в Москве, 18 августа проводилась демонстрация рядом с гостиницей «Космос», а вчера, 19 августа — демонстрация для московского представительства фирмы Topcon Positioning Systems, которая является партнёром пробега и поставляла для него своё навигационное оборудование. На эту демонстрацию мне и посчастливилось попасть.

Брюс Стерлинг приметил, что новый номер «Зюддойче цайтунг» вышел с иллюстрациями, при наведении мобильника на которые может вылазить дополненная реальность (если установить соответствующее приложение). Выглядит вот как:

Похоже, Sony готовит очередной приятный сюрприз владельцам PlayStation 3. Согласно полученной информации, компания запатентовала новую систему, которая позволит выдавать сразу несколько независимых друг от друга изображений на один телевизор. Правда, для этого экран должен поддерживать технологию 3D, а всем зрителям/игрокам понадобятся специальные очки.

Новинка позволит пользователям при совместной игре не видеть картинки друг друга. Очевидно, что это может оказаться отличной альтернативой режиму split-screen. Теперь пользователи не смогут подглядывать за действиями соперников, или просто смогут наслаждаться игрой на полном экране.

Как обычно бывает на важных мероприятиях, крупные компании упражняются в помпезной риторике, и такие слова, как «революция», «прорыв», «сенсация» постепенно тускнеют и приедаются. Компания Nintendo предпочла не злоупотреблять громкими словами, позволив своему небольшому устройству говорить за себя… и, как это часто бывает, «собачка», которая лаяла меньше всех, оказалась самой кусачей — новая 3DS это настоящий маленький убийца конкурентов. И сейчас вы в этом сами убедитесь.

Вчера Брюс Стерлинг обнаружил (и перепечатал в своём блоге) новость о том, что REDMADROBOT создал программную часть для промо-стенда бренда Sobranie, причём дополненная реальность использовалась для рисования в стиле Light Art и для навигации внутри программы стенда:



Постскриптум Стерлинга был таков:

— Okay, objectively speaking, what’s weirder: pretty girls drawing augmented roses in mid-air, or former Soviets hanging out in some big glossy capitalist mall?

(Я специально цитирую его на английском, также как сам он цитировал апрельскую новость про REDMADROBOT на русском языке.)

Ну не странно ли видеть, как медленно исчезают стереотипы в голове у этого автора киберпанковской прозы? Скоро двадцать лет, как состоялся антисоветский переворот, а Стерлинг продолжает называть «бывшими советскими» даже современных «pretty girls», многие из которых либо не помнят Советский Союз, либо даже родились после него.

А для всех нас эта блогозапись Стерлинга даёт возможность проследить ещё одну веху творческого пути той самой команды REDMADROBOT, которая в прошлом году подвешивала пирамиду над Кремлём в дополненной реальности.

Брюс Стерлинг приводит (у себя во блоге «Beyond the Beyond») видеоролик португальской фирмы YDreams, в котором пользователь играется сперва с жидкостью, затем с потоком кубиков, и наконец — с трёхмерным объектом в прозрачной сфере. (Всё это — в дополненной реальности.) Поглядите и вы, полюбуйтеся:

_{Видеоролик широкоформатный → есть смысл смотреть его на полный экран или на YouTube.}

Половина очарования этого видеоролика заключена в его саундтреке, который YDreams заимствовали на Jamendo у группы Tryad. Хвала свободной культуре!

Девушка, глядя через дополненную реальность на прохожую, видит поверх неё четыре маркера, которые указывают на женское пальто, шарф, лосины и обувь:

_{Прямо скажем: эта иллюстрация заставляет недоуменно призадуматься: прохожая одета в пальто и тёплый шарф, а девушки слева стоят в лёгких, открытых платьях. Кто из них одет по погоде? Но оставим это несоответствие на совести фотохудожника.}

Протянув левую руку, наблюдательница активирует маркер пальто, который начинает светиться салатовым цветом и показывает название, ценник, рейтинг, число довольных и недовольных отзывов покупательниц. В дополненной реальности тотчас же протягивается оранжевая линия, указывающая направление на магазин, в котором можно приобрести такую одежду, а также расстояние (четверть мили).

Эта бытовая сценка из ближайшего будущего — лишь одна из иллюстраций к статье «Ваша жизнь в 2020 году», опубликованной в журнале «Форбс» по итогам взаимодействия многих экспертов: дизайнеров, футурологов и журналистов. Один из тех дизайнеров (Сэм Мартин) посвятил ей запись в своём блоге, на которую сослался Брюс Стерлинг.

Вот так разлетается информация в цифровую эпоху.

Теперь давайте поглядим ещё парочку небезынтересных футуристических картинок о дополненной реальности, которая (по рассуждениям экспертов) будет демонстрироваться мобильниками, особыми очками или даже контактными линзами.