AR и VR

Довольно-таки общую тему хочется затронуть: развитие ОС самых разных типов и назначений. Скажем так, в этом посте я предлагаю специалистам поделиться с гуманитариями (и не очень) своими соображениями о том, что будет представлять собой эволюция операционных систем, какие при этом возникнут проблемы и как их можно будет решить.

Сам же пост навеян некогда выполненным в учебных целях эссе по теме развития ОС. Ниже приведу несколько своих мыслей по этому поводу, однако стоит учитывать, что я не являюсь специалистом в этой области, так что представленные мысли вполне могут оказаться очевидными, наивным и некорректными.

Сегодня не будет научных новостей. Единственное событие с Марса — Curiosity сделал прекрасный цветной автопортрет в высоком разрешении.

То, что вы видите на анонсной фотографии, не просто пустые полки. И это не разграбленный голодными китайцами магазин. Нет, в этом магазине товары есть, но невооруженным взглядом их просто не видно. Руководство китайской торговой марки Yihaodian (сеть супермаркетов) планирует открыть целых 1000 магазинов с полками «дополненной реальности», где нет реальных товаров, но есть товары виртуальные.

Интерактивные игры с дополненной реальностью. Часть #1. Вводная.

Доброго времени суток, уважаемые читатели! Предлагаю вместе создать ряд топиков-семинаров, информация в которых будет дополняться по мере обсуждения заданной в нём темы. Начнём.

Тема дополненной реальности (augmented reality, AR, далее по тексту буду часто сокращать как ДР, а иногда буду применять термин «расширенная реальность») затрагивалась на Хабре уже не раз, но, так как тема очень обширная, относительно неё сказать можно ещё очень много, не смотря на то что начать писать про это я хотел ещё в 2008 году.
Вначале попробую скомпоновать имеющуюся информацию. Так же, в первых частях, мне бы хотелось порассуждать о возможности применения ДР в реальном времени для интерактивных развлечений, в том числе и игр, решения некоторых практических задач, а так же для ориентирования как в условиях города, так и на природе, в том числе пересечённой и лесистой местностях. Если всё пойдёт гладко, доберёмся и до практики.



В водной части я постараюсь объяснить некоторые термины, которые важны для понимания того, чем же всё-таки является ДР, а так же вынесу на суд общественности некоторые свои личные суждения, возможно и весьма спорные. Здесь же будут частично затронуты некоторые вопросы связанные с распознаванием образов и оборудованием. Так же мы попробуем разобраться что из себя представляет ДР сейчас и попробуем представить как эти технологии могут развиваться в будущем.

6 августа 2012 года на поверхность Марса десантировался аппарат «Любопытство» (Curiosity). В следующие 23 месяца марсоход будет изучать поверхность планеты, её минералогический состав и спектр излучения, искать следы жизни, а также оценит возможность высадки человека.

Основная тактика исследований состоит в поиске интересных пород камерами высокого разрешения. Если таковые появляются, то марсоход издалека облучает лазером исследуемую породу. Результат спектрального анализа определяет, нужно ли доставать манипулятор с микроскопом и рентгеновским спектрометром. Далее «Кьюриосити» может извлечь и загрузить образец во одну из 74 чашечек внутренней лаборатории для дальнейшего анализа.

При всем своем большом обвесе и внешней легкости аппарат имеет массу легкового автомобиля (900 кг) и весит на поверхности Марса 340 кг. Для запитывания всего оборудоваения используется энергия распада плутония-238 от радиоизотопного термоэлектрического генератора компании «Боинг», ресурс которого составляет как минимум 14 лет. На данный момент он вырабатывает 2,5 квт·ч тепловой энергии и 125 Вт электрической, со временем выход электричества будет снижаться до 100 Вт.

Несколько студентов израильской академии искусств Бецалель в качестве выпускного проекта сняли отличную короткометражку про то как может (и скорее всего будет) выглядеть наша жизнь с распространением технологий дополнительной реальности. Хоть в фильме и используется устройства на пару поколений опережающие нынешнее технологии вроде прототипа Google Glass, но у меня не возникает сомнений, что и в социальном и технологическом плане все идет к тому, что именно такие технологии и способы их использования станут повсеместны. Так как вы думаете, сколько времени пройдет, до того, как мы, наподобие главного героя, будем смотреть телевизор на пустой стене, приготовление еды превратиться в социальную игру с «ачивками», а во время свидания специальное приложение будет подсказывать нужные фразы и не только...? Это вопрос десятилетий или это уже вот-вот за углом?

Во многих фильмах мы видим устройства, представляющие собой автоматические переводчики, позволяющие понимать носителей самых экзотических диалектов. Пока что до такого уровня автоматического перевода дело не дошло, несмотря на все старания разработчиков. Но любопытные проекты появляются, и одним из таких проектов являются интерактивные очки, которые выводят перевод сказанного собеседником прямо перед глазами слушающего.

Предисловие: Стив Манн (на фото слева) считается отцом дополненной реальности, он уже 34 года носит различные варианты устройств собственной разработки. Последнюю версию очков Digital Eye Glass с простым дизайном на прямой алюминиевой дужке Стив Манн начал носить в 1999 году, для неё он также разработал алгоритмы компьютерного зрения HDR (High Dynamic Range).

Наткнулся на приложение для перевода фраз в реальном времени с помощью камеры смартфона.
Для меня как для человека, использующего только русский и английский языки, оно полностью бесполезно, но понравилась сама идея и реализация. Если приложение действительно стоит своих денег, то в плюсы можно записать и сравнительно низкую цену — 5$.

С помощью приложения можно быстро переводить надписи на дорожных знаках, вывесках, etc. Думаю, создателям видео стоило бы продемонстрировать чтение газеты таким же образом, было бы круче.

Добрый день, уважаемые читатели.

Сегодня я продолжу рассказ о том, как создавать приложения при помощи Swarp SDK. Этот пост является продолжением обзора Swarp SDK. В первой части мы рассмотрели пример из стандартной поставки Swarp и общие принципы работы с ним. А сейчас мы напишем свое AR-приложение, которое будет изменять анимацию 3D-модели в зависимости от наличия маркеров перед камерой. Кому интересно — прошу под кат.

Для кого эта статья?

Для людей, которые интересуются компьютерным зрением и дополненной реальностью применительно к мобильным устройствам, но не знающих, с чего начать.

Предисловие

Итак, мы студенты математико-механического факультета СПбГУ, которые на досуге решили ознакомиться с базовыми аспектами компьютерного зрения. Для закрепления теоретических основ решили делать что-то практическое. Посещение наших крайне интересных лекций натолкнуло на мысль о приложении, позволяющем скидывать бомбы на людей в дополненной реальности.

В качестве мобильной платформы был выбран Android, так как имелся небольшой опыт написания приложений под него, и Java мы знаем гораздо лучше, чем Objective-C. Для обработки изображений мы решили использовать известную библиотеку OpenCV.
Под катом история создания нашего простенького приложения.

Приложения дополненной реальности становятся все более популярными. Рано или поздно, но кто-нибудь в России обязательно выпустил бы SDK для создания таких приложений. И вот, это произошло — российская компания Sectar выпустила свой продукт Swarp SDK для создания таких приложений на платформе .NET. Далее я опишу Swarp и покажу, как быстро и просто создать свое AR-приложение.

Nokia City Lens позволяет увидеть интересные места через объектив камеры телефона: кафе, отели, магазины, достопримечательности, развлечения и городской транспорт.



Уже 13,000 пользователей Windows Phone и 43,500 пользователей Symbian и MeeGo попробовали бета-версию этого приложения и поставили ему самую высокую оценку.

Вот такой вот вариант развития событий:

Компании, крупные и мелкие, стараются придумывать все новые и новые технологии, помогающие геймеру полностью погружаться в мир игры. Пока что до проекции сознания в игру дело не дошло, но собственную игровую мини-вселенную получить можно. Так, корпорация Microsoft подала патент на игровой шлем, изображения в котором проецируются лазерным лучом для каждого глаза. Проекция идет не прямо в глаз, а на поверхность, расположенную перед глазным яблоком.

В субботу в Киеве, в бизнес-центре «Евразия», в офисе Microsoft, состоялась конференция посвященная дополненной реальности Augmented Reality Conference . Ниже предлагаю подробный фото-отчет о прошедшем событии.

В данной статье я расскажу как в приложениях Augmented reality по найденому расположению объекта в сцене построить 3D-пространство. Для этого необходимо получить две матрицы – проекционную (GL_PROJECTION) и модельную (GL_MODELVIEW) для работы, например, в OpenGL. Делать это мы будем средствами библиотеки OpenCV.

Недавно приходилось решать эту задачу, но ресурса, где просто поэтапно объяснялось как это сделать я не нашел (может плохо искал), а подводных камней в данной проблеме хватает. В любом случае, статья на хабре описывающая эту задачу не повредит.

О дополненной реальности(Augumented reality, AR) написано много статей. На хабре есть целый раздел посвящённый этому направлению. Если коротко, то существуют два принципиальных подхода для создания дополненной реальности: с использованием заранее приготовленного маркера(ещё), который нужно распечатывать и без такого. Оба подхода используя алгоритмы “компьютерного зрения” распознают объекты в кадре и дополняют их.
Данная статья посвящена алгоритмам распознавания при создании дополнительной реальности с заранее приготовленным маркером.

И даже больше. Используя большое количество различных технологий и устройств, разработчики из Sony создали виртуальную реальность, в которой компьютерные изображения активно взаимодействуют с реальной окружающей средой. В итоге получаются очень необычные иллюзии, которые наш мозг воспринимает, как реальность (ну, а что ему делать, мозг человека такой доверчивый). Результаты работы показаны на видео, в продолжении сразу несколько роликов.

Французы готовят к выпуску маленькую книжку к которой прилагается бумажный воздушный шар. А приложение для iPad даёт возможность полетать на этом шаре, управляя направлением и силой ветра.



Видно, что ребят активно волнуют новые способы взаимодействия с техникой. Помимо этой игрушки у них ещё можно отметить карточные чернильные бои, настольных пиратов с более менее традиционной дополненной реальностью и забаркоденую «Ночь живых мертвецов».