Эксперимент с Augmented Reality, multitouch и очками Vuzix

    Продолжаем проводить эксперименты с дополненной реальностью у нас в офисе. На этот раз мы решили совместить Multitouch, D’Fusion и очки Vuzix.




    С мультитач стола команды через сокет сервер отсылаются в сценарий D’Fusion, который выводит изображение на очки Vuzix 920VR с камерой. В результате этого мы наблюдаем в очках видео поток с наложенным на него 3D, привязанным к изображению интерфейса на столе.

    В данном примере реализованы простейшие действия по управлению трехмерным объектом: покрутить вертолет, собрать-разобрать, изменить высоту вертолета над столом. В планах добавить больше жестов и подключить Kinect. Это позволит управлять 3D не только в плоскости стола, но и напрямую в воздухе.

    Большое спасибо ребятам из Supreme за предоставление multitouch стола.

    Видео также доступно на Vimeo
    AR Door
    31,00
    Компания
    Поделиться публикацией

    Похожие публикации

    Комментарии 65

      +5
      Шикарно ведь. Особенно когда разбирается-собирается.
        +3
        Чувствую, скоро по квартире будем бегать в очках и с криками. :-)))
          +14
          картинка маслом:
          синий экран смерти и убитый об стену пользователь
            0
            Ага! В травму привозят чела со сломанным носом. В карточке причина «не успел». =)))))
              +4
              … и квадратными фингалами
            –1
            Augmented очки и крики — напомнило мультик Dennō Coil.
            +1
            Вау, впечатляет!!!
              +2
              Трейсинг положения очков можно было и интерполировать, а то вертушку аж трясет…
                +12
                Если интерполируете, тогда трясти и тоншить будет пользователя
                  0
                  всмысле?
                    +9
                    вертолет трясет не просто так, а потому что трясет пользователя с камерой на голове.
                    Мозг ваш постоянно делает эту интерпретацию, и картинка у вас в голове «статичная».
                    Если компенсировать тряску внешнюю, а потом эту же операцию сделает мозг — в итоге получится наоборот усиление тряски, как бы это парадоксально не звучало.
                    А от постоянной плавной «тряски» начнет глючить вестибулярный аппарат, и в комплекте с такой игрой придется поставлять крепкие целофановые пакеты.
                      0
                      тьфу, не интерпретацию, а интерполяцию
                        0
                        т.е. для пользователя внутри очков — картинка плавная, скачков нет?
                          0
                          В конкретно этих очках не знаю, не носил
                  +2
                  Как в фантастических фильмах. Впечатляет
                    +1
                    О поверьте, это впечатляет только в виде видеоролика, а действительность гораздо банальнее.
                    Vuzix имеет низкое разрешение и малый угол обзора, так-что эффекта погружения там нет,
                    я это пишу как владелец Vuzix-а и заядлый любитель подобных экспериментов.

                    PS.Интересно как они побороли лаги гироскопа, которые реально обламывали кайф в играх, гироскопы там хорошие и чувствительные, да вот сигналы с них приходят с задержкой весьма ощутимой.
                      0
                      в этом демо гироскоп не используется, положение виртуальной камеры для 3д вычисляется на основе маркера
                        0
                        А я голову сломал, как же отслеживается перемещение очков.
                          0
                          Маркер — картинка?
                        0
                        Я никак не могу понять, почему уже много лет нет очков с разрешением больше VGA, в крайнем случае — 800x600. КОКОМ (или кто там у них теперь) не пропускает, что ли?
                          0
                          наверное дело в размерах матрицы. сами померяйце линейкой сколько у вас на экране занимает прямоугольник 800x600, а для очков его нужно ужать, чтобы он уместился перед глазом.
                          так что я думаю дело в минимально возможном размере пикселя. может и могу сделать больше, но выйдет неоправданно дорго.
                            0
                            Меня как раз и удивляет, что за последние лет 5 никакого прогресса незаметно. В проекторы ставят и 720p, и FullHD с диагональю в 17 мм. Впрочем, проекторы тоже не сильно дешевеют.
                              0
                              Там есть ряд серьёзных чисто технологических ограничений…
                              С амоледом будет проще, компактные 1024х768 матрички есть уже сейчас но по цене кусаются.
                              И есть второй аспект, оптическая система для полного погружения получается совсем не маленькая.
                      +6
                      Ну, как обычно.
                      this video contains content from sony music entertainment. it is not available in your country

                      fuck sony music!
                      fuck youtube!

                      последнее время вообще ничего посмотреть нельзя.
                      в каком-нибудь афганистане и украине, наверное, больше видео разлочено.

                      ПС: простите, я должен был выговориться.
                      ППС: что там на видео-то вообще? :)
                        0
                        сейчас видео с вимео выложим
                          0
                          у меня такая надпись появилась, когда попытался RSS-ридере открыть. перешёл еа страницу и всё заработало.
                            0
                            Сделали звукозамену на YouTube. Теперь должно проигрываться

                            Также видео можно посмотреть на Vimeo:

                            vimeo.com/19429331
                            +1
                            Интересно, как будет выглядеть если его потрогать?
                              0
                              Пальцы внутрь провалятся :)
                                +3
                                Пальцы в лопасти попадут. Не стоит :)
                                0
                                Нормальная шняга)
                                  +2
                                  Круто–круто! Но мультитач стол исключительно для понтов!!!!!)))))))))))
                                    0
                                    Ну почему же, переключать можно что-то и вообще. Как маркер мультитач стол дороговат конечно же.
                                      0
                                      Использовать мультитач-стол для нажатия двух кнопок (сингл-тачами, прошу заметить) и в качестве маркера для AR — это вам не гвозди микроскопом забивать! %)
                                        0
                                        в данном тесте проверялась связка мультитач стол — сценарий dFusion, все работает корректно. в следующем тесте, который сейчас пишется, будут использованы мультитач жесты повороты и скейл двумя пальцами. может быть еще чтонибудь, мы еще не придумали ) не все сразу )
                                    +2
                                    вот такое будущее я хочу!
                                      +3
                                      Посмотрел дважды — мультитача не увидел.

                                      Потрясающая задумка и интересная реализация. Вот только не понятно, что именно новго вы нам сегодня показали? Или вся идея в то, что это сделали вы?
                                        0
                                        Впечатляет :)
                                          0
                                          В медицине сгодится такая технология
                                            0
                                            Или в инженерном деле. Особенно в связке с Kinect. Правильной дорогой идут! Удачи авторам!
                                            0
                                            А вы для корректного представления 3Д модели оцениваете положение очков или анализируете видеопоток?
                                              0
                                              А все, увидел. Привязываете к столу.
                                            • НЛО прилетело и опубликовало эту надпись здесь
                                                +2
                                                Прочитайте еще «Конец радуг»
                                                  +1
                                                  А я посоветую замечательный короткометражный фильм «Создатель миров» — www.youtube.com/watch?v=VzFpg271sm8

                                                  Действие происходит конечно в виртуальной реальности, но некоторые элементы, например пульт управления вполне себе применим и для дополненной реальности. Впечатляет куда больше, чем всем известный фильм «Особое мнение».
                                                  +1
                                                  А может, все-таки, сказать наркотикам «стоп»? пока в зародыше :)
                                                    +4
                                                    Перестаньте уже разговаривать с наркотиками.
                                                    0
                                                    Впечатлило. Правда есть небольшой ляп: у вас на мультитач-столе схема Ми-8, а вот 3д модель — Апачь
                                                      0
                                                      Сначала там была вообще красная площадь ) Картинка на столе не несет в данном тесте смысловой нагрузки и служит просто маркером, в который можно тыкать пальцами.
                                                        0
                                                        Я это прекрасно понимаю
                                                      0
                                                      Еще на руги перчатки с датчиками положения — и готово новое «лего»
                                                      • НЛО прилетело и опубликовало эту надпись здесь
                                                          0
                                                          Если не секрет, почему пользователь одной рукой придерживает очки? Сползают с оптимального (для обзора) места на носу? Какую модель Vuzix'а использовали? Судя по всему, не Wrap 920AR, а iWear VR920+CamAR?
                                                            0
                                                            очки достаточно раздолбаны кучей тестов поэтому сами не держатся, использовались iWear VR920+CamAR
                                                            0
                                                            В играх будущего, мы обязательно будем мочить монстров прямо в интерьере своей квартиры. «Белочка» будет взята под контроль и поставлена на службу обществу.
                                                              0
                                                              Ага, а потом объяснять домашним почему любимый тузик так шарахается от тебя, а отказывается по сюжету игры он внезапно превратился в монстра и ты два часа его гонял по комнате стреляя в него из лазерного пистолета
                                                              0
                                                              На чертежах Ми-14, а «летает» Апач.

                                                              Детализация 3д зависит только от модели или железом ограничено?
                                                                0
                                                                Для теста была взята модель, что была под рукой. Детализация 3Д ограничена возможностями используемого для визуализации движка OGRE3D
                                                                +1
                                                                Впечатляет. Будущее впереди.
                                                                  +1
                                                                  Kinect + Wii Remote + Vuzix = VR FPS

                                                                  http://www.youtube.com/watch?v=ZS33cENjyRs
                                                                  http://www.youtube.com/watch?v=WDlvn3voblQ

                                                                  (Осторожно, это видео может нанести вред вашей психике =)
                                                                    +1
                                                                    Синяя шагающая жопа с глазами высотой с пятиэтажку (в середине первого видео) нанесла непоправимый вред моей психике о_О
                                                                      0
                                                                      Видео еще терпимо, а вот музыка точно!
                                                                      0
                                                                      на хабре есть компания, которая печатает 3d модели. зачем создавать если их можно просто добавить в реальность?
                                                                        –1
                                                                        Сергей Лукьяненко «Диптаун»
                                                                        Скоро это станет возможным :)

                                                                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                        Самое читаемое