Технологии трекинга и сканирования с помощью обычной веб-камеры

    Трекинг лица




    Решение, позволяющее распознавать лицо человека и отслеживать положение губ, бровей, глаз в режиме реального времени. Компания SeeingMachines предоставляет API для сторонних разработчиков. Компания Ray-Ban довольно давно разместила на сайте flash-приложение, позволяющее примерить очки в реальном времени.

    Mocap




    Компания iPi software предоставляет набор инструментов для Motion Capture в домашних условиях: с использованием лишь 3-х обычных веб-камер (или двух камер Кинект) без использования каких-либо меток. Судя по видео, скелет строится вполне достоверно. Ожидаем в скором времени открытие бюджетных студий Mocap и танцевальных игровых автоматов нового поколения:



    Трекинг плоских объектов




    Теперь любой плоский шаблон (не только специальные метки) можно отслеживать в пространстве с помощью одной только веб-камеры. Здесь можно скачать библиотеку с примером.

    3Д-сканирование




    Компания Vi3DiM разработала интересную технологию 3Д-сканирования любых объектов с помощью одной веб-камеры.

    Трекинг сложных поверхностей




    Нидерландская команда The LAB разработала интересную технологию трекинга сложных поверхностей при съемках рекламы для WWF. Сложность заключалась в том, чтобы точно воссоздать 3Д-модель поверхности тела и его движения. Решение было следующее:
    • На тело модели нанесли реперные точки, видимые только в ИК-диапазоне;
    • Со всех сторон модель засветили ИК-прожекторами
    • Ролик снимали специально разработанной камерой, точнее 2 камерами: одна снимала в видимом диапазоне, другая — в ИК-диапазоне;
    • Видео со второй камеры обработали собственным софтом и построили сетку, точно соответствующую поверхности тела и его движениям;
    • По сетке построили анимацию.

    Схема специальной камеры выглядит следующим образом:

    image

    Leap



    Без комментариев.

    А это Leap, крепящийся к руке (разработка MS):


    UPD. Kinect


    Программно-аппаратное решение от MS, позволяющее отслеживать скелет и с недавнего времени лицо пользователя. Активно используется в коммерции как инструмент дополненной реальности.
    Хабраюзер Lardite написал ряд хороших статей, описывающих как аппаратную часть Кинекта, так и программную (SDK).
    Ads
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More

    Comments 13

      +2
      Открыл Flash-приложение для примерки очков. Было интересно, как оно лицо в очках распознает. В итоге отвалился flash ))
        +1
        У меня тоже отвалился — версия 11.4 r31.
        Обновление до Flash 11.4 r402 помогло.

          0
          А мою морду не хочет распознавать вообще, то я слишком близко, то далеко. Видать, кривой я :-)
          0
          Жить становится все интереснее.
            +2
            Лицо это конешно хорошо, но как быть, например, с ладонью? Она не симметричная в отличии от лица, что усложняет распознование. Единственный возможный вариант это с помощью вейвлетов Хаара? Пытался я это делать с OpenCV, правда обучающий файл не сам генерировал, а нашел несколько в сети. В общем, результаты не впечатляющие. Есть много видео на ютубе, где нормально распознаны ладони, но секреты авторы не расскрывают. Хотелось бы сделать что-то типа последних видео, но только с вебкамерой.
              0
              На практике для детектирования ладоней нередко используют подход flock of features. В большинстве видеороликов на youtube применяется именно этот подход.
              0
              Первое видео напомнило бесплатный аналог Trackir — «FaceTrack NoIR». В wartunder люди уже летают с таким для отслеживания положения головы. Полезные разработки экономящие 200 баксов за девайс.
              Спасибо наука.
                0
                Если верить описанию FaceTrackNoIR, то он как раз использует FaceAPI
                  0
                  Ох ох. Да я это и имел ввиду. Подумал уже как коммент написал что мысль не ясно выразил. Дело в том что на форуме его презентовали с видяхой похожей на первую. Поэтому и напомнило мне про реализацию данную это видео.
                  К чему я вёл — что данные разработки уже активно используются в разных сферах. И это отлично.
                0
                В статье нет ничего про Kinect, но зато есть про Leap и гаджет от MS… Вы лучше бы только на веб-камерах остановились, а то так уж совсем неполно получается.

                Кстати в Kinect SDK не так давно появился фейс-трекинг, преимущество которого — в расстоянии до камеры (до 3 метров)
                  0
                  Спасибо, добавил.
                  0
                  Есть еще компания Pointgrab, трэкинг рук, замена мышки и т.д., работает уже в целом ряде устройств как embedded а также поставляется с некоторыми ноутбуками и ПК.
                    0
                    Интересно, почему у iPi Soft все модельки из игр Valve?

                    Only users with full accounts can post comments. Log in, please.