Алгоритм cтабилизации видео с помощью 3D-моделирования сцены

    Исследователи из Microsoft Research разработали алгоритм для автоматической стабилизации видео «от первого лица», снятого с помощью наголовной или другой видеокамеры во время путешествия по маршруту. Например, при езде на велосипеде или скалолазании.



    Примеры стабилизированных видеороликов можно посмотреть здесь, там же оригинальные (необработанные) видеоролики, для сравнения. Опубликован исходный код и пояснения по работе алгоритма. Скоро разработчики выпустят приложение для Windows, чтобы каждый мог попробовать технологию на собственных видеороликах.

    Разработчики утверждают, что полученного ими результата невозможно добиться с помощью альтернативных способов стабилизации. Метод основан на реконструкции 3D-сцены, после чего алгоритм оптимизирует «движение» камеры по маршруту, чтобы исключить вибрации, и совмещает кадры попиксельно в плавный видеоряд.

    Например, на иллюстрации справа показан настоящий маршрут (чёрным цветом) и оптимизированный маршрут, который сгенерировала программа для рендеринга видеоролика (красным цветом).

    В итоге получается так называемое hyperlapse-видео (названо по аналогии с time-lapse, замедленной киносъёмкой).

    Ads
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More

    Comments 10

      +1
      Видео выложили ускоренным, потому что явно подглючивает. Интересно было бы увидеть подобную технологию для Street View
        0
        Несколько кадров используется для рендеринга результирующего после смещения и поворота точки съемки из-за сглаживания ее пути, поэтому наверное и ускоренное на выходе.
          +5
          По идее если снимать видео с достаточно большим ФПС, можно получить стабильную картинку с нормальной скоростью течения времени, но меньшим ФПС чем у оригинала.
          +12
          Вообще-то, насколько я понял, к таким ухищрениям как раз таки и прибегают для того, чтобы ускоренное видео от первого лица не превращалось в «кашу» из-за постоянной смены направления съемки. А «подглючивает» потому, что показывают результат работы на самом «злом» для алгоритма случае со сложной геометрией (скалы).
            0
            Да, меня смутил текст заметки, в которой просто 'алгоритм для автоматической стабилизации видео «от первого лица»'. Тем не менее, интересно, пойдут ли они дальше, в сторону улучшения street-view алгоритмов
          0
          Неплохим направлением развития алгоритма может стать совместное использование нескольких камер, снимающих одновременно (но не синхронно, в т.ч. углы обзора) ту же самую сцену но с разных ракурсов и в разных направлениях.
            +2
            Буквально сегодня был пост про диснеевскую технологию.
            0
            Это великолепно. Давно хотел показать город в котором я живу похожим способом. Так и хочется поработать с ребятами, которые придумывают и пишут такие вещи. Или хотя бы посмотреть на них. :)
          • UFO just landed and posted this here

            Only users with full accounts can post comments. Log in, please.