Алгоритм cтабилизации видео с помощью 3D-моделирования сцены

Исследователи из Microsoft Research разработали алгоритм для автоматической стабилизации видео «от первого лица», снятого с помощью наголовной или другой видеокамеры во время путешествия по маршруту. Например, при езде на велосипеде или скалолазании.

Примеры стабилизированных видеороликов можно посмотреть здесь, там же оригинальные (необработанные) видеоролики, для сравнения. Опубликован исходный код и пояснения по работе алгоритма. Скоро разработчики выпустят приложение для Windows, чтобы каждый мог попробовать технологию на собственных видеороликах.

Разработчики утверждают, что полученного ими результата невозможно добиться с помощью альтернативных способов стабилизации. Метод основан на реконструкции 3D-сцены, после чего алгоритм оптимизирует «движение» камеры по маршруту, чтобы исключить вибрации, и совмещает кадры попиксельно в плавный видеоряд.

Например, на иллюстрации справа показан настоящий маршрут (чёрным цветом) и оптимизированный маршрут, который сгенерировала программа для рендеринга видеоролика (красным цветом).

В итоге получается так называемое hyperlapse-видео (названо по аналогии с time-lapse, замедленной киносъёмкой).