Microsoft Hyperlapse: видео с 3D-стабилизацией

    На будущей конференции SIGGRAPH будет представлено много интересного. Не останется в стороне и компания Microsoft, которая заранее анонсировала свои планы. Она покажет технологию Hyperlapse для эффективной стабилизации изображений и склеивания необычных и красивых видеороликов типа таймлапс от первого лица.

    Microsoft работает над этой технологией уже несколько лет, представляла научный доклад о Hyperlapse на SIGGRAPH 2014. Сейчас же всё работает. Можно установить мобильное приложение и попробовать Hyperlapse в деле (чтобы установить версию под Android, например, нужно вступить в сообщество и зарегистрироваться как тестер).



    На отдельной странице Microsoft подробно объясняет, чем отличается её приложение от недавно представленного приложения Instagram Hyperlapse для iPhone. Вроде бы, и называется так же, и работает примерно одинаково.

    Microsoft говорит, что они работали совершенно независимо и узнали о программе конкурентов всего несколько дней назад. Как показало разбирательство, у двух технологий имеется ряд фундаментальных отличий. Программа от Instagram похожа на обычные стабилизаторы, когда край одного кадра накладывается на другой кадр, чтобы компенсировать дрожание камеры. В отличие от существующих программ Adobe After Effects или Youtube video stabilizer, впрочем, программа от Instagram не анализирует кадры, а использует информацию со встроенного гироскопа. Чтобы на краях не было артефактов, она зуммирует картинку.

    Всё это работает только при слабом дрожании, говорит Microsoft, например, если аккуратно держать смартфон двумя руками и плавно двигаться. Но когда вы вставляете его в шлем и пускаетесь в райд, всё полностью разваливается.

    В Microsoft Hyperlapse реализован фундаментально иной метод. Здесь осуществляется реконструкция всего маршрута камеры в 3D и составляется модель окружающего мира. Это позволяет сделать более плавным движение камеры в пространстве-времени и сгенерировать итоговое видео, где камера двигается на постоянной скорости. То есть будут автоматически вырезаны «медленные» фрагменты, как стояние на красном свете.



    Что очень важно, Microsoft Hyperlapse может заполнить недостающие фрагменты кадров, заимствуя пикселы не с одного соседнего кадра, а с нескольких кадров.

    Техническое объяснение работы Microsoft Hyperlapse см. на видео.

    Поддержать автора
    Поделиться публикацией
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 11

      0
      Приложение уже появилось в PlayStore (несколько часов назад его еще не было), но у меня печаль:
      Приложение несовместимо с вашими устройствами.

      Ни одно из моих устройств с 4.0.4. Неужели ему 5 версия нужна.
        +1
        4.4 или позже:

        Currently this app works on the following devices, running Android 4.4 or later:
        — Samsung Galaxy S5, S6, S6 Edge, Note 4
        — Google Nexus 5 & 6, Nexus 9 tablet
        — HTC One M8 and M9
        — Sony Xperia Z3 
        0
        Жаль, что не могу опробовать, но выглядит просто очень круто. Стоит надеяться, что в скорейшем будущем на том же андроиде сразу же будет стоять такая стабилизация.
          0
          Похоже приложение сняли с маркета. По ссылке со страницы для тестеров вылетает ошибка.
          Ни у кого случаем apk не сохранился? Я это приложение уже год жду. Жаль правда что под андроид, обещали для win сделать версию.
          Такая стабилизация нужна для Action-камер, не для телефонов.

          Microsoft говорит, что они работали совершенно независимо и узнали о программе конкурентов всего несколько дней назад.
          Это приложение анонсировали почти год назад. Так что видимо имеется ввиду, что за несколько дней до того ананса, они и узнали о разработке Instagram Hyperlapse.
            0
            По ссылке со страницы для тестеров вылетает ошибка.
            Уже все нормально.

            Попробовал.
            Стабилизирует вроде неплохо, действительно дорисовывает картинку с соседних кадров, но приложение очень сырое. На ускоренном движении — странные дерганья, похоже что просто пропуск кадров, так что лушче сохранять в 1x и ускорять другими средствами.
            Удалось загрузить видео с Gopro. Движение исправляет лучше чем обычные программы-стабилизаторы. Даже похоже лучше чем созданные специально для action камер, но детально не сравнивал.

            Однако использовать приложение для каких-то практических целей невозможно.
            Никаких настроек в приложении нет. Возможности влиять на гладкость пути — нет. Выбрать качество рендера — нельзя.
            В итоге — замыленная до невозможности картинка, которую даже стыдно кому-то показывать.

            В качестве примера: Исходник и Результат

            Возможно, на родной камере смартфона будет лучше, т.к. программе нужно учитывать объектив. Но судя по тесту в квартире — примерно то же самое.
              0
              В своем видео они показывают калибрацию камеры перед всем процессингом. В приложении они не просят калибрационный паттерн пофоткать или что-то подобное?
                0
                Калибровки камеры нет. И вообще никаких настроек нет. Увы.
            0
            Nokia 1020: Это приложение нельзя приобрести для вашего устройства.

            System Requirements Windows Phone 8.1
            Supported devices*:
            Lumia 435, 530, 532, 535, 630, 635, 636, 638, 640, 640 XL, 730, 735, 830, 930, 1520
            HTC One M8

              0
              Скачал, попробовал.
              Как игрушка очень хорошо, только удручает полное отсутствие настроек и как итог nexus 5 выдаёт довольно мыльную картинку.

              Очень жду апдейтов.
                0
                Хорошая новость, тоже давно жду это от них.
                Но на ПК с возможностью сделать уже из отснятых видео с action-камеры.
                Думал проект изначально нацелен на ПК.

              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

              Самое читаемое