Манипуляции с объектами на фотографиях в 3D



    Как сообщает CNET, исследователи из университета Carnegie Mellon разработали технологию, позволяющую делать плоские объекты на фото объёмными, и свободно манипулировать ими.

    Технология основана на использовании базы стоковых 3D моделей объектов из повседневной жизни (машины, мебель, предметы одежды, посуда...).
    После небольшой настройки и калибровки система позволяет заменить плоский предмет с фотографии на его объёмную версию, которую можно свободно вращать в пространстве и анимировать.

    image

    На данный момент существуют сложности, связанные с наполнением базы моделей. Во многих случаях приходится использовать близкую, но не идентичную по геометрии модель для модифицируемого объекта.
    По мере наполнения базы моделей система позволит быстро распознавать объекты и подменять их точными 3D моделями.
    На данном этапе также есть сложности с «вытаскиванием» объектов с неровными краями, или расположенных на неоднородном фоне.





    Технология будет представлена на конференции SIGGRAPH 2014, 13 августа, в Ванкувере.
    Подробную информацию о проекте можно найти на его официальном сайте, а так же в довольно объемном и подробном описании изысканий (PDF).
    Поделиться публикацией

    Комментарии 13

      +1
      Занятно, как они обходятся с недостающими участками фона при модификации — это выглядит даже более сложной задачей, чем подборка модели основного объекта. Во многих известных проектах эта проблема так и не была решена с приемлемым результатом (имхо)
        +2
        Судя по артефактам на линованной бумаге во втором видео, используется content-aware fill/pattern matching, аналогичный тому, что использует photoshop.
          +1
          В файле readme идущем с программой написано:
          Both 3DObjectManipulation and Alignment require a photograph named `image.png’, a background unpainted image named `background.png’, a shadow mask that specifies shadow regions, named `shadowMask.png’, and a ground mask that specifies ground regions, named `groundMask.png’.

          т.е. как я понимаю фон этой программе надо предоставить готовый
          0
          Довольно таки занятно. Надеюсь, в будущем они доработают эту технологию, чтобы можно было сразу в режиме реального времени перемещать предметы в виртуальном пространстве. Представляете, какие возможности тогда откроются?
            +7
            Какие?
              0
              Если на элементарном уровне, как я думаю, вполне можно будет делать интерьерные решения, в плане виртуальной расстановки/перестановки окружающих предметов. А если дальше думать, можно ещё что-нибудь придумать.
                0
                А то вон сейчас нельзя? (копать в сторону Autodesc Homestyler®, впрочем он не один на этом поле).
                  0
                  +6
                  Можно будет перемещать предметы в режиме реального времени.
                0
                Похоже на Magnetic Lasso Tool в Фотошопе. Инструмент умный, но все равно все вручную обтравливают изображения. Так точнее и быстрее, чем потом править ошибки компьютера. Здесь такая же аналогия, только с 3D. Но как эксперимент интересный.
                  0
                  соединяем с гугл глас и манипулированием руками, получаем фильм «Начало»
                    0
                    Направление развития интересное, но пока ещё сыровато, конечно. Непонятно зачем это может понадобиться. Реально обработать уже имеющуюся фотографию с приемлемым результатом сможет только профессионал, а это затратно примерно на столько же, насколько просто сделать статическую фотку вообще без динамических объектов, а объекты потом добавить в каком-то из уже существующих инструментов. Наложение текстур из фотки это хорошо, но из-за «угадывания» невидимой части опять же лучше отдельно нафоткать объект, создать его модель, отдельно сфоткать фон и совместить.

                    В общем пока ещё это не домашний инструмент. Но если развивать и дальше то получим новый фотошоп, где девочек на фотках можно будет крутить в любом ракурсе :)
                      0
                      Тут открывается возможность прийти в готовое помещение с мебелью (квартиру или офис) и спланировать перестановку, дополнение интерьера, или замену части мебели.
                      Причем с использованием планшета или гугл глас сразу получить наглядный результат, осмотреть его со всех сторон, выявить неявные недостатки (например подойти к новому виртуальному рабочему креслу и обнаружить что в это место дует кондиционер, а значит надо или переносить кресло, или перенастраивать куда-то кондиционер).

                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                    Самое читаемое