Получение 3D объекта по 1 фото



    На выставке SIGGRAPH ASIA 2013 (англ.), посвященной компьютерной графике и интерактивным технологиям, представлена разработка 3–Sweep, позволяющая лишь по одной фотографии получить трехмерный объект с текстурой. Хотя речь идет о объектах являющихся наборами примитивов и их растяжений по некоторому пути, но скорость и простота работы впечатляет! Также оценивается и дополняется то, что могло бы быть за объектом, после его вырезания из фотографии, хотя мы уже видели похожий инструмент от Adobe.

    Вся работа по извлечению 3D объекта из фотографии выглядит крайне просто, это разметка фотографии и указание протяженных участков объектов. Сетку получающегося объекта не показывают, но видно, что допиливать в ней особо нечего, за исключением случаев неправильного распознания, в демонстрации они тоже есть. Как можно судить по ролику, в предлагаемом подходе не решены вопросы с алгоритмами вычитания из конечной текстуры источника(ов) света и построения правильного кубмапа для отражающих поверхностей, но на фоне простоты создания модели это мелочи.

    P.S.: Мопед не мой (но на хабре не нашёл упоминания).
    Share post

    Comments 28

      +22
      Впечатляет! Я хочу это попробовать.
        +17
        Нигде не нашел больше информации по этой компании и программе. Наверное Adobe уже купила её и закрыла)
        +12
        Очень круто, вспоминается Милославский: "… А это в любом магазине стеночку можно убрать?"
        +4
        Выглядит круто и примерно понятно…
        Но вопрос сразу… а как они фон за объектом так качественно порой генерят? На некоторых демо видно, что там пачи с кусков рядом, но вот на видео с трубой, уж как-то слишком идеально тучи и листва восстановлены… или я что-то упустил?
          +6
          Они используют PatchMatch
            +1
            Обратите внимание на плагин Resynthesizer к GIMP. Если погуглить можно найти собранную 1.x версию.
            У автора есть публикация на эту тему.
            Спустя много лет это добавили в фотошопе под название Content-Aware Fill. Работает не в 1:1 как Resynthesizer, где-то лучше где-то хуже чем он.
            Мне больше работа Resynthesizer нравится.
            +11
            Или я отстал от жизни, или это фейк…
            +15
            Подозреваю, что попытки оцифровать модель человека с фотографии будут давать крайне забавную картинку из-за работы алгоритма угадывания текстур. Например, сфотографированный со спины человек окажется существом без лица, но с двумя задницами.
              +29
              И для многих и многих людей это и есть чистая правда…
                +1
                В видео есть часть про минусы. Например, даже простой тюбик пасты не получится сделать, так как нужны объекты кручения
                  +1
                  Это же пользователь!
                    0
                    Да, вы точно заметили про «забавную», а не «неудачную» картинку. Она может оказаться даже более проницательной и верной, чем обычная фотография…
                    –4
                    А куда пропадает старый, нарисованный объект с картинки — когда модель начинают вертеть?
                    +1
                    И сразу нашёл, куда применить: в соседней вкладке Google Street View и аккуратные параллелепипеды-дома, которые так и просятся быть оцифрованными. И наступит золотой век без переходов между локациями; один сплошной открытый мир.
                      0
                      У гугла почти таки и было, правда более муторно и только для некоторых городов. Но потом они решили, что волнистая мутная поверхность лучше.
                        0
                        Гугл давно уже простые дома в объём цифрует автоматически, для Гугл-планета Земля
                        +21
                        Надо программу вот на это натравить:

                          +9
                          Да чего там программу: я свой мозг натравил на вторую картинку, и при перемещении взгляда влево-вправо прямо-таки ощущаю, что где-то посередине изображения система распознавания образов выполняет недопустимую операцию и закрывается.
                            +7
                            «Аааа!!!» — сказали суровые русские мужики.
                            +1
                            Хочу!
                              +1
                              Эта выставка будет во второй половине ноября.
                                0
                                Какие только извращения не придумают, лишь бы не использовать фотометрию из нескольких фотографий или стерео. Хотя карту глубины построить из стереофото — расплюнуть (photosynth, pmvs, cmvs)
                                  0
                                  Для качественной фотограмметрии необходима проективная геометрия, а так…

                                  Only users with full accounts can post comments. Log in, please.