ProFORMA: Объекты в 3D через Веб-камеру

    ProFORMA: Probabilistic Feature-based On-line Rapid Model Acquisition
    Пан Ки(Pan Qi), аспирант Университета Кембриджа, разработал интересный метод моделирования объектов с помощью веб-камеры.
    image
    Слева направо: (A) Вращаем объект рукой перед камерой. (B) Образование облака точек полученного из структуры оценки движения. (С) Триангуляция Делоне из облака точек, образование выпуклого объёма из тетраэдров. (D) Сетка покрытия получаемая из возможной рекурсии тетраидальной разметки. (E) Текстурирование отображенной поверхности сетки.

    Стандартная реконструкция объекта полагается на этап сбора изображений и этап моделирования, требующая много времени, чтобы проверить, что модель полученная из последовательности изображений является точной.
    Автор предлагает новую систему сбора моделей, названную ProFORMA, которая создает 3D-модели напрямую из последовательности получаемых с видео-камеры снимков. Пока пользователь вращает объект перед стационарной камерой, частичная модель реконструкции отображаться перед пользователем чтобы помочь более точной реконструкции. Программа также использует систему отслеживания положение объекта.

    Результаты реконструкции различных объектов:
    image
    Видео:

    Получаемые результаты достаточно точны и этот метод может привести к удешевлению и значительному ускорению методов получения цифровых моделей, к тому-же предложенный метод работает напрямую, без дополнительного сбора информации об объекте.
    Поделиться публикацией

    Комментарии 74

      +11
      Действительно круто, грубовато правда в некоторых местах, но для старта весьма и весьма впечатляет. Вполне возможно что за этим будущее 3D моделинга.
        0
        тут, я думаю, что непоследнюю роль сыграла вебкамера. думаю, что в ближайшее время его метод улучшат, в том числе и за счет улучшения качества используемой техники
          0
          Да ведь можно по FireWire подключить любую, даже HD камеру.
            0
            Вот эта будет в самый раз ;)
              0
                0
                не в тему, но интересно, существуют ли широкоугольные веб камеры?)
                  0
                  Где-то попадалась линка на веб камеру со сменной оптикой. Можно погуглить, может и есть.
                    0
                    было бы весьма забавно)
                    0
                    PS3 Eye неплохо подключается к маку через maccam и при наличии драйверов от AlexP (http://nuigroup.com/S=c7056429f45f689e04cee017c06ee0f0e81687dc/forums/viewthread/2921/).
                    На нее же налазят сменные линзы M12 (такие же используются в видеоглазках).
                      0
                      … при наличии драйверов от AlexP к WinXP-Vista (на семерке не пробовал)
                        –1
                        у меня мак)
                          0
                          webcam-osx.sourceforge.net/
                          Как то так) У меня тоже мак)
                          Сижу и радуюсь той же камере со 140 градусной линзой :)
            +1
            Будущее 3D моделлинга в папье-маше? О ужас! Зачем же эти SpacePilot'ы, 3D/4D Mous'ы, всяконавороченные планшеты и дофигаядерные рабочие станции?

            me пошёл искать ножницы)
              0
              Есть еще пластилин(=
              0
              Сразу подумалось о реализме мелких деталей в 3D играх.
                0
                Я не думаю, что вырезать сколь-нибудь сложную модель из папье-маше, а потом перевести таким образом в 3D будет дешевле, точнее и проще, чем смоделировать её в каком-нибудь Blender. Так что будущее — вряд ли. Но свою нишу безусловно займёт.
                  0
                  Речь конечно не о моделировании в папье-маше, а о сканировании имеющихся реальных объектов.
                    0
                    Вот я и говорю про нишевое использование. А если надо смоделировать какого-нибудь космического зерга? :)
                      0
                      Можно слепить:
                        0
                        Их и так часто лепят, прежде чем моделировать.
              • НЛО прилетело и опубликовало эту надпись здесь
                  –4
                  В том-то и дело, что в этих ваших магазинах — псевдо, а тут строится 3d-модель с полноценным mesh'ем и блекджеком.
                  +9
                  а текстуры оно тоже само накладывает? если да, то впечатляет
                    0
                    Однозначно неплохо))
                    • НЛО прилетело и опубликовало эту надпись здесь
                      • НЛО прилетело и опубликовало эту надпись здесь
                          +1
                          Так и представляю модель, летающую на белом фоне в вертикальной струе от пылесоса перед скоростной камерой — никаких артефактов ))
                            +2
                            Первое что пришло в голову: поставить на обычный лист A4 и крутить за края листа.
                              +4
                              Либо в белом халате держать модель за «тёмную сторону» так чтобы камера рук не видела.

                              Хотя, как показывает практика, не со всеми предметами так просто. Имел опыт макросъёмки в весьма недешёвом коконе. Пока игрались со всякой требухой, которую нашли в кармане — удивлялись проработкой деталей, равномерностью света и отсутствию бликов. Но когда руки дошли до полированных металлических изделий, поняли что сделать снимок не попавши в кадр, крайне сложно. Как не крути, а камера ловит саму себя в блестящем предмете. Но это, как оказалось, были цветочки, ягодки проявились на изделиях из горного хрусталя))
                                0
                                угу, или на проигрыватель пластинок, etc. поставить :)
                                  0
                                  или колесо велосипеда :D
                          +4
                          Мде, а я так радовался, что получил доступ к 3d laserscanner David, думал обзор написать, а это оказывается полное старье.
                            +4
                            Почему? пишите, вот например процесс создания 3Д модели автотрассы с помощью лазерного сканирования.
                            По моему с веб-камерой такое будет проблематично сделать :)
                            pic.ipicture.ru/uploads/091125/X8q7ZlfoWy.jpg
                            pic.ipicture.ru/uploads/091125/fEBuM1bEHi.jpg
                              +4
                              Боюсь мой сканер не на столько хорош, может отсканировать предмет max 0,5м * 0,5м.
                              Но обзор пожалуй все таки напишу >_<
                            0
                            Ого, математика подключена серьезная. Всегда очень нравились такие проекты.
                              +2
                              Как собственную голову крутить? Прикольно было бы…
                                +1
                                камеру вокруг головы?
                                  0
                                  Почему-то вспомнилась Fleur: «Плавает девочка в формалине...»
                                  Открутить, а потом крутить)
                                    +1
                                    «она плавает в формалине»
                                  +1
                                  Еще один миллионер. Применение техн.на лицо.
                                    +9
                                    Вот это колоссальная работа проделана! Не то что некоторые студенты, курсач готовят в последнюю неделю :) :(
                                      +11
                                      курсач в последнюю неделю, это святое :)
                                        0
                                        За неделю? Фи… Было дело и за ночь с нуля курсачи писали. :) Причем по довольно серьезным предметам.
                                          0
                                          за неделю? :) можно и за ночь, и диплом за неделю :)
                                        0
                                        Хм… только я про googlemaps вспомнил…
                                          0
                                          самое клевое, что, видимо, можно прогнать готовые материалы(видео, фото) и получить 3d
                                          • НЛО прилетело и опубликовало эту надпись здесь
                                              0
                                              Для создания облака точек(пункт B) используется примерно такая схема, берем 2 последовательных кадра, ищем на них какие-то особые точки, области и т.д., потом устанавливается соответствие между точками кадров, получаем пары. Если известны двумерные координаты этих точек и нужные параметры камеры, то 3D точка легко востанавливается по формулам.
                                              А вот отсечение это что-то новое, имхо, ключевая часть идеи.
                                              0
                                              Супер! :) Ждём софта для оцифровки вещей :)
                                                +1
                                                А как он определяет чего сканировать? Почему руку, стол, и остальное не сканирует?
                                                  0
                                                  Видимо стол — потому что он не движется :) Вот с рукой интересно, да )
                                                    0
                                                    Вероятно, у руки слишком сильно меняется положение относительно сетки «пойманного» объекта.
                                                    Ближе к концу ролика видно, как руку цепляет, но потом отсекает.
                                                      0
                                                      В действительности, кто внимательно смотрел ролик, мог заметить, что рука так-же оцифровывается, но поскольку её положение относительно объекта и общая форма меняется программа её «отсекает».
                                                  +6
                                                  а где ссылка «Download Beta»? (((

                                                  короче технология впечатляет!
                                                    0
                                                    ссылка на имени автора — так есть и подписка на тестирование.
                                                    0
                                                    Впечатляет, ничего не скажешь, но цилиндры, параллелепипеды… это несколько кликов в 3D редакторе (если не считать текстуры). Домик сложнее, но все-таки модель довольно примитивная.

                                                    Вот показали бы обработку более сложных предметов, можно было бы делать выводы.
                                                      0
                                                      Думаю если парню помогут развиваться, то не далек тот день…
                                                      0
                                                      Уходили от реальных вещей и предметов в моделирование — к ним же, в некоторой мере, и вернулись. Все по спирали?
                                                      Удобно то, что можно в реальности собрать модели с мельчайшими деталями и шикарными «текстурами», подогнать в редакторе по масштабу и сцена готова! Весьма удобно. Особенно если качество будет в итоге на высоте.
                                                        0
                                                        И, я думаю, с обычной камерой будет проблема с моделированием листвы у дерева (не у цветка с парой листиков).

                                                        А для создания добротной модели кактуса (без халтуры — со всеми иголками), понадобится уже FullHD :)
                                                          0
                                                          Эта технология — будущее кино.
                                                          Сейчас на компьютерные модели актеров накладывают текстуры и занимает этот процесс времени от 2 дней до +бесконечности.

                                                          А в 2031 году, вероятно, актеру нужно будет встать, поставить руки на ширине плеч, и все!
                                                          Идеальная 3D модель готова и можно химичить над сценой с выпадением из самолета без парашюта (предварительно отсняв самолет и парашют соответственно)
                                                            +1
                                                            Эта технология — будущее роботозрения. Придумывают там какие то сложные лазерные системы с кучей датчиков, а здесь одна вебкамера и все готово. Я ратую за низкую стоимость. Дал бы кармы, если б мог, автору. Спасибо за статью!
                                                            –1
                                                            Уже 100 раз подобное было, до этого был фотоаппарат и поворачивающаяся площадка…
                                                              0
                                                              сетка покрытия уж очень напоминает разбиение на сетку конечных элементов в Ansys. Погрешность разумеется есть, но при таких условиях… в общем — впечатлило! :)
                                                                0
                                                                Вот это я понимаю, парень постарался. Разработчику большой респект. Применение этой технологии всегда найдётся
                                                                  +1
                                                                  Шикарно. Если бы ещё объяснил кто-то простым языком, как из двухмерного набора точек можно получить трёхмерный…
                                                                    0
                                                                    Еще бы понимание — на сколько просто созданная сетка редактируется, но проект у парня шикарный, думаю многие моделеры вздохнут с облегчением, если доработать до ума.
                                                                      0
                                                                        0
                                                                        При построении Рима, конечно, впечатляют объемы обработанных данных, но они не ушли дальше получение облака точек, то есть нет триангулированной модели.
                                                                          0
                                                                          не знаю как сейчас дела у этого университета, но думаю с добавлением плоскостей по заданным точкам они справятся (http://grail.cs.washington.edu/rome/dense.html). А ведь у них постановка задачи была несколько сложнее: фотографии, которые они использовали, все были сделаны с разных точек, имели разные разрешения, цвета, пр.
                                                                            0
                                                                            Конечные модели по Риму я еще не видел, спасибо за наводку. Но у них тоже не все идеально и говорить о получении законченной трехмерной модели пока нельзя, хотя на отдельных участках качество и впечатляет.
                                                                        0
                                                                        Не прочитал все комментарии, но видел аналогичный проект у НАШИХ студентов года 1,5 назад. На BIT 2008, наверно. Названия проекта не вспомню.
                                                                          0
                                                                          думаю у проекта большое будущее. Особенно если применить такой подход визуализации не к искуственным предметам, а к живым существам.
                                                                            +1
                                                                            Я один не вижу ничего нового здесь?? Все это уже давным давно существует.

                                                                            vision.middlebury.edu/mview/
                                                                            Поглядите сколько там разных алгоритмов засубмичено. Я думаю и коммерческих проектов среди них полно.

                                                                            Единственное что он сделал — интерфейс к веб-камере, ну это знаете-ли как раз уровень студенческой работы.
                                                                              0
                                                                              Ну и где эта разработка спустя год?

                                                                              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                              Самое читаемое