Неочевидные лайфхаки 3D реконструкции людей

[DjPhoeniX]

@efim_twin, отличные результаты. Долгое время пытался добиться такого с разными технологиями, и Kinect, и iPhone с LIDAR, и всё время упирался в подвижность объектов. Коммерческий софт не спасал. Так и понял, что нужен риг из нескольких камер, желательно RGBD. На вскидку, сколько у вас камер в вашей студии?)

[efim_twin]

Спасибо! У нас 120 камер на полноростовом сканере.

В сторону RGBD мы тоже думали, но пока не экспериментировали. Если попробуете -- будет круто узнать про ваш опыт!

[VaalKIA]

Если приглядеться к этой девушке, то можно легко заметить, что после уменьшения шума итоговый рендеринг становится гораздо приятнее, при этом детализация не пропадает.

А что у неё с волосами, вы там где-то гордились, что прорисовывается с точностью до волоса…

[efim_twin]

Комментарий про волосок касался именно убирания фона на фотографиях. Было бы, конечно, классно и 3D модель восстанавливать с такой точностью, но пока это открытая исследовательская проблема. Если интересна тема, то у Facebook Reality Labs в прошлом году была хорошая статья на эту тему.

[Amomum]

Фон ведь у вас статичный, получется? Интересно, нельзя ли просто сначала делать фото без человека, а потом с ним - и убирать фон просто "вычитанием", без нейросетевых хитростей?

[efim_twin]

Классная идея! На самом деле сейчас оно так и происходит, только с нейронками :) Просто надо учитывать, что камеры могут немного колебаться, к тому же может немного поменяться освещение в комнате, появиться новые блики, измениться баланс цветов и так далее -- так что просто вычесть одну фотку из другой не получится, нужна нейронка.

[Smerig]

Ну это в студии можно сначала фон заснять. А с примером как у вас из трех уже имеющихся фотографий — только нейронки.

[Amomum]

Я на самом деле вообще не шарю, но мне показалось что задача по сути простое - "цифровое ротоскопирование" - которое на статичном фоне, даже самом сложном, сейчас делается достаточно легко без нейронок в каком-нибудь AfterEffects. Ну, наверное, без нейронок, черт его знает, что у него там под капотом :)

В целом-то вам виднее, конечно, я ни в коем случае не претендую на экспертность в этом вопросе.

[agim-gal]

Освещение поменяется за те 5 секунд что человек уходит из кадра?

[efim_twin]

У нас импульсное освещение. Это значит, что камеры могут вообще говоря включаться немного в разные моменты и от этого качество фотографий будет отличаться.

[strimbeanu]

В голову пришла такая идея: а что если камеры спрятать за хромакеем, оставив лишь объектив через отверстие?

[efim_twin]

Теоретически можно, только это не очень удобно, особенно если надо менять что-то в сканере. Если есть возможность софтверно решать проблемы, то обычно лучше так :)