Комментарии 13
Это не похоже на 3d сканер? Или тут используют случайные фото?
несколько видео в конце не имеют возможности воспроизведения.
Сам рендер - обычный splat-рендер. Главная проблема - это прозрачка, нет эффективных методов отрисовки. Разве что использовать стохастику.
Хранить на каждую точку целую сферическую гармонику - слишком жирно. Да и запеченный свет редко где нужен, лучше PBR и свое освещение.
Но за point cloud точно будущее. Уже сейчас они выгодны как по памяти, так и по эффективному gpu-рендеру.
Да, интересно, но тема светового поля так и не раскрыта (как облако размытых точек в 3-мерном пространстве имитирует отражения? Для этого нужен 5-мерный массив данных)
При отражении там костыль иногда работает. Если зеркало фотограметрироваить, то оно будет как портал, и будет 2 комнаты. https://www.youtube.com/shorts/PzfbZbrbt48
Ну и там вместо цвета, используется сферическая гармоника, чтобы цвет зависел от направления взгляда.
кроме очевидных вещей вроде осмотра достопримечательностей, например сделать фото Стоунхенджа, как и фото для музейных экспонатов, появляются интересности для например фото с Марса и Луны, фото с глубины, а еще фото с места преступления.
вообще указано что лучше делать много кадров с перекрытием в 50%, но мне вот подумалось (я просто так сам делаю часто), а почему бы просто не снимать видео, а потом видео скармливать как отдельные фреймы/фото, это проще чем запоминать с каким ракурсом и перекрытием ты сделал фото или не сделал.
Можно сравнить стоп-кадры из видео и набор фото с тем же разрешением. Разница видна невооружённым взглядом. Следствие алгоритмов сжатия и смазывания при движении.
Мы же про цифровую съёмку, не киноплёнку?
Так и делают, но нужно хорошее качество видео. Я вот предпринял несколько попыток сделать автопортрет из видео, снятого на мой довольно старенький бюджетный телефон - получилось откровенно говоря не очень.
Это реализовано в lumalabs.ai - можно из своих видео instantngp/splatting сделать и повертеть в браузере. Даже на телефоне не тормозит.
По работе очень много ресерча на тему делаем, стандартный пайплайн как раз предполагает видео + colmap для определения положения камеры. Но основная цель сейчас - 6dof видео. Но пока проблемы очень существенные есть:
1. Генерация 6dof видео нужна без сложных кастомных установок на 30+ камер. В основном работы сейчас все на одних и тех же датасетах так как получать их долго.
Стриминг - форматы для 6dof видео в основном послойные и немного ущербные для pointcloud видео . С нерфами вообще беда была, splatting удобнее, но все равно много надо изобретать
согласно правилу 34, ожидаем появления сплаттинг-порно :D
Гауссов сплэтинг: как это выглядит