Колмапа в таком количестве изображений действительно не хватает. Нужны дополнительные констрейнты. Тут для улучшения качества я использовал более богатую инициализацию и супервайз на депс (RaDe), в качестве GT депсы брал из vggt-omega. Помогает получать гауссианы, более обусловленные на геометрию
Круто! Не видел, спасибо! По поводу данных, действительно, есть прям неподходящие кейсы, этот автомобиль был вторым, который я вытянул, с порядочным количеством изображений. Действительно, там есть свои приколы с данными. Некоторые картинки содержат блюр-рамки, некоторые имеют динамичную сцену вокруг - без маскирования не обойтись, некоторые «панорамы» инвертированы, то есть машина крутится на стенде
Это очень интересное замечание. Тут затрагивается 2 темы, первая проще - вкус, действительно, кому-то будет привычнее/удобнее смотреть на фотографии, но прелесть повышения размерности 2D -> 3D в том, что из 3D вернуться к фотографиям намного проще, чем наоборот, при этом порадовав тех, кому больше бы хотелось покрутить модель. Вторая - артефакты, это правда, их много - флоатеры, блики, неидальная геометрия..... Избавление от этих артефактов на production уровне тяжелая, но не нерешаемая задача. Эта демонстрация показывает базу, что выбор (почти) случайного набора изображений автомобиля позволяет получить уже неплохую модель в 3D. Я планирую в будущих постах коснуться именно этого аспекта - выявление причинно-следственных связей этих артефактов и способах работы с ними
В точку! Самое клевое, что есть в этой задаче - это уже готовая постановка. Обычно не так просто придумать очевидное применение для 3dgs в реальном продукте. А тут получилось так, что у них есть фича, которая имитирует 3д панораму. Целью было посмотреть, насколько на эту задачу хорошо ложится подход через через гауссианы
Колмапа в таком количестве изображений действительно не хватает. Нужны дополнительные констрейнты. Тут для улучшения качества я использовал более богатую инициализацию и супервайз на депс (RaDe), в качестве GT депсы брал из vggt-omega. Помогает получать гауссианы, более обусловленные на геометрию
Круто! Не видел, спасибо! По поводу данных, действительно, есть прям неподходящие кейсы, этот автомобиль был вторым, который я вытянул, с порядочным количеством изображений. Действительно, там есть свои приколы с данными. Некоторые картинки содержат блюр-рамки, некоторые имеют динамичную сцену вокруг - без маскирования не обойтись, некоторые «панорамы» инвертированы, то есть машина крутится на стенде
Это очень интересное замечание. Тут затрагивается 2 темы, первая проще - вкус, действительно, кому-то будет привычнее/удобнее смотреть на фотографии, но прелесть повышения размерности 2D -> 3D в том, что из 3D вернуться к фотографиям намного проще, чем наоборот, при этом порадовав тех, кому больше бы хотелось покрутить модель. Вторая - артефакты, это правда, их много - флоатеры, блики, неидальная геометрия..... Избавление от этих артефактов на production уровне тяжелая, но не нерешаемая задача. Эта демонстрация показывает базу, что выбор (почти) случайного набора изображений автомобиля позволяет получить уже неплохую модель в 3D. Я планирую в будущих постах коснуться именно этого аспекта - выявление причинно-следственных связей этих артефактов и способах работы с ними
В точку! Самое клевое, что есть в этой задаче - это уже готовая постановка. Обычно не так просто придумать очевидное применение для 3dgs в реальном продукте. А тут получилось так, что у них есть фича, которая имитирует 3д панораму. Целью было посмотреть, насколько на эту задачу хорошо ложится подход через через гауссианы