Из 360°-панорамы авто в настоящий 3D: Gaussian Splatting на чужих фотографиях машин

[olgablinovaa]

Звучит как обычная рекламная “3D-панорама”, которая на деле просто маскирует набор фоток под иллюзию объёма. Ты, по сути, не открыл что-то новое, ты просто докрутил то, что у них изначально было недоделано: вместо листалки кадров сделал нормальную реконструкцию сцены.

[bulatko]

докрутил то, что у них изначально было недоделано

В точку! Самое клевое, что есть в этой задаче - это уже готовая постановка. Обычно не так просто придумать очевидное применение для 3dgs в реальном продукте. А тут получилось так, что у них есть фича, которая имитирует 3д панораму. Целью было посмотреть, насколько на эту задачу хорошо ложится подход через через гауссианы

[Skigh]

Это всё очень круто с точки зрения математики и программирования, но практическая польза в рамках задачи - демонстрация реального объекта потенциальному покупателю - весьма сомнительна, на мой взгляд. По мне так десяток качественных фото с разных ракурсов вполне достаточно, и гораздо полезнее, чем свободно вращаемая сгенерённая модель с артефактами.

А вот при создании игр и видеоконтента такое может пригодиться.

[bulatko]

Это очень интересное замечание. Тут затрагивается 2 темы, первая проще - вкус, действительно, кому-то будет привычнее/удобнее смотреть на фотографии, но прелесть повышения размерности 2D -> 3D в том, что из 3D вернуться к фотографиям намного проще, чем наоборот, при этом порадовав тех, кому больше бы хотелось покрутить модель. Вторая - артефакты, это правда, их много - флоатеры, блики, неидальная геометрия..... Избавление от этих артефактов на production уровне тяжелая, но не нерешаемая задача. Эта демонстрация показывает базу, что выбор (почти) случайного набора изображений автомобиля позволяет получить уже неплохую модель в 3D. Я планирую в будущих постах коснуться именно этого аспекта - выявление причинно-следственных связей этих артефактов и способах работы с ними

[Skigh]

прелесть повышения размерности 2D -> 3D в том, что из 3D вернуться к фотографиям намного проще, чем наоборот

Дело в том, что здесь ультимативная задача изображения - документирование реальности (оценка состояния товара). Генерируя из 2D в 3D вы не просто "повышаете размерность", а создаёте дополнительный, искусственный уровень абстракции между реальным объектом и зрителем.

А если вы хотите зрителя развлечь - то вам карты в руки, хоть в стиле Ghibli перерисовывайте объект.