Нейросеть Unique3D создаёт 3D-модели объектов по фотографии, прогоняя её через несколько уровней диффузии. Это позволяет увеличить итоговое разрешение модели и сгенерировать недостающие стороны объекта. После этого нейросеть создаёт полигональную сетку на основе карты нормалей. Итоговый объект покрывается текстурой на основе данных исходной фотографии.
Для генерации нейросети надо передать всего одну фотографию объекта с фронтальной стороны. Мы для теста использовали фотографию вязаного Хабраслизня, но сперва удалили с изображения фон. Это можно сделать с помощью самой нейросети, но чтобы не подбирать подходящие параметры — воспользовались встроенной в macOS утилитой.
После просто загрузили изображение и стали ждать. Процесс генерации занял около минуты, а на выходе получили файл в формате .glb, который можно редактировать. Трёхмерный объект получился не идеальным, но всё равно довольно качественным.
Разработчики Unique3D отмечают, что их нейросеть работает лучше аналогов в лице InstantMesh, OpenLRM и CRM. О методе генерации более подробно можно узнать из доклада инженеров. Код доступен на GitHub, а веса модели — на Hugging Face. Протестировать нейросеть можно на демо сайте (вторая ссылка).
