Разработчик Юг Брюйер в ходе тестирования нейросети NVIDIA Instant NeRF для превращения снимков в 3D-объекты обнаружил, что у нее есть необычное свойство. Оно позволяет «заглянуть в зазеркалье», если в сцене есть зеркало.
Instant NeRF позволяет также немного продвинуться в «зазеркалье», при этом осматриваясь по сторонам.
Брюйер обработал с помощью нейросети 134 фотографии. Она смогла воссоздать снимки под недостающими углами, а также реконструировать отражение в зеркале.
Разработчик говорит, что Instant NeRF «не понимает», что это зеркало, но знакома с понятием глубины.
NVIDIA представила Instant NeRF в конце марте. Это нейромодель рендеринга, которая изучает 3D-сцену с высоким разрешением за секунды и может отрисовать изображения этой сцены за несколько миллисекунд.
Модель использует процесс инверсного рендеринга с применением ИИ для определения поведения света в реальном мире, что позволяет исследователям реконструировать 3D-сцену из нескольких 2D-изображений, снятых под разными углами.
Instant NeRF разработана с использованием набора инструментов NVIDIA CUDA и библиотеки нейронных сетей Tiny CUDA. Это легкая нейросеть, и ее можно обучить и запустить на одном графическом процессоре NVIDIA. Исходный код нейросети открыли для всех желающих.
