Разработчики из Apple, Adobe и Университетского колледжа Лондона представили нейросеть, помогающую в реальном времени управлять естественным освещением на фотографиях. Пока для примера доступны только несколько изображений.
Исследователи отмечают, что уже суще��твуют методы для изменения источников освещения на фотографиях. Но для работы всех этих алгоритмов необходимо несколько фотографий местности с нескольких точек. Тогда система может построить точную карту объектов. Для работы нового алгоритма нужна только одна фотография.
Алгоритм определяет источники света на оригинальном снимке путем анализа фотографии с помощью различных фильтров. Кроме источников света определяются и объекты, отбрасывающие тени, рассчитывается длина теней. После этих действий система может рисовать новые тени и блики, основываясь на положении источника освещения.
На сайте проекта разработчики продемонстрировали интерактивные фотографии для изменения положения источника естественного света в реальном времени. Можно отметить, что алгоритм достаточно хорошо справляется с крупными объектами, но игнорирует или неточно рендерит тени мелких объектов. Также не учитываются тени под объектами и физика прозрачных материалов. Из-за этого автомобили на снимках выглядят хуже, чем могли бы.
