Как мы обучили нейросеть генерировать тени на фотографии

[DjPhoeniX]

Результат впечатляет, но возник вопрос — если сеть работает в AR-контексте (то-есть 3D-рендер есть "по умолчанию") — почему бы не ограничить сеть выводом "light estimation" и настраивать параметры рендера так, чтобы тень отрисовывал движок? Этим методом "за компанию" решается сомнительная реалистичность в размытии тени.

[artyomnaz]

Согласен, с реалистичностью возникают сложности. В том числе из-за отсутствия хороших метрик для оценки качества изображений (кроме FID).

[max_vasyuk]

Мощная работа!!!
Интересно и очень подробно!

[Kup9_NpS]

Круто все расписал, надо потестить. Сюда бы еще прикрутить, чтобы вставляемый объект подгонялся под окружающую среду (inpainting типа).
Спасибо за код!

[artyomnaz]

Спасибо!
Прикольная идея, попробуем :)

[nikita_romanov]

Очень интересно.
+ за код.

[beckeldaniel]

Очень занимательное чтиво! Одна из тех статей, которую приятно глазам читать! Скорее жду новых увлекательных публикаций на подобную тематику, очень актуальное направление в настоящее время.

[Kadmor]

Спасибо, за такую работу) На саму картинку свет не накладывается, только на поверхность куда вставляется?

[artyomnaz]

Да, механизм внимания как раз для контроля этого. Маски позволяют указать сети, где тени генерировать, а где нет.

[zhukov_vladik]

Спасибо, доходчиво объяснили.
А на каком разрешении обучали модель?

[artyomnaz]

Брали картинки из ShadowAR-датасета, разрешением 256x256.

[dapie]

Спасибо за интересную статью, достойная работа!

[Albisha150]

Спасибо огромное за код и пояснения! Очень полезно

[iamsparzha]

Интересная статья! Только не очень поняла, а что дает Refinement модуль?

[artyomnaz]

Refinement модуль уточняет тень, он состоит из BatchNorm2d, ReLU и Conv2d. Авторы пробовали обучать без него — тени получаются менее правильной формы.

[LemanovaTatyana]

Интересная работа!
А можно ли было обучать вместе, не разделяя отдельно на attention и shadow generation блоки?

[artyomnaz]

Да, конечно, но тогда ресурсов требуется больше, ведь, сеть, обучаемая за раз, станет больше.