Как мы обучили нейросеть генерировать тени на фотографии

Да, конечно, но тогда ресурсов требуется больше, ведь, сеть, обучаемая за раз, станет больше.

Как мы обучили нейросеть генерировать тени на фотографии

Refinement модуль уточняет тень, он состоит из BatchNorm2d, ReLU и Conv2d. Авторы пробовали обучать без него — тени получаются менее правильной формы.

Как мы обучили нейросеть генерировать тени на фотографии

Брали картинки из ShadowAR-датасета, разрешением 256x256.

Как мы обучили нейросеть генерировать тени на фотографии

Да, механизм внимания как раз для контроля этого. Маски позволяют указать сети, где тени генерировать, а где нет.

Как мы обучили нейросеть генерировать тени на фотографии

Согласен, с реалистичностью возникают сложности. В том числе из-за отсутствия хороших метрик для оценки качества изображений (кроме FID).

Как мы обучили нейросеть генерировать тени на фотографии

Спасибо!
Прикольная идея, попробуем :)