Комментарии 3
Поподробнее можно про внедрение S и D в сворточные слои? Вы каким-то образом корректируете элементы оригинального сверточного ядра?
Это происходит стандартным образом через операцию modulation, которая была предложена в статье https://arxiv.org/abs/1912.04958 (формула 1). Например, если мы подаем в операцию modulation вектор S, это означает, что веса свертки умножатся на элементы вектора S. Это умножение будет происходить следующим образом. Допустим w - это веса свертки, тогда w будет 4-мерным тензором с размерностями c_in x c_out x k x k, где c_in - это число входных слоев, c_out - число выходных слоев, k - размер ядра свертки. В таком случае вектор S должен иметь размер c_in, и мы умножаем каждый элемент S_i на весь подтензор w[i, :, :, :].
Генерируй, дискриминируй. Как мы ускорили доменную адаптацию GAN для генерации лиц в пять тысяч раз