Пишем свою Diffusion модель с нуля

[Vytian]

В подсекции Функция потерь в формуле её приближения p_{\thetа} обратная косая а нижнем индексе потерялась.

А так -- кратко, чётко и ясно ! Спасибо.

ПыСы. Там где-то должна центральная предельная теорема для мартингалов проявиться. О том, что "стационарные" нормальные процессы с небольшим равномерным отклонением сходятся строго к нормальному распределению. Вроде бы философски все из нее присходит.

[jurassimo]

Поправил, спасибо!

Ознакомился с мартингалами, да очень похоже на то, что мы получаем при forward процессе. Странно, что ни в одном из пейперов, связанных с диффузией не встречал этого термина.

[piton_nsk]

Спасибо! Есть над чем голову поломать) Я правильно понял, что при генерации картинки для "затравки" используется просто случайный шум, а дальше нейросеть "расшумляет" его до состоянии нужной картинки?

P.S. под спойлером "Еще немного кода" не распарсился код.

[jurassimo]

Поправил, спасибо!

Если мы говорим о генерации картинки на обученной модели, то да, даем шум, а она его расшумляет последовательно T раз убирая по чуть-чуть шума)

При тренировке мы накладываем шум на картинку и заставляем нейросеть предсказать этот же шум.

[natexriver]

[pav5000]

Спасибо за статью. У вас осталось за кадром то, как при генерации результат прогона промпта через CLIP гайдит детектор шума в сторону нужного промпта. Не знаете, где можно найти хорошие материалы на эту тему?

[jurassimo]

Спасибо, приятно. В рамках этой статьи и репозитория я не разрабатывал latent diffusion model(или stable diffusion), который как раз таки использует CLIP. Но по сути это тот же conditional diffusion, где помимо embedding класса, добавляет embedding промпта, полученный от CLIP.
Слои и модули conditional diffusion в простом варианте находиться здесь: https://github.com/juraam/stable-diffusion-from-scratch/tree/main/src/condition_diffusion