Современные диффузионные модели творят чудеса. Они создают фотореалистичные портреты несуществующих людей, превращают наброски в детализированные иллюстрации и генерируют сложные художественные композиции по нескольким словам описания.

Но задумывались ли вы, на чём учатся эти модели? Что именно они видели в процессе тренировки? Как инженеры собирают и размечают данные? История тренировочных датасетов оказывается намного интереснее и сложнее, чем может показаться на первый взгляд.

В этой статье я расскажу о том, как исследователи научились извлекать максимум пользы из несовершенных данных. Мы разберем, какие данные используются для обучения диффузионных моделей, какую роль играет синтетическая разметка и как она реализуется, а также на чем обучаются сами модели-разметчики.