Благодаря сообществу, stable diffusion развивается стремительнее, чем можно было предположить. Как я писал в предыдущей статье, вскоре мы должны получить много специализированных моделей под конкретные задачи.
Уже сейчас помимо основной модели весов у stable diffusion есть модели для получения артов в строго определенном стиле.
В этой статье я покажу как это работает на практике и дам небольшую инструкцию для начинающих по добавлению специализированных моделей.
Существует “стандартная” модель (которую недавно обновили до версии 1.5), а есть специфические вариации, дополнительно обученные на конкретном наборе изображений. Например, модель mo-di-diffusion, которую тренировали на персонажах современного диснея.
Чтобы понять как именно изменяется результат, я провел несколько генераций со “стандартной” моделью версии 1.4, а потом с теми же промптами генерировал изображения в специализированных моделях. Весь материал дан для наглядности, я не слишком старался искать лучшие результаты и генерировал за раз не более 10 картинок по каждому запросу.
Результаты “стандартной” модели (промпты под картинкой):
Теперь о некоторых интересных моделях которые есть сейчас.
Все генерации я делал с теми же промптами, добавляя в начале рекомендуемые ключевые слова (токены):
Arcane-Diffusion – модель натренирована на популярном мультфильме во вселенной League of legend
Токен: arcane style
DarkSoulsDiffusion – натренирована на артах из серии игр Dark Souls
Токен: DarkSouls Style
mo-di-diffusion – уже упомянутая модель, натренированная на кадрах из современных мультфильмов Диснея
Токен: modern disney style
redshift-diffusion - натренирована на изображениях полученных с помощью рендера redshift
Токен: redshift style
Tron-Legacy-diffusion – модель на кадрах из фильма “Трон: Наследие”
Токен: trnlgcy
Van-Gogh-diffusion – на кадрах картин Ван Гога из фильма “Ван Гог. С любовью, Винсент”
Токен: lvngvncnt
beksinski-style-stable-diffusion – картины польского художника сюрреалиста Здислава Бексински
Токен: beksinski style
Как видно из примеров, специализированные модели плохо справляются с нехарактерными для них запросами. Финальный результат во многом зависит от ваших стараний: поисков удачного промпта, количества генераций, настроек и т.д.
Как добавить новые модели и начать работу?
Упрощенно, модель - это файл с расширением .ckpt и весом в несколько гигабайт.
По умолчанию вы работаете со стандартной моделью
Чтобы установить новую модель:
перейдите по ссылке
скачайте файл с расширением .ckpt
поместите скачанный файл в папку model
Если у вас есть какой-то из интерфейсов, то там, как правило, есть возможность в настройках произвольно выбирать модель.
Чтобы воспользоваться установленной моделью, вам надо в промпте прописать специальную ключевую фразу (токен), после чего уже добавить описание, по которому будет генерироваться изображение.
Для удобства в примерах выше я оставил ссылки на использованные модели и токены для промпта.
Если я не упомянул какую-то интересную на ваш взгляд модель – напишите о ней в комментариях. При достаточном интересе к теме, соберу еще одну подборку примеров с интересными моделями.
Другие мои статьи:
Давайте запретим нейронные сети
