Как стать автором
Обновить

Илон Маск кисти Ван Гога, или специализированные модели Stable Diffusion

Время на прочтение3 мин
Количество просмотров4.6K

Благодаря сообществу, stable diffusion развивается стремительнее, чем можно было предположить. Как я писал в предыдущей статье, вскоре мы должны получить много специализированных моделей под конкретные задачи. 

Уже сейчас помимо основной модели весов у stable diffusion есть модели для получения артов в строго определенном стиле. 

В этой статье я покажу как это работает на практике и дам небольшую инструкцию для начинающих по добавлению специализированных моделей.

Существует “стандартная” модель (которую недавно обновили до версии 1.5), а есть специфические вариации, дополнительно обученные на конкретном наборе изображений. Например, модель mo-di-diffusion, которую тренировали на персонажах современного диснея.

Чтобы понять как именно изменяется результат, я провел несколько генераций со “стандартной” моделью версии 1.4, а потом с теми же промптами генерировал изображения в специализированных моделях. Весь материал дан для наглядности, я не слишком старался искать лучшие результаты и генерировал за раз не более 10 картинок по каждому запросу. 

Результаты “стандартной” модели (промпты под картинкой): 

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

Теперь о некоторых интересных моделях которые есть сейчас.

Все генерации я делал с теми же промптами, добавляя в начале рекомендуемые ключевые слова (токены):

Arcane-Diffusion – модель натренирована на популярном мультфильме во вселенной League of legend

Токен: arcane style

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

DarkSoulsDiffusion натренирована на артах из серии игр Dark Souls

Токен: DarkSouls Style

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

mo-di-diffusion – уже упомянутая модель, натренированная на кадрах из современных мультфильмов Диснея

Токен: modern disney style

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

redshift-diffusion - натренирована на изображениях полученных с помощью рендера redshift

Токен: redshift style

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

Tron-Legacy-diffusion модель на кадрах из фильма “Трон: Наследие”

Токен: trnlgcy

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

Van-Gogh-diffusion на кадрах картин Ван Гога из фильма “Ван Гог. С любовью, Винсент”

Токен: lvngvncnt

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

beksinski-style-stable-diffusion картины польского художника сюрреалиста Здислава Бексински

Токен: beksinski style

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

Как видно из примеров, специализированные модели плохо справляются с нехарактерными для них запросами. Финальный результат во многом зависит от ваших стараний: поисков удачного промпта, количества генераций, настроек и т.д. 

Как добавить новые модели и начать работу?

Упрощенно, модель - это файл с расширением .ckpt  и весом в несколько гигабайт. 

По умолчанию вы работаете со стандартной моделью 

Чтобы установить новую модель:

  1. перейдите по ссылке 

  2. скачайте файл с расширением .ckpt

  3. поместите скачанный файл в папку model

Если у вас есть какой-то из интерфейсов, то там, как правило, есть возможность в настройках произвольно выбирать модель. 

Чтобы воспользоваться установленной моделью, вам надо в промпте прописать специальную ключевую фразу (токен), после чего уже добавить описание, по которому будет генерироваться изображение.

Для удобства в примерах выше я оставил ссылки на использованные модели и токены для промпта.  

Если я не упомянул какую-то интересную на ваш взгляд модель – напишите о ней в комментариях. При достаточном интересе к теме, соберу еще одну подборку примеров с интересными моделями.


Другие мои статьи:

Нейросеть рисует за меня?

Давайте запретим нейронные сети

Нейросети убьют 2d художников


Теги:
Хабы:
Всего голосов 13: ↑12 и ↓1+12
Комментарии1

Публикации

Истории

Работа

Data Scientist
86 вакансий

Ближайшие события

19 сентября
CDI Conf 2024
Москва
24 сентября
Конференция Fin.Bot 2024
МоскваОнлайн