Как стать автором
Обновить

Илон Маск кисти Ван Гога, или специализированные модели Stable Diffusion

Обработка изображений *Машинное обучение *Искусственный интеллект Будущее здесь

Благодаря сообществу, stable diffusion развивается стремительнее, чем можно было предположить. Как я писал в предыдущей статье, вскоре мы должны получить много специализированных моделей под конкретные задачи. 

Уже сейчас помимо основной модели весов у stable diffusion есть модели для получения артов в строго определенном стиле. 

В этой статье я покажу как это работает на практике и дам небольшую инструкцию для начинающих по добавлению специализированных моделей.

Существует “стандартная” модель (которую недавно обновили до версии 1.5), а есть специфические вариации, дополнительно обученные на конкретном наборе изображений. Например, модель mo-di-diffusion, которую тренировали на персонажах современного диснея.

Чтобы понять как именно изменяется результат, я провел несколько генераций со “стандартной” моделью версии 1.4, а потом с теми же промптами генерировал изображения в специализированных моделях. Весь материал дан для наглядности, я не слишком старался искать лучшие результаты и генерировал за раз не более 10 картинок по каждому запросу. 

Результаты “стандартной” модели (промпты под картинкой): 

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

Теперь о некоторых интересных моделях которые есть сейчас.

Все генерации я делал с теми же промптами, добавляя в начале рекомендуемые ключевые слова (токены):

Arcane-Diffusion – модель натренирована на популярном мультфильме во вселенной League of legend

Токен: arcane style

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

DarkSoulsDiffusion натренирована на артах из серии игр Dark Souls

Токен: DarkSouls Style

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

mo-di-diffusion – уже упомянутая модель, натренированная на кадрах из современных мультфильмов Диснея

Токен: modern disney style

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

redshift-diffusion - натренирована на изображениях полученных с помощью рендера redshift

Токен: redshift style

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

Tron-Legacy-diffusion модель на кадрах из фильма “Трон: Наследие”

Токен: trnlgcy

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

Van-Gogh-diffusion на кадрах картин Ван Гога из фильма “Ван Гог. С любовью, Винсент”

Токен: lvngvncnt

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

beksinski-style-stable-diffusion картины польского художника сюрреалиста Здислава Бексински

Токен: beksinski style

oil painting of a beautiful young woman
oil painting of a beautiful young woman
photo of a little blue cat in the woods
photo of a little blue cat in the woods
photo of elon musk in red hat
photo of elon musk in red hat

Как видно из примеров, специализированные модели плохо справляются с нехарактерными для них запросами. Финальный результат во многом зависит от ваших стараний: поисков удачного промпта, количества генераций, настроек и т.д. 

Как добавить новые модели и начать работу?

Упрощенно, модель - это файл с расширением .ckpt  и весом в несколько гигабайт. 

По умолчанию вы работаете со стандартной моделью 

Чтобы установить новую модель:

  1. перейдите по ссылке 

  2. скачайте файл с расширением .ckpt

  3. поместите скачанный файл в папку model

Если у вас есть какой-то из интерфейсов, то там, как правило, есть возможность в настройках произвольно выбирать модель. 

Чтобы воспользоваться установленной моделью, вам надо в промпте прописать специальную ключевую фразу (токен), после чего уже добавить описание, по которому будет генерироваться изображение.

Для удобства в примерах выше я оставил ссылки на использованные модели и токены для промпта.  

Если я не упомянул какую-то интересную на ваш взгляд модель – напишите о ней в комментариях. При достаточном интересе к теме, соберу еще одну подборку примеров с интересными моделями.

Теги:
Хабы:
Всего голосов 14: ↑13 и ↓1 +12
Просмотры 1.9K
Комментарии 1
Комментарии Комментарии 1

Публикации

Истории

Работа

Data Scientist
122 вакансии