Модель подходит для создания бесшовных узоров, абстрактных рисунков и стилизованных под акварель образов. Как использовать модель и как обучить нейросеть на своих картинках?
![](https://habrastorage.org/getpro/habr/upload_files/ee9/398/108/ee93981084b04c2354d8994617c7cbae.png)
![](https://habrastorage.org/getpro/habr/upload_files/0e8/9a0/934/0e89a093452454ca156317401a83e6ff.png)
![](https://habrastorage.org/getpro/habr/upload_files/fc5/4fb/6c0/fc54fb6c07b932e260dd6bccabf0e85d.png)
![](https://habrastorage.org/getpro/habr/upload_files/2aa/291/ca7/2aa291ca7be8c5fde34b271755b7eb93.png)
Как использовать .ckpt модель
Качаете файл .ckpt, кидаете в папку с моделями — а дальше все зависит от форка, который вы используете. В InvokeAI, которым пользуюсь я, модели добавляются обычной загрузкой invoke.py и выполнением команды !import_model в консоли.
Как обучить нейросеть на своих картинках, если нет нвидии 4090
У гугла есть замечательный сервис colab — гугл дает бесплатное железо примерно на час. Этого достаточно, чтобы создать модель на основе 15-30-50 изображений.
Сначала идем сюда и знакомимся с колабом (но ничего не трогаем): https://colab.research.google.com/github/ShivamShrirao/diffusers/blob/main/examples/dreambooth/DreamBooth_Stable_Diffusion.ipynb
Все, что требуется от пользователя, кроме прокликивания каждого окна с кодом и загрузки картинок, — ключ от hugging face.
Регистрируемся на huggingface.co, а затем создаем ключ в настройках https://huggingface.co/settings/tokens
![](https://habrastorage.org/getpro/habr/upload_files/154/84d/5e2/15484d5e240207e11e9e65b43b70a9f5.png)
Ключ вставляем сюда:
![](https://habrastorage.org/getpro/habr/upload_files/507/772/60b/50777260bfaad7532a8fb90810483579.png)
Отмечаем сохранение модели в гуглдрайв и указываем папку, если хотите (она создастся автоматически, в ней будет лежать модель)
![](https://habrastorage.org/getpro/habr/upload_files/4eb/2a1/d6d/4eb2a1d6d3bcb993ec9f68ad5672d432.png)
Далее указываем, как будем вызывать свой стиль или объект
![](https://habrastorage.org/getpro/habr/upload_files/af0/11f/6c9/af011f6c9bbd768ce6ac6e9d55a6d07e.png)
Конкретный токен не так важен, но главное, чтобы вы сами это запомнили. И если он будет коротким — вам будет проще вписывать его в запрос.
Затем загружаем картинки:
![](https://habrastorage.org/getpro/habr/upload_files/73e/50e/ec5/73e50eec51f318d6ba383d77dd0d7c0f.png)
У загрузчика есть проблемы с сафари, лучше загружать из хрома. Или сначала добавить картинки в папку на гугл-диске, а потом указать путь до нее.
Нужно использовать размер 512x512 и лучше подготовить изображения заранее. Что вырезать — решайте сами, но я рекомендую вырезать так, чтобы сохранялась композиция и значимые объекты целиком. Можно сделать несколько отдельных картинок с увеличенным масштабом.
![Пример изображений для моей модели Пример изображений для моей модели](https://habrastorage.org/getpro/habr/upload_files/4b9/add/e0c/4b9adde0c70b5a8098dface95c37da0f.png)
В зависимости от количества изображений, можно изменить количество шагов обучения. Разумное количество — 100 шагов * количество картинок. Для 8 картинок — а хватит и 8 — достаточно 800 шагов. Слишком много шагов тоже плохо: генерации станут слишком контрастными и на них появятся артефакты.
![](https://habrastorage.org/getpro/habr/upload_files/c10/df5/3dc/c10df53dc440be0856cd045fb4a19299.png)
Далее просто запускайте каждый блок в колабе кнопкой Play в левом верхнем углу и здите завершения каждого кода. Когда доберетесь до участка, показанного выше, увидите процесс обучения. Он займет примерно 10 минут + еще 10-30 минут, в зависимости от количества картинок и шагов.
После обучения можно проверить модель на тестовой генерации и сконвертировать в формат .ckpt:
![](https://habrastorage.org/getpro/habr/upload_files/415/b46/676/415b46676813d94fad8f67c450b9d320.png)
Теперь файл у вас на диске — скачивайте и добавляйте в любимый форк.
Дополнительно можно удалить лишние файлы и завершить процесс
![](https://habrastorage.org/getpro/habr/upload_files/445/5ef/ddf/4455efddfd5634c7a5e323f09e39f4e5.png)
О себе: Меня зовут Артур Нецветаев, я менеджер продуктов, предприниматель и дизайнер интерфейсов. Я помогаю с разработкой интерфейса InvokeAI и пользуюсь им сам с момента создания.