averkij 3 янв в 18:02

Создаем воспоминания. Осваиваем FLUX, LoRA и ComfyUI

7 мин

21K

Блог компании Open Data ScienceМашинное обучение*DIY или Сделай самИскусственный интеллектОбработка изображений*

Туториал

+60

Комментарии 34

Kenya-West 3 янв в 22:26

Извините, не удержался от мема

averkij 3 янв в 23:03

Дед в ответ генерит завещание в ruGPT.

Dominux 3 янв в 22:31

Обучение Лоры - устаревший способ. Можно же заюзать любой проект типо Instant ID, для Flux тоже уже порт есть

Black_Kzn 3 янв в 22:50

Лора намного лучше будет,поверь мне такого эффекта и сходство на Instant ID не добиться как на Лоре!

VPryadchenko 4 янв в 15:24

Плюс задача не всегда айдентити выучить, это в статье пример на лицах.

averkij 5 янв в 12:38

Верно отмечено, дообучать можно на любых картинках.

Так можно переносить стиль или обучаться на каких-нибудь Чебурашках, в зависимости от задачи.

averkij 3 янв в 23:00

То, что я пробовал, например вот тут FLUX InstantID — мне как-то меньше понравился, даже по качественным фото генерирует не очень похоже. Может есть где получше?

averkij 3 янв в 23:07

Еще

tairsu 3 янв в 23:09

Стругацкие - это несомненно очень хорошо, с учётом повода.

А так, на Civitai.com с сентября создано много других LoRA широко раскрывающих возможности Flux. Поэтому, прежде чем генерировать кого-то самостоятельно, поищите, возможно там уже есть готовый файл.

averkij 3 янв в 23:17

Мне кажется, вам видео модели типа HunyuanAI тоже должны понравится, генерят все.

averkij 3 янв в 23:10

averkij 3 янв в 23:13

Ещё Стругацкие

Ilya_JOATMON 4 янв в 10:34

Потом кто захочет посмотреть на реальные фотографии Стругацких - а фиг вам, весь поиск забит ИИ выхлопом. https://habr.com/ru/news/871414/

averkij 4 янв в 10:49

Ну вы попробуйте сейчас поискать, например, Аркадия Стругацкого. Он ушел в 1991 году, нормального качества фотографий с ним нет, да и с качеством похуже тоже.

Ilya_JOATMON 4 янв в 10:54

А дальше еще хуже с этим будет. ИИ раскрасит, нафантазирует с прошлых фантазий, размножит в миллионы вариантов и в этой куче реальные фото найти станет не реально.

averkij 4 янв в 11:17

Все так. Я думаю, это детекторами ИИ-контента будет решаться.

krote 13 янв в 05:38

не будет. Они не поспевают за улучшающимся качеством контента. Разве что введут обязаловку указывать что это сгенерированный контент.

FactorFakes 4 янв в 11:22

Ну, думаю, сделают какие то "метки" обязательные или автоматические для ИИ-контента.

lgorSL 4 янв в 11:15

Почему вы учили через обёртку, а не через kohya напрямую?

averkij 4 янв в 11:22

В обертку удобно файлы скинуть, чтобы они отмаштабировались и подготовились, плюс скрипт с вызовом сразу показывается.

Вот в этот скрипт я добавлял параметры для изменения лоры и запускал его в консоли, так что обучение шло через kohya.

pavelsc 4 янв в 17:08

Хм, круто, а виде фона паспорт РФ и получается сейчас Борис Стругацкий скинет фото паспорта, пройдет KYC и купит немношк крипты 😁

averkij 5 янв в 18:53

Еще Семихатов

averkij 5 янв в 19:06

Еще Сурдин

heinrich_wirth 6 янв в 13:55

Шикарно))

Может кто знает сколько минимум надо памяти? (16, 24 гб)

На 4080 получится обучить лору?

averkij 6 янв в 14:28

16Гб должно хватить, можно выставить такое ограничение во fluxgym или скриптах.

lgorSL 6 янв в 16:56

Получится, я учил на 4080. У меня даже есть мысль, что и на 8 Гб получится, если подобрать параметры и не делать слишком большую лору.

NeiroBe 8 янв в 22:50

"Время работы: моя 3090 пыхтит и делает «бррр» в течение 40-60 минут (зависимости от каличества фото и эпох — циклов обучения по датасету)."
А какие у вас параметры были выставлены, что видеокарта за час всё успевает? У меня 4070 TI Super на 16 Гб только один epoch крутит 2 часа. Задано разрешение в 1024, изображений 18, Repeat trains per image - 10. При этом нагрузки на GPU в диспетчере задач не видать.

averkij 9 янв в 11:57

Это, если по минимуму делать — 12-14 фото, по 8 повторений, 8 эпох. Разрешение 512.

averkij 9 янв в 12:00

То, что нагрузки не видать, это явно не хорошо. Проверьте, что у вас torch+cuda установился.

Можете какую-нибудь модель с HF типа llama отдельно подгрузить скриптом и перенести на GPU, если память займется, значит норм. Тогда надо проверить, что flyxgym правильно установился.

NeiroBe 11 янв в 11:42

Всё-таки видимо кол-во памяти у видеокарты играет большую роль в скорости. Я попробовал переставить всё заново на другой диск, но всё равно то же самое. Скорость может варьироваться от 20 минут до 2 часов за 1 epoch. В итоге за 15 часов он сделал 12 epoch при разрешении в 1024, изображений 18, Repeat trains per image - 10.

NeiroBe 11 янв в 11:45

Что самое смешное процесс создания лоры не влияет на нагрузку процессора видеокарты, если отключить автоскроллинг вывода в браузере, то она будет почти всегда на нуле.

Ещё столкнулся с проблемой, что созданная лора не работала сначала с чекпойнтом - Flux1-dev-bnb-NF4. Заработало после изменения параметра Diffusion in low bits на Automatic (fp16 LoRA)

averkij 11 янв в 20:21

Вы же через nvidia-smi смотрите загрузку?

Это в покое. При обучении утилизация и память не растут у вас?

NeiroBe 15 янв в 10:52

Да, при обучении в потолок всё уходит. Значит из-за 16 Гб памяти обучение сильно медленнее, чем на 24 Гб.

CorruptotronicPervulator 9 янв в 16:55

Интересная AIжаба с Сурдиным. Ему только ещё двое часов (на каждую руку), карабин — и на Сырт, марсианских пиявок добывать…

Зарегистрируйтесь на Хабре, чтобы оставить комментарий