Больше не нужно несколько часов составлять воркфлоу для ComfyUI или Forge, чтобы сгенерировать картинку по стилю с референса.
Вы просто настраиваете одну модель, и с помощью текстовой подсказки получаете то, что хотите.
Чего будем делать
Поставим ComfyUI на ПК, скачаем все нужные модельки и закинем в папки, а потом погенерим и обсудим плюсы и минусы модели FLUX kontext dev.
Начинаем?
Пара нюансов перед стартом
Если у вас 12-16Гб видеопамяти, будьте готовы к компромиссам: более низкому качеству выходных изображений и долгой-долгой-долгой генерации по 3-10 минут — а также меньшему разрешению.
Если же у вас 24Гб VRAM и выше, то можете смело устанавливать модельки на свой компьютер — особенно если вы дизайнер, архивизер, CG-artist или 3D-моделер.
Накатываем ComfyUI
Очень рекомендую скачать сборку от OreX — в ней сразу установлены все нужные расширения и ноды для работы, и не нужно будет часами изучать, где найти ссылку на очередной костыль.
По этой ссылке вы можете сразу же скачать нужный файл, либо перейти на страницу сборки и сделать это самостоятельно.
Далее нужно будет распаковать сборку через 7zip ил�� любой другой удобный для вас архиватор. Учтите, что 7zip сработает точно без ошибок :)
Разархивировать нужно в корень диска, желательно не системного, чтобы у вас не отваливалась винда каждый раз, когда вы запускаете генерацию. Лучше ставить на отдельный SSD — так вероятность ошибок снижается.
По пути к файлу не должно быть пробелов и кириллицы — то же самое касается и имени пользователя.
После разархивации нам будут нужны эта два файла:
Заходим в первый и запускаем процедуру обновления веб-интерфейса ComfyUI.
Ждем открытия консоли и высматриваем строчку "Для продолжения нажмите любую клавишу..." — после этого можно закрывать консоль.
Далее можем запускать веб-интерфейс с помощью второго файла — нужно просто по нему два раза кликнуть, после чего снова запустится консоль, которую не нужно закрывать.
В браузере автоматически откроется вкладка с веб-интерфейсом — она зависит от консоли, поэтому закрывать ее не нужно!
Все, установка ComfyUI завершена! По ходу дела могут возникать множественные ошибки, решение которых можно найти на бусти автора сборки, либо пообщаться с ChatGPT или любой другой сеткой.
Важно понимать, что ошибки будут даже у опытных пользователей, так как это не проприетарное ПО, а открытое — разрабатывает его огромное сообщество.
Загрузка и установка моделей FLUX Kontext dex
Вот все нужные ссылки:
1. FLUX Kontext dev fp8 scaled — это основная модель, которая умещается в 24Гб видеопамяти и позволяет дополнительно подключить модели LoRA или ControlNet. Она выдает хорошее качество и слушается подсказки в 90% случаев.
Чтобы скачать эту модель, нужно будет зарегистрироваться или войти на HuggingFace, после чего согласиться с пользовательским соглашением.
2. FLUX Kontext GGUF — для слабых видеокарт с видеопамятью от 4 до 8 Гб. Качество будет намного ниже, но зато работает.
3. VAE для моделей FLUX — подойдет не только для Kontext, но и других разновидностей FLUX (обычная dev, GGUF и т.д.)
4. CLIP — необходимый компонент для работы модели, отвечает за преобразование текстовой подсказки в токены.
5. T5XXL_fp16 — текстовый энкодер, который также отвечает за распознавание текстовой подсказки и преобразование ее в токены для модели генерации.
Кладем основную модель FLUX Kontext в папку
После того, как вы скачали полноценную или gguf версию, вам нужно будет положить их в папку D:\ComfyUI\ComfyUI\models\diffusion_models.
Далее разберемся с VAE — помещаем в соответствующую папку с таким же названием.
Теперь размещаем модели CLIP и T5XXL — их нужно положить по пути D:\ComfyUI\ComfyUI\models\text_encoders
Все, мы установили основные модели, которые позволят вам работать с моделью FLUX Kontext 1 dev! 😉
Начинаем работу в ComfyUI с моделью FLUX Kontext dev
Перезагружаем ComfyUI, после чего добавляем воркфлоу, позволяющий связать модели воедино и сгенерировать / преобразовать ваше первое изображение!
Чтобы продолжить, загрузите воркфлоу и просто перетащите файл на рабочую область ComfyUI.
Осталось несколько шагов, после чего можно приступить к генерации!
Шаг 1 — Выставляем пути к моделям
Все воркфлоу поделено на шаги, и сейчас мы по ним пройдемся.
Первым делом нужно проставить все пути к скачанным моделькам, которые мы раскладывали по папкам.
Шаг 2 — загрузка изображения
Далее загружаем изображение, которое хотим изменить.
Шаг 3 — Вписываем промпт
Модель очень привередлива к формулировкам, грамматике, смыслу. Не получится писать от балды, как в SD 1.5 — нужно будет продумывать каждую деталь и много экспериментировать — именно поэтому лучше не тратить свое время, если у вас видеокарта обладает малым количеством VRAM.
Даже на 4090 не всегда хватает терпения протестировать несколько промптов на разных настройках, что уж говорить про 4060 или 3060.
И снова напомню, что на младших видеокартах модели FLUX будут гораздо слабее — да, вы поэкспериментируете пару вечеров, но в реальной работе это мало поможет...
Генерируем!
Жмем CTRL + Enter и молимся, что все заработает. Если отлетает и консоль выдает ошибку, либо пишет: "Нажмите любую клавишу, чтобы продолжить...", то закрываем все программы на ПК и перезагружаем консоль, после чего пробуем еще раз.
В любом случае будут ошибки, нужно научиться с ними справляться. Я сидел три дня со своей 4090 и кусал кактус, но зато получил + 1 офигенный инструмент для работы и развлечений :)
Главные плюсы модели FLUX Kontext
➕ Kontext работает в отрыве от ControlNet — достаточно просто подсказки.
Теперь не нужно часами выстраивать воркфлоу с контролнетами и костылями — достаточно найти исходник и стилизовать его с помощью грамотного промпта.
Ниже реальный пример из практики: мне сначала нужно было вытащить line-art из фотографии контейнера, с чем я с трудом справился с помощью SDXL + Canny + ручной доработкой. После возникла потребность стилизовать этот же контейнер под разные стили, чтобы разработать концепцию сайта.
Потратил я на это часа два, но задачу выполнил — а затем вышел Kontext...
И на ту же задачу ушло минут 15, если не считать освоения. Плюс я сделал множество стилей, которые были недоступны на SDXL.
➕ Второй плюс — работа с контекстом изображения.
Да, вы просто можете загрузить нужную фотографию и изменить то, что вам нужно, а также сохранить необходимые детали.
➕ Умение в полупрозрачные материалы и внимание к мелким деталям
Как же меня задолбало подбирать методы для генерации стекла или воска на SDXL ��ли том же FLUX nf4... Это какой-то кошмар.
Теперь я могу написать, что мне нужно стекло, и моделька сделает стекло. Вот так.
➕ Еще один плюс — получение детского искреннего удивления от возможностей технологий
Посмотрите на пример ниже: разве это не чудо? Да, аргумент звучит сомнительно, но нейросети меня никак не отпускают вот уже более 4-х лет... Я и в ВУЗе курсач писал с применением нейронок, когда их нужно было ставить и кодить вручную, и сейчас генерирую на досуге и в рабочих задачах.
Минусы FLUX Kontext
➖ Скорость генерации и потребление видеопамяти
Непривычно ждать по минуте, когда на SDXL генерация занимает 10-15 секунд. Особенно это заметно при SD Upscale — там вообще до 3-х минут доходит...
Кстати, нужна статья по апскейлу с помощью FLUX?
➖ Огромный аппетит модели к вычислительным ресурсам ПК при обучении LoRA
Сразу скажу, что есть онлайн-сервисы, позволяющие обучить кастомные модели на сервере, однако мне всегда было удобно создать несколько лор для SDXL и наслаждаться точным повторением стиля. И все это было на моем ПК.
➖ Сложность использования ControlNet и надстроек.
Да, видеопамяти будет вечно не хватать и для этого — я уже протестировал несколько воркфлоу, и скажу, что их приходилось менять, обрезать лишнее, чтобы у меня не вылетал браузер или консоль.
Нужно очень хорошо шарить в этой области, чтобы создавать оптимизированную схему. На Civitai, в основном, лежит полное говнище, на тестирование которого уходит куча времени.
Если на SDXL можно все затестить за пару минут, то тут приходится качать модельки по 8-12 Гб и надеяться, что все запустится.
А вот и минус день вашей жизни, да еще и летом — класс.
Конечно, можно и с SDXL неделями разбираться, но сейчас вопрос времени встает особенно остро.
Завершаем
Все, давайте закругляться. Если статья была полезна, можете поделиться ею с друзьями — это самая лучшая поддержка для меня :3
Если вам будет интересно больше узнать обо мне или моих проектах, коих немало, то прошу на мой личный сайт. Там все бесплатно и без рекламы :)
Если нужна будет помощь в установке и использовании данной нейронки в дизайне, можете писать мне в тг.
