LoRA (Low-Rank Adaptation) – это вспомогательная модель, основное назначение которой заключается в ускорении обработки запросов (prompt) от пользователя и вычислений при генерации тех или иных специальных объектов на изображении.
Другими словами, когда мы с вами используем модель FLUХ.1, а нам надо детально прорисовать на нашем изображении руки или фигуру человека, мы используем дополнительно вспомогательную модель LoRA, которая выполняет только одну определенную ей задачу.
Также различные модели LoRA используют для усиления стилизации изображений. Например, если нам надо нарисовать персонажа в стиле одного из известных мультфильмов, то существует большое количество соответствующих специальных моделей LoRA.
Особенность моделей LoRA заключается в том, что они в несколько раз меньше по объему, чем основные модели, которые мы используем, и поэтому они работают значительно быстрее основных при выполнении специализированных задач.
Какие модели LoRA у нас установлены в программе?
По умолчанию в Stable Diffusion WebUI Forge нужных нам для работы моделей LoRA нет. Модели нужно загрузить из сети интернет.
Для того чтобы посмотреть, какие модели LoRA у нас с вами установлены, нужно на основной закладке Txt2img перейти на дополнительную закладку LoRA, которая находится ниже, там же, где и закладка Generation.
У меня уже установлено несколько моделей, поэтому вы видите их на рисунке в виде красиво отображаемых прямоугольников пиктограмм.
Давайте установим и вам несколько моделей на ваш вкус.
Как установить дополнительные модели LoRA?
Для того чтобы установить модели, нам нужно скачать их с сайта civitai.com. Переходим на сайт и в верхней строке слева выбираем раздел Models.
После этого мы с вами увидим огромное количество всяких моделей. Но они нам не нужны, потому что нам необходимы только модели LoRA, совместимые с FLUX.1.
Для того чтобы выбрать нужные, активируем фильтры (Filters) и указываем три параметра поиска: All Time; LoRA и FLUX.1 D.
Теперь вы увидите все совместимые с FLUX.1 модели LoRA, которые вы можете скачать и использовать в своей работе.
Давайте скачаем несколько из них и установим их на свой компьютер. Я делаю много иллюстраций сказочных и мифологических персонажей, поэтому я загрузил следующие модели LoRA:
1. Cyberpunk Anime Style
Скачать файл можно по следующей ссылке: https://civitai.com/models/128568/cyberpunk-anime-style?modelVersionId=747534
2. Crystals [FLUX+SDXL+PONY+1.5]
Скачать файл можно по следующей ссылке: https://civitai.com/models/180780/crystals-fluxsdxlpony15?modelVersionId=763697
3. Hyper Realism Lora by aidma [FLUX]
Скачать файл можно по следующей ссылке: https://civitai.com/models/730373/hyper-realism-lora-by-aidma-flux
4. Hands XL + SD 1.5 + FLUX.1-dev
Скачать файл можно по следующей ссылке: https://civitai.com/models/200255/hands-xl-sd-15-flux1-dev?modelVersionId=804967
5. Sinfully Stylish (dramatic lighting)
Скачать файл можно по следующей ссылке: https://civitai.com/models/340248/sinfully-stylish-dramatic-lighting?modelVersionId=755549
6. Hourglass Body Shape SD1.5/SDXL/PONY/FLUX | olaz (тип фигуры «песочные часы»)
Скачать файл можно по следующей ссылке: https://civitai.com/models/129130/hourglass-body-shape-sd15sdxlponyflux-or-olaz?modelVersionId=932199
Рекомендуемый вес LoRA: 0,7-1,0.
7. Tinker bell (Peter Pan) Disney - FLUX | SD 1.5 | XL PONY - by YeiyeiArt
Скачать файл можно по следующей ссылке: https://civitai.com/models/44638/tinker-bell-peter-pan-disney-flux-or-sd-15-or-xl-pony-by-yeiyeiart?modelVersionId=755521
8. Fantasy Wizard & Witches
Скачать файл можно по следующей ссылке: https://civitai.com/models/308147/fantasy-wizard-and-witches?modelVersionId=880134
9. FLUX FaeTastic Details
Скачать файл можно по следующей ссылке: https://civitai.com/models/643886/flux-faetastic-details?modelVersionId=720252
Предлагаю вам скачать первые модель Cyberpunk Anime Style, чтобы протестировать ее и понять, как с ней работать.
Переходим по соответствующей ссылке (см. выше) и загружаем файл с моделью LoRA.
Но это еще не все.
Чтобы наши модели отображались красиво в Stable Diffusion WebUI Forge, нам нужно скачать пример картинки с этой же страницы.
Обязательно к каждой модели скачивайте картинку, чтобы потом не запутаться в том, какая из них что делает.
Теперь в папке загрузок у вас находятся два файла: файл с моделью и файл картинки.
Нужно сделать следующее действие – переименовать файл картинки. Имя картинки должно точно совпадать с названием файла модели (без расширения «.safetensors»). Это нужно для того, чтобы модели в Stable Diffusion WebUI Forge отображались красиво.
После того как вы переименовали картинку, нужно ее и соответствующую ей модель перенести в папку, где хранятся модели LoRA.
У меня они находятся по следующему пути: D:\Stable Diffusion WebUI Forge\webui\models\Lora.
Скачайте с сайта civitai.com все совместимые модели, которые вам понравились, и повторите для них все вышеописанные действия.
После того как вы перенесете модели и соответствующие им картинки в эту папку, можете считать, что они установлены в системе для дальнейшего использования.
Если у вас уже закружена программа Stable Diffusion WebUI Forge, то на закладке LoRA справа вам нужно нажать кнопку Refresh page, и система увидит и сможет использовать все новые модели, которые вы только что установили.
Как использовать модель LORA?
Для того чтобы воспользоваться соответствующей моделью LoRA, нам нужно в наш запрос добавить следующее ключевое слово: <lora:имя_модели_LoRA:weight>, где:
· Lora – это указание на то, что будет использована модель LoRA;
· имя_модели_LoRA – имя файла модели;
· weight – вес модели (обычно значение веса находится в интервале от 0 до 1, но бывают исключения).
Рассмотрим первую скачанную модель LoRA «Cyberpunk Anime Style» (имя файла CPA.safetensors).
Для того чтобы каждый раз не искать имя файла модели, вам достаточно выбрать пиктограмму настроек на самой картинке модели, и перед вами откроется информационная карточка.
Для себя в эту карточку вы можете добавить необходимые вам сведения. Например, веса, которые предлагает использовать разработчик.
Интересно то, что в карточке вы сразу можете сгенерировать набор ключевых слов активации модели LoRA, которые можете добавить в свой запрос.
Для нашего примера с киберкотом новый запрос будет выглядеть так: «smiling cyberpunk cat in purple bowler hat with blue cyber eye sitting in cafe drinking coffee, <lora:CPA:1>, photorealistic, perfect composition, cinematic shot, intricate details, hyper detail, cool color palette, muted colors, very detailed, sharp focus», где CPA – это имя файла нашей модели LoRA, а «1» – это максимальное значение веса.
Все ли мы правильно сделали?
Давайте уточним.
Для этого нам нужно вернуться на сайт civitai.com, на страницу нашей модели «Cyberpunk Anime Style» и уточнить несколько важных моментов.
Первое, что мы должны сделать – это проверить наличие на странице Trigger Words. Находим эти слова. Для того чтобы активировать модель, нам нужно чтобы в нашем запросе присутствовали следующие ключевые слова: anime; cyberpunk.
Как мы видим, одно из слов активации «cyberpunk» в нашем запросе есть. Давайте добавим и второе «anime».
Не забываем про то, что ключевые слова есть в карточке модели.
Наш новый запрос будет выглядеть так: «smiling cyberpunk cat in purple bowler hat with blue cyber eye sitting in cafe drinking coffee, anime, <lora:CPA:1>, photorealistic, perfect composition, cinematic shot, intricate details, hyper detail, cool color palette, muted colors, very detailed, sharp focus».
Про веса на странице разработчика ничего не уточнено, поэтому оставляем значение по умолчанию «1».
Теперь давайте сгенерируем новое изображение из нашего запроса при следующих его параметрах:
· Выберем модель, с которой будем работать – flux1-schnell-bnb-nf4-v2.safetensors.
· Hires.fix: ставим галочку и оставляем параметры по умолчанию (картинка будет красивее).
· Sampling method: [Forge] Flux Realistic.
· Width: 512.
· Height: 512.
· FreeU Integrated (SD 1.x, SD 2.x, SDXL): ставим галочку и оставляем параметры по умолчанию.
· PerturbedAttentionGuidance Integrated): ставим галочку и оставляем параметры по умолчанию.
Вот, что получилось у меня:
Модель LoRA сработала, и получился вполне приличный "киберкот" в мультяшном стиле.
Предлагаю вам провести небольшой эксперимент и добавить в ваш запрос несколько дополнительных стилей, относящихся к киберпанку, и посмотреть, как сработает модель LoRA.
У меня получился такой, немного громоздкий, запрос: «cyberpunk game style retro cyberpunk cybernetic robot biomechanical cyberpunk, <lora:CPA:1>, smiling cyberpunk cat in purple bowler hat with blue cyber eye sitting in cafe drinking coffee, photorealistic, perfect composition, cinematic shot, intricate details, hyper detail, cool color palette, muted colors, very detailed, sharp focus . cybernetics, human-machine fusion, dystopian, organic meets artificial, dark, intricate, highly detailed. android, AI, machine, metal, wires, tech, futuristic, highly detailed. 80's inspired, synthwave, neon, vibrant, detailed, retro futurism. neon, dystopian, futuristic, digital, vibrant, detailed, high contrast, reminiscent of cyberpunk genre video games».
И в результате вот такое изображение:
Как мы видим, получился очень даже крутой мультяшный киберкот.
В какой части запроса использовать LoRA?
Чтобы ответить на данный вопрос, давайте для разнообразия рассмотрим пример запроса, который я подготовил для своей книги «Сказки старой Твери: ночь лесных духов», а заодно и посмотрим на результаты работы другой модели LoRA «Crystals [FLUX + SDXL + PONY + 1.5]».
Мы с вами будем рассматривать такой запрос: «beautiful smiling woman holding colored crystals in her hands, beautiful female body, wreath of flowers on the head, floral beauty, super detailed face, blooming garden of colored crystals in the background, crystalz, sunny day, <lora:ral-crystalz_flux:1>, split tone effect, subsurface gaussian scattering, photorealistic image, super detail».
Как мы видим, к модели LoRA «Crystals [FLUX + SDXL + PONY + 1.5]» с именем файла ral-crystalz_flux я обращаюсь в середине запроса сразу за описанием того, что я хочу сделать, и до описания того, с каким качеством.
Вот что у меня получилось в результате генерации:
Теперь, давайте поправим текст и вызов модели поставим в самое начало запроса: «<lora:ral-crystalz_flux:1>, beautiful smiling woman holding colored crystals in her hands, beautiful female body, wreath of flowers on the head, floral beauty, super detailed face, blooming garden of colored crystals in the background, crystalz, sunny day, split tone effect, subsurface gaussian scattering, photorealistic image, super detail».
Вот что у меня получилось:
Теперь давайте вызов модели поставим в самый конец запроса: «beautiful smiling woman holding colored crystals in her hands, beautiful female body, wreath of flowers on the head, floral beauty, super detailed face, blooming garden of colored crystals in the background, crystalz, sunny day, split tone effect, subsurface gaussian scattering, photorealistic image, super detail, <lora:ral-crystalz_flux:1>».
Вот результат:
Вообще говоря, мне изображение очень понравилось.
И напоследок, после того как мы определили место вызова модели LoRA в нашем запросе, давайте определимся с ответом еще на один немаловажный вопрос: можно ли использовать две модели LoRA в одном запросе?
Для этого я написал следующий запрос для создания мифического персонажа ангела: «beautiful angel, colored crystals on head, halo on head, sun rays behind head, angel wings, blue eyes on a beautiful female face, <lora:ral-crystalz_flux:1>, heavenly paradise in the background, kingdom of heaven, white hair, white ethnic symbols and Scandinavian signs on beautiful female body, high-definition image, realistic image, ultra detail, dark botany, photorealistic image, <lora:FantasyWizardWitchesFluxV2-000001:1>».
В этом запросе после нужной мне последовательности ключевых слов я обращаюсь к той модели LoRA, которая должна быть применена к конкретной последовательности слов.
Вот какой результат у меня получился:
Как вы и сами видите, использование моделей LoRA при создании уникальных изображений играет важную роль, особенно тогда, когда в эти изображения нужно внести особые уникальные элементы.
Подведем итог данному уроку.
В результате изучения возможности применения дополнительных моделей LoRA мы с вами можем сделать следующие краткие выводы:
1. Да, LoRA на 100 % работает и может быть очень полезна в творческой работе.
2. Модели LoRA нужно использовать как для улучшения какого-то объекта на изображении (руки, фигура человека, лицо, кристаллы, молнии, огонь и т. д.), так и для стилизации нового изображения (например, как это сделали мы, в стиле киберпанк). Если у вас стоит задача поменять стиль уже готового изображения, то в качестве эксперимента вы можете проверить, будет ли работать та или иная модель LoRA при создании изображения из изображения (Img2img).
3. Модель LoRA хорошо работает, если:
a. правильно применяется в запросе. Для этого нужно соблюдать синтаксис и не делать ошибок в имени модели;
b. установлены правильные веса модели LoRA (которые разработчик указывает на сайте, где вы скачиваете модель);
c. использованы нужные ключевые слова (Trigger Words) в запросах (которые мы можем посмотреть в свойствах модели или на сайте разработчика).
4. На первый взгляд может сложиться впечатление, что совсем не важно, в какую часть запроса мы вставим вызов модели LoRA. Кажется, что система Stable Diffusion WebUI Forge одинаково хорошо понимает запрос, где бы мы ни написали <lora:имя_модели_LoRA:weight>. Тем не менее я рекомендую писать вызов модели сразу после тех ключевых слов и фраз, для которых должна быть применена соответствующая модель LoRA.
***
Чесалов А.Ю. Генеративный искусственный интеллект #Forge&flux. Учебное пособие для школьников старших классов и студентов первых курсов вузов / А.Ю. Чесалов. – 1-е изд. – Москва: Ridero, 2024. – 338 с. – URL: https://ridero.ru/books/generativnyi_iskusstvennyi_intellekt_forge_and_flux_1/ (дата обращения: 25.04.2025). – Текст: электронный.
