Комментарии 20
Благодарю, очень своевременно и наглядно!
Firefly генерирует изображение 1024х1024 и потом масштабирует его, никаких 6000х4000 вы от него не получите - будет мыло. По многим остальным пунктам тоже facepalm.jpg
Например если вы видите что плагин делает по дефолту сильную растушевку маски - сделайте побольше охват или найдите где это настраивается, маску сделайте свою наконец. Плюс как всегда не используете нормально промты полноценные и негативные, например на генерации собачки у стейбла вполне адекватная картинка - поставлен в минус что нет травы, а где она в промте? И т.д.
Я уже писала в статье, что тестировала и наличие отрицательного промпта, и его отсутствие, на результат это не повлияло. Для верности, использовала отрицательный промпт с цивитаи, соответствующий модели
А, да, по поводу размера: в статье обозреваются плагин Стейбла внутри ФШ и функционал Генеративной заливки на базе Файрфлай ТАКЖЕ внутри ФШ. Мне не нужно апскейлить пикчу, я могу её просто нагенерить в Фотошопе сразу большого размера, что я и делала, что и прикрепляла на скринах. Читайте внимательнее. пожалуйста.
Если бы метод от adobe был хуже чем опенсорсный то было бы странно.
Главный минус firefly - в будущем он будет доступен только по подписке.
А вот SD на пару с ControlNet мне уже сейчас помогает неплохо с ретушью фото, причем бесплатно ).
Я его использую в основном не как плагин, а отдельно от редактора - так больше возможностей.
Локальность SD это не "0 баллов" а 1000.
я же правильно понимаю, что у Адоба плагин высылает фотографию себе на сервер?
(и там не хранит, нет-нет, как вы такое могли подумать? Даже не смотрит туда, все полностью автоматизировано, никаких утечек никогда не будет, честно-честно! ;) )
Да, надо было графу безопасности отдельно прописать ))
У локального Stable Diffusion минимум две точки внедрения чего-то нехорошего:
1. Модели в формате ckpt могут содержать зловредный код на python, который будет выполнен при работе. Модели в формате safetensors, даже конвертированные, этого недостатка лишены.
2. Эксплуатация недостатков Gradio. Знаю несколько способов, они немного... странные, тем не менее они есть.
— По умолчанию Automatic WebUI не шифрует трафик. Можно слушать сервера телеграм-ботов и сервисов рисования, которые не подключали расширения для работы по https.
— Если сервер Stable Diffusion открыт наружу через --gradio-auth, вашу машину можно попробовать найти через условный Shodan. После прохождения или обхода авторизации злоумышленник получит доступ к машине.
— Скачать и запустить код из ненадёжного источника. Например, инструкция по установке WebUI вместо ссылки на automatic1111/vladmandic/NMKD/etc, содержит ссылку на репозиторий злоумышленника. Или просто скачать готовый репак "ван баттон солюшн".
Утечек не будет, просто сообщит куда надо
1000 баллов если у вас есть достаточно дорогое современное производительное железо, верно?
Фотографу или художнику для работы в Photoshop может быть достаточно условной GTX 1050 Ti или процессора с мощной встроенной графикой. Запустить на этом железе локальный Stable Diffusion можно, но это будет боль и унижение.
Только пока в рекомендациях предлагают использовать карточки от Nvidia. На мак и карточках от amd через костыли. И учитывая, что Nvidia жадные на vram, такие себе 1000 баллов.
Возможно, я повторю ВОЗМОЖНО стоит потыкать еще в сторону лицензии использования Firefly. У Adobe были в свое время некоторые заплёты касаемо авторства производимого в их ПО материала. А также использования его для "других" целей. Хорошо если будут на нем "учить", но ведь для компенсации могут и продавать.
Из того, что в firefly прямо бесит и должно снимать баллы: цензура.
Иногда он сам к себе что-то дорисовывает на модельных фото девушек, сам решает, что получился нецензурный контент, сам отказывается работать с исходной фоткой.
как-то поверхностно. посмотрите лучше пару роликов каких-нибудь фотографов и ретушеров, они вам доступно объяснят крутость адобовской модели, например в том, что она понимает перспективу, её линии, свет (делает правильные блики в сгенерированной бутылки) и т.д. и т.п. сам SD же не сильно навороченная модель, её обучение обошлось в тысяч 200 кажется. В адобе столько одному програмеру за год платят
По поводу локальности stable diffusion уже написали выше. Это и плюс, и минус одновременно. Если оценивать функционал не фотошоповского плагина, а именно automatic1111, то многие минусы из сравнения исчезают. Стейбл может генерить изображения больших размеров с помощью тайлинга и дальнейшего апскейла. Можно генерировать часть изображения по маске, что увеличивает качество генерируемого изображения. Для стейбла есть куча моделей под все, что душе угодно, есть лоры и гиперсети. Порог вхождения в stable diffusion на самом деле очень низкий. Выполнить по пунктам установку необходимых компонентов может любой, на худой конец умельцы собирают установщики "в один клик" с батником, который ставит все необходимое. Добавление фона в firefly офигенное, для достижения похожего эффекта в stable diffusion нужно генерировать вне маски и указать нормальный запрос, что не является чем-то сильно сложным. Изменение фона в firefly тоже круто сработало, можно поглядеть в сторону pix2pix в стейбле и сравнить. Ну и в конце концов у меня вопрос: можно ли к firefly прикрутить control net?
Кароч, я работал с молотком. Недавно к нему приделали кончик от отвертки. Сейчас я буду сравнивать молоток с кончиком от отвертки и набор с отвертками и насадками. Но с набором я никогда не работал, просто по быстрому посмотрел как он выглядит. В Общем пришел к выходу что моим привычным молотком к которому приделали кончик от отвертки легче работать, да и инструмент он лучше.
Статья человека, плохо разобравшегося в SD. В SD большинство моделей натренированы на разрешении 512*512 (или 512*664, 512*768, какая-то комбинация этих цифр, неважно). В SD предполагается, что ты будешь генерировать картинки в этом разрешении, а потом апскейлить (или использовать highres fix)
Хорошая статья. Полезная.
Нужно самому потестить Generative Fill. С плагином Stable не особо хочется пока заморачиваться.
Stable vs Photoshop: сравнение генераций