Комментарии 10
Спасибо за статью! Хочется уточнение, какие именно модели могут дать альтернативу SD3. "Кроме того, на сцену выходят другие базовые модели, которые демонстрируют большие перспективы без подобных ограничений"
Lumina-Next и Pixart-Sigma тут вероятно имеется ввиду.
какие именно модели могут дать альтернативу SD3
SD3 изначально вышла очень сырой. По словам одного из ушедших сотрудников Stability AI, они взяли для релиза одну из экспериментальных веток, которую к тому-же сломали попытками наложить дополнительную цензуру.
На данный момент, самым совершенным решением Stabl Diffusion, являются SDXL модели. На Civitai полно файнтьюнов, которые работают на 2 порядка лучше, чем SD3. Даже текст на картинках вполне себе генерируют.
Да что там, даже SD1.5, с применением ЛОР и апскейлеров, выдают более стабильные результаты.
Альтернативой также вполне мог бы стать Stable Cascade, мне базовая модель понравилась больше, чем SD3, но каскад пока развивается слабо.
Есть ещё PonyXL модели, которые многие неиронично считают новым стандартом качества Stabl Diffusion. Но в приличном обществе о таком не говорят.
Необходимо продолжать экспериментировать с SD3.
Каво необходимо? Куда необходимо? Есть подозрение, что, как минимум, 90% человечества на ежедневной основе стойко, но с легкостью избегает необходимости продолжать экспериментировать с SD3. И с любой доугой SD. И не только продолжать, а и даже начинать этим заниматься. Так насколько это необходимо?
Упрощение промтинга, это конечно хорошо, но будут ли стоить того, усилия которые необходимы для доведения SD3, до "вменяемого" состояния, с учётом столь мутных перспектив? (Вопрос риторический, и усилий там нужно гораздо больше чем для допиливания SD1.5 и SDXL). Да и "экономия ресурсов" весьма условна, поскольку по факту требует больше чем SDXL, да меньше чем если запустить одновременно SDXL + LLM (SD+LLM уже нет), но больше чем если запускать их отдельно. Сколько она там весит? 10Gb с языковым модулем и 5,6Gb без... Я это понимаю так. Stability AI решила спихнуть всю "грязную" работу по дообучению на "некошерных данных" на сообщество, а потом когда (если) её допилят, собрать все лавры (сделать доступ платным).
Нет там никакого упрощения промтинга. Оно могло произойти, но не случилось, так как модель заруинили ещё на обучении.
В позитивном промте надо выжимать из себя воду и выдавать целый параграф текста на простейший концепт так, как это сделала бы CogVLM, ибо модель сверхприспособлена к таким описаниям изображений и ничего другого не понимает. Можно обойти, если всегда прибегать к помощи LLM, но это то ещё извращение.
А в негативном промте надо как-то прописать всё, что может не понравиться пуританскому священнику в такой картинке, ибо создатели модели упоролись по alignment настолько, что даже женщина, мирно лежащая на траве - это уже грешновато.
Если не соблюдать оба условия, то на выходе получается такой боди-хоррор, который даже представить себе было трудно. С анатомией настолько всё плохо, что уже хорошо: модель прекрасно завязывает человека в узел или превращает его в стул.
И не будет там никакой работы коммьюнити. Есть серьезные основания считать, что лицензия косвенно это запрещает. Там нужно потратить тысячи GPU-часов на то, чтобы выправить модель, и все это мы обязаны оплачивать это исключительно из своего кармана. Получил один евро/доллар на Патреоне? Поздравляем! Теперь ты обязуешься подписаться на коммерческую лицензию, либо ты нарушаешь некоммерческую. Будешь всю жизнь платить 20 баксов в месяц, а если пропустишь платёж, то обязуешься уничтожить все модели, лоры и сгенерированный контент на всех носителях и площадках. И если где-то кто-то облажается, и нагенерит что-то незаконное, то по лицензии за это отвечает не конечный пользователь, а лицензиат. С точки зрения уголовного права это будет не существенно, но с точки зрения арбитража, StabilityAI будет иметь право подать на лицензиата в суд. И ещё есть весёлое ограничение на 6000 генераций в месяц, которое можно слить за пару дней, на самом деле: например сгенерировав пять минут анимации с частой 24 кадра в секунду.
Самое обидное тут то, что у модели был потенциал. Она мало подвержена утечкам промта с одного объекта на другой, хорошо делает пейзажи и интерьеры. Могла бы стать лучше SDXL, а стала хуже, чем SD2.0. И ещё у некоторых сотрудников SAI прикольное отношение ко всему этому. Почти цитирую Lykon: "это не модель плохая, это у вас skill issue. У нас получаются отличные картинки, git gud!" *показывает генерацию девушки с гнутыми коленями назад*
Друзья, а что вы думаете насчет того, что творит Stability AI с Stable Diffusion 3
Думаю, что это огороженная и процензуренная модель, а значит - бесполезна. За "успехами" Stability AI перестал следить с дня, когда их прогнули запустить Have I Been Trained. Ничего полезнее SD 1.5 / SDXL они уже не сделают.
Civitai забанил Stable Diffusion 3