Комментарии 26
О!
А теперь то же самое, но для кодогенерации, принципы те же но возможности наверное будут огого.
Следует учитывать, что в CUI и а1111 по разному рассчитываются веса промптов. Это значит, что нет возможности обмениваться между ними промптами без доработок. Результаты, скорее всего, будут разные.
https://github.com/comfyanonymous/ComfyUI/discussions/521
Нет обработки конструкций типа [x::4] или [x:4] в промпте. Можно реализовать с адвансед Ксемплерами, но конструкция получатся монстроузная.
При построении цепочек в ксемпоерах можно конвертировать сиды в инпут и соединить все с одним примитивом. Это заставит все семплеры стремиться к одному результату (при одинаковых промптах и семплерах)
Очень интересно. По сути, дизайнер переквалифицируется в аналог программиста ЧПУ. Раньше для вытачивания детали необходимо было карпеть над станком и долго вытачивать деталь вручную. Затем слесари были заменены ЧПУ станком, где специалист закладывает логику обработки детали, а станок сам без его непосредственного участия обрабатывает деталь. Теперь пришла очеред дизайнеров. Дизайнер обрабатывает не саму картинку, а закладывает в ComfyUI программу логики обработки изображения. Таким образом, мы говорим не про уничтожение профессии дизайнера, а о переквалификации из простого примитивного слесаря в программиста логики обработки изображения. Очень нужный материал, жду продолжения!
Возможно я очень далек от понимания современных инструментов по генерации изображений с помощью нейросетей и мой вопрос слишком очевиден. Тем не менее, каким наиболее простым способом (набором инструментов) можно огранизовать следующий рабочий процесс:
Обучить нейросеть нужному стилю рисования используя набор имеющихся изображений в количестве нескольких сотен.
Сгенерировать изображение по текстовому описанию и/или по другой картинке на прозрачном фоне для использования в виде асета.
Пункт не обязательный, больше экспериментальный. Можно ли сгенерировать изображение с послойной структурой. Чтобы на выходе было: файл с поддержкой слоев, а внутри каждая значимая часть объекта на отдельном слое, чтобы была возможность костной анимации в случае необходимости.
Спасибо
Есть несколько способов, самые эффективные это дообучить модель, натренировав checkpoint (ищите по запросу Dreamdooth) или натренировать LoRA (модификатор параметров модели). Оба варианта не дадут точно снять "стиль", они скорее тренируются на условный образ объекта. Надо пробовать. Изображений для этого надо значительно меньше чем 100, достаточно приблизительно 20.
Да, это можно сделать, в базовой сборке ComfyUI таких нод нет, но есть сторонние. Если вы владеете пайтоном, то можно написать вообще почти любой функционал по обработке изображений.
Такого функционала я не видел, но возвращаясь к пункту 2 - пайтон разработчик хорошо понимающий как работать с изображениями сможет написать нужное решение.
А вы используете такие или подобные сценарии в игровых проектах? Или знаете о подобных сценариях в индустрии? Или на текущем этапе развития инструментов генерации усилия затраченные на приемлемый арт будут несравнимо больше усилий художника? При том что, как я понял, в сгенерированный арт практически невозможно вносить изменения.
Применять можно уже сейчас, но это довольно ограниченный круг применимости. Под "ключ" можно делать иконки, оформление интерфейса, или концепты/иллюстрации персонажей не в полный рост. Если задаться целью, можно сделать и ассеты для 2д игры например. Это все реализуемо и скорее всего кем то уже внедряется. Править конечно придется все равно руками, так что пока это не отказ от 2д художников как специалистов, а скорее инструмент ускорения продакшена. Да и в будущем все равно нужны будут люди которые будут ставить правильную задачу нейросети и отбирать релевантные результаты.
"...достаточно 20" для тренировки ckpt или для LoRA?
Про дообучение есть интересный ролик — https://www.youtube.com/watch?v=dVjMiJsuR5o
Возможность сразу получить своё изображение на прозрачном фоне отсутствует. Есть эффективные способы вырезания вручную.
Уже есть такая штука как latent couple, вроде. Там задача генерации изображения задаётся уже сразу послойно и потом изображения сливаются в одно. Сам не пробовал, но возможно, есть способ сохранения слоёв по отдельности.
реванш "проводного" программирования из эниака
C SD 2 так же работает?
Спасибо.
Порекомендуйте туториал по нодам, связям и параметрам?
Все что видел в ют без объяснения, скорее всего авторы там сами не в курсе )
К сожалению сейчас нет ни туториалов ни исчерпывающей документации по всем нодам. Самое эффективное это изучать шаблоны представленные на гитхабе проекта.
официальное обучение от автора инструмента
https://comfyanonymous.github.io/ComfyUI_tutorial_vn/
Опробовал этот интерфейс. Интересный! Есть очевидно более удобные "механики", которых нет в SD от Автоматика
Спасибо! Похоже постепенно пересяду на него.
Вопрос только в том, какой тут синтаксис. Хочется все таки использовать веса к промтам (есть нативный синтаксис, а не расширение, дающее использовать веса, как у автоматика?)
«Процедурное рисование» в ComfyUI