Вообще, концепция пайплайна понятна и вопросов не вызывала изначально. Однако, по личному опыту, должного контроля над результатом получается добиваться при каких-то запредельных затратах. Возможно, есть какие-то новые решения, которые эту стоимость снижают, но пока что всё выглядит, будто цена только постоянно растёт. В любом случае, технические детали пайплайна куда интереснее (конкретно по архитектурным ассетам): 1) "Создать каркас" - судя по всему, само создание после нескольких базовых форм отдаётся на откуп нейронке. Если так - то что у нас сейчас умеет качественно извлекать форму из референса (мудборда) в должном количестве вариаций без контроля со стороны пользователя? А если нет - то это всё равно 21 ручная модель на тип здания (и хорошо, если форма между фракциями не поменяется) 2) Как обеспечивать сочетания элементов разных мудбордов (к слову, а как лучше организовывать десятки их под конкретные архитектурные стили? а то не знаю ни одной нейронки, которая понимает различия между кирпичной, деревянной и мраморной готикой)? Например, чтоб генерировать японские крыши на греческих стенах. Некоторое время назад собрать такой пайплайн было практически нереально, интерпретаторы мудбордов нещадно тупили. 3) Хорошо, даже если удаётся отделить архитектурный стиль в мудборде от палитры для объектов (и чтоб сам генератор понимал и то, и другое) - как контролировать художественный стиль самой генерации (не просто чтоб единым, а чтоб конкретным)? Из всего, чем пользовался (пытался генерить арты в стиле "Нюрнбергской иллюстрированной хроники" как по текстовым описаниям, так и по референсу формы), именно художественный стиль с референса нормально считывает только Mj, а у них проблемы со всем остальным (включая цену). Все остальные из референса нещадно тащили композицию и гамму, а не саму художку. То бишь выходило - если само сгенерировало как надо - зафиксировать выходит, а вот указывать - нет. 4) С этапами стройки - тоже вопрос, что позволяет поддерживать консистентность уже сгенерированных частей при переходе на следующий уровень? На гифке, например, заметно, что окно встаёт на место сплошного куска стены. 5) Насколько реально разворачивать генерацию локально (поскольку текстовая часть промптов минимальна, то тягать здоровенные текстовые декодеры откровенно необязательно, как я понимаю)? 6) Если нереально - то во сколько обошлась настройка пайплайна под себя и во сколько - сама генерация по нему?
Главное неудобство json - отсутствие интов. поэтому индексы десериализируются криво и приходится их чинить вручную.
Вообще, концепция пайплайна понятна и вопросов не вызывала изначально. Однако, по личному опыту, должного контроля над результатом получается добиваться при каких-то запредельных затратах. Возможно, есть какие-то новые решения, которые эту стоимость снижают, но пока что всё выглядит, будто цена только постоянно растёт. В любом случае, технические детали пайплайна куда интереснее (конкретно по архитектурным ассетам):
1) "Создать каркас" - судя по всему, само создание после нескольких базовых форм отдаётся на откуп нейронке. Если так - то что у нас сейчас умеет качественно извлекать форму из референса (мудборда) в должном количестве вариаций без контроля со стороны пользователя? А если нет - то это всё равно 21 ручная модель на тип здания (и хорошо, если форма между фракциями не поменяется)
2) Как обеспечивать сочетания элементов разных мудбордов (к слову, а как лучше организовывать десятки их под конкретные архитектурные стили? а то не знаю ни одной нейронки, которая понимает различия между кирпичной, деревянной и мраморной готикой)? Например, чтоб генерировать японские крыши на греческих стенах. Некоторое время назад собрать такой пайплайн было практически нереально, интерпретаторы мудбордов нещадно тупили.
3) Хорошо, даже если удаётся отделить архитектурный стиль в мудборде от палитры для объектов (и чтоб сам генератор понимал и то, и другое) - как контролировать художественный стиль самой генерации (не просто чтоб единым, а чтоб конкретным)? Из всего, чем пользовался (пытался генерить арты в стиле "Нюрнбергской иллюстрированной хроники" как по текстовым описаниям, так и по референсу формы), именно художественный стиль с референса нормально считывает только Mj, а у них проблемы со всем остальным (включая цену). Все остальные из референса нещадно тащили композицию и гамму, а не саму художку. То бишь выходило - если само сгенерировало как надо - зафиксировать выходит, а вот указывать - нет.
4) С этапами стройки - тоже вопрос, что позволяет поддерживать консистентность уже сгенерированных частей при переходе на следующий уровень? На гифке, например, заметно, что окно встаёт на место сплошного куска стены.
5) Насколько реально разворачивать генерацию локально (поскольку текстовая часть промптов минимальна, то тягать здоровенные текстовые декодеры откровенно необязательно, как я понимаю)?
6) Если нереально - то во сколько обошлась настройка пайплайна под себя и во сколько - сама генерация по нему?