Пример типичной архитектуры латентной диффузионной модели
Видимо, произошла путаница в терминологии. В данном случае под LLM-энкодером имеется ввиду текстовый энкодер, который кодирует текстовую информацию (пользовательский промт) в текстовый эмбединг, который далее подается в диффузионный генератор в качестве условия генерации или редактирования изображения.
При этом, сам текстовый энкодер может иметь более-менее произвольную архитектуру, в том числе он может быть decoder-only трансформером.
В данном случае, предметы для сравнения выбирали для иллюстративности наблюдения о переносе ру-специфичных концептов между двумя задачами.
Нам хотелось проверить правда ли можно не собирая отдельных данных для задачи редактирования узнать их из text-to-image данных. Для этого выбрали подмножество данных, которое не выучивается без дополнительных усилий (самоваров и хохломы среди изображений в интернете откровенно мало, нужно искать и добавлять в обучающую выборку специально). После этого обучили модели с этими данными и без них и сравнили результаты. Сгененированные и отредактированные разными вариантами моделей изображения вы и видите в статье.
Если говорить об общем сравнении качества, то мы, естественно, используем не только промты с хохломой и самовары. Наборы промтов (называем их корзинки) для оценки качества генерации и редактирования мы собираем как раз опираясь на запросы пользователей в нескольких наших продуктах. Пример такой корзинки мы выкладывали вместе с нашим первым тех. репортом около 2 лет назад https://ya.ru/ai/papers/paper-yaart-v1. Текущая корзинка отличается, но принципы её создания сохраняются.
Видимо, произошла путаница в терминологии. В данном случае под LLM-энкодером имеется ввиду текстовый энкодер, который кодирует текстовую информацию (пользовательский промт) в текстовый эмбединг, который далее подается в диффузионный генератор в качестве условия генерации или редактирования изображения.
При этом, сам текстовый энкодер может иметь более-менее произвольную архитектуру, в том числе он может быть decoder-only трансформером.
В данном случае, предметы для сравнения выбирали для иллюстративности наблюдения о переносе ру-специфичных концептов между двумя задачами.
Нам хотелось проверить правда ли можно не собирая отдельных данных для задачи редактирования узнать их из text-to-image данных. Для этого выбрали подмножество данных, которое не выучивается без дополнительных усилий (самоваров и хохломы среди изображений в интернете откровенно мало, нужно искать и добавлять в обучающую выборку специально). После этого обучили модели с этими данными и без них и сравнили результаты. Сгененированные и отредактированные разными вариантами моделей изображения вы и видите в статье.
Если говорить об общем сравнении качества, то мы, естественно, используем не только промты с хохломой и самовары. Наборы промтов (называем их корзинки) для оценки качества генерации и редактирования мы собираем как раз опираясь на запросы пользователей в нескольких наших продуктах. Пример такой корзинки мы выкладывали вместе с нашим первым тех. репортом около 2 лет назад https://ya.ru/ai/papers/paper-yaart-v1. Текущая корзинка отличается, но принципы её создания сохраняются.
Есть еще веб, то там пока только просмотр без генераций https://shedevrum.ai/en/top/week/