Эксперименты со Schedulers в Stable Diffusion

[trix]

в реальности DDIM выдает весьма приличные результаты за 10-12 шагов, почему он у вас не справляется за 100? это какие-то другие шаги?

[zetyquickly]

по этому эксперименту он за 100 шагов выдает результаты, которые и запросу не соответствуют. возможно, есть ошибка при патчинге `scheduler = sched_class.from_config(config)`. Поделитесь результатами, где за 10 шагов хорошо получается

[trix]

https://replicate.com/stability-ai/stable-diffusion
или любая другая вебморда, типа automatic1111 или invokeai, или command-line утилиты -- везде DDIM, 10 шагов -- отличный результат. Если выглядит криво, добавляем negative prompt

[zetyquickly]

апдейтнул результаты с другими параметрами. но за 10 шагов все равно не вижу, чтобы хорошо получалось. за сто, да

[zetyquickly]

потыкал replicate, и вижу, что любой выбор scheduler даёт приемлимые результаты при 10 шагах (картинка, а не шум гранулами, как у меня)

возможные причины косяка:
1. я неправильно декодирую латенты в картинку на ранних этапах, а только на финальных. может надо нормализовать перенасыщенные/saturated пиксели
2. планировщики в diffusers как-то отличается по имплементации от stability-ai
3. может быть дело в нестандартном автоэнкодере sd-vae-ft-mse
4. или что-то другое :)

[trix]

есть schedulers которым правда надо много шагов, например, *LMS, но много - это 40-70, а не 100. Таких, которым было бы мало этого я даже не знаю.

в поисках причин помочь не могу, потому что в основном использую готовые популярные скрипты, но не мог не обратить внимание, что с шагами что-то не то :)