INT8 не виноват: как мы мерили сэмплеры на квантованных flow-моделях и опровергли собственную идею

[teraferma_io]

Мелкое наблюдение про рост ошибки в 4,36 раза от CFG 1 к CFG 4. Если e(u) и e(c) — ошибки безусловного и условного проходов, то после guidance ошибка равна (1 − s)·e(u) + s·e(c), при s = 4 это −3·e(u) + 4·e(c). Если они независимы и примерно одного размера, абсолютная ошибка должна вырасти в √(3² + 4²) = 5 раз; если полностью совпадают, не вырасти вовсе, а при противоположных знаках дойти до 7. Но 4,36 посчитано в процентах от нормы скорости, а она при CFG 4 обычно тоже больше, так что в абсолютных единицах рост, скорее всего, выше 4,36. Полной связи между ошибками двух проходов явно нет, иначе роста почти не было бы. А вот независимы они или связаны частично, по этим цифрам не понять. Было бы интересно посмотреть на абсолютные ‖e‖ и отдельно на корреляцию e(u) и e(c).

И вопрос: активации в режиме Q квантуются потокенно или на весь тензор? Если cond и uncond идут одним батчем с общим масштабом, шаг квантования у них общий, и если у безусловного прохода выбросы крупнее, он съест точность и у условного. А корреляцию e(u) и e(c), подозреваю, в основном дают почти одинаковые входы двух проходов, так что она может быть заметной при любой схеме квантования.