Как мы перестали хардкодить модели: effort-маршрутизация, авто-выбор сложности, фолбэки и лимиты расходов

[innokentyBo]

Для shadow-трафика интересно отдельно увидеть границу расходов. Из пользовательского лимита он исключён, но вендор всё равно выставляет счёт, а сравнение судьёй добавляет ещё один вызов. Есть ли у теневого эксперимента собственный атомарный бюджет, включающий кандидата, судью и повторы? Полезный тест — основной запрос ещё укладывается в лимит, а бюджета эксперимента уже нет: пользователь получает ответ, теневая часть не запускается и пропуск виден в покрытии оценки.

[coylOne]

Отдельного бюджета у shadow сейчас нет. Его ограничивают доля трафика (shadow_percentage), RPM модели и лимиты параллельности: 512 shadow-вызовов и 256 оценок. Если места нет, оценка пропускается. Бюджет эксперимента, который учитывает кандидата, судью и повторы, и пропуски в метриках — хорошая идея, добавим в роадмап. Спасибо за готовый сценарий теста :)