Спасибо за систематизацию. В production я бы ещё добавил отдельный слой evals для маршрутизации между моделями: фиксировать не только качество ответа, но и latency, cost, timeout/ошибки, долю fallback и стабильность на одинаковом наборе задач. Иначе при переходе между провайдерами кажется, что достаточно поменять model/base_url, а фактически меняется распределение ошибок и поведение на edge cases.
На практике хорошо работает небольшой regression-набор из реальных запросов плюс регулярный прогон по нескольким моделям до релиза.
Спасибо за систематизацию. В production я бы ещё добавил отдельный слой evals для маршрутизации между моделями: фиксировать не только качество ответа, но и latency, cost, timeout/ошибки, долю fallback и стабильность на одинаковом наборе задач. Иначе при переходе между провайдерами кажется, что достаточно поменять model/base_url, а фактически меняется распределение ошибок и поведение на edge cases.
На практике хорошо работает небольшой regression-набор из реальных запросов плюс регулярный прогон по нескольким моделям до релиза.