Пользователь
Согласен, тут прям 100% связки нет, взе зависит от метрик которые вы считаете важными для бизнеса.
Мы пробовали некоторые фреймворки, но иногда есть еще бизнес ограничения, по количеству ресурсов, времени и тд.
Не исключаю, что может быть более элегантное решение, но мы делимся как мы решали задачу.
Спасибо, надеюсь в ближайшее время будет возможность протестировать эту связку.
В нашей системе оценки нет LLM оценщика, LLM просто отвечает на тестовые вопросы выдавая значение от 1 до 4. И метрики зависят только от того, как точно модель ответит.
Согласен, тут прям 100% связки нет, взе зависит от метрик которые вы считаете важными для бизнеса.
Мы пробовали некоторые фреймворки, но иногда есть еще бизнес ограничения, по количеству ресурсов, времени и тд.
Не исключаю, что может быть более элегантное решение, но мы делимся как мы решали задачу.
Спасибо, надеюсь в ближайшее время будет возможность протестировать эту связку.
В нашей системе оценки нет LLM оценщика, LLM просто отвечает на тестовые вопросы выдавая значение от 1 до 4. И метрики зависят только от того, как точно модель ответит.