Комментарии 2
Интересно, что шкала от 1 до 5 оказалась бесполезной. А вы замеряли, насколько часто сам LLM-судья ошибается? Ведь он тоже может уверенно одобрить неправильный результат, особенно если обе модели допустили одну и ту же ошибку.
Судья тоже ошибается, как и при оценке от 1 до 5. Просто с true\false работать сильно проще, нет градаций и ложной уверенности в случае 5 из 5. Обе модели могут допускать одинаковые ошибки. Для снижения используем разные семейства моделей (google\openai). Также есть регулярное ручное ревью с последующим обновлением промптов и добавлением сложных примеров (few shot).
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Доверяй, но проверяй: 12 выводов о Human‑in‑the‑Loop с LLM