Комментарии 2
Две идеи вдогонку. Переформулировку запросов для продуктов с устоявшимися названиями ("Автосекретарь 2.0", "автосек") можно заменить обычным словарём синонимов - это проще, быстрее и не зависит от настроения модели. И эвристики реранка, которые сейчас живут в проде, стоит прогонять по вашим 72 вопросам перед каждым изменением - тогда сюрпризы вроде штрафа за слово "тариф" всплывут раньше.
По оценке качества - судья на той же модели, что и отвечает - не очень удачная практика, особенно если в той-же самой сессии. LLM склонны хвалить сами себя, ваш кейс с ESS-маркировкой это показал.
Хохма в том, что ИИ не «знает», галлюцинирует он или нет — он просто генерирует правдоподобный текст. Является ли этот текст галюном или нет — решает для себя человек, который его читает (сравнивая то, что написано, с тем, что он знает). В этом случае, например, человек не знал — и чуть было не убил сибя апстену.
LLM — это эмулятор валящегося студента на экзамене: он «выдумывает» всегда — просто иногда «выдуманное» им совпадает с правильным ответом — и мы «ставим ему пятёрку»; а иногда является чушью различных степеней полноты — и тогда мы говорим: «это он галлюцинирует».
Как мы сделали RAG, который почти не галлюцинирует