Детектор был прав, разметка врала: как мы искали слепую зону LLM-судей и нашли ошибки в эталоне

[WordEngineer]

Статья отлично показывает проблему, о которой мало говорят: качество «золотой» разметки в бенчмарках далеко не золотое. Вы по сути наткнулись на систематическую ошибку аннотатора - метки кластеризуются по статьям, то есть один разметчик в одной сессии наставил неправильных флагов, и это протащилось в бенчмарк. Для меня самое ценное здесь - методологический урок: когда все 6 моделей единогласно спорят с эталоном, стоит проверить эталон, а не придумывать «слепую зону». Подход «не верить никому без грепа» - вообще хороший принцип для любой работы с данными. Было бы классно, если бы авторы RAGTruth учли эти findings и обновили датасет.