120 выдуманных ссылок против 8: что агентный поиск делает с галлюцинациями LLM на строительных нормах

[Al_Pollitruk]

Товарищи ученые, доценты с кандидатами! А сколько было невыдуманных ссылок, 8 или 120 ошибочных из скольки в каждом конкретном случае?

[SP-AI]

Товарищ Политрук, докладываем по знаменателю.

Флаг «выдуманная ссылка» судья ставит на ответ целиком, если нашёл в нём хотя бы один несуществующий документ или пункт. Знаменатель пометок — 400 судейских проходов на систему (100 ответов × 4 судьи): 120/400 у соло-версии против 8/400 у версии с контуром.

Четыре судьи, а не пять — как в таблице статьи: Gemini исключён из этого подсчёта, потому что, поймав выдуманную ссылку, он иногда обнулял все шесть оценок разом. Со всеми пятью картина та же: 15/500 против 168/500.

В разрезе ответов: у соло 60 из 100 помечены хотя бы одним судьёй (33 — минимум двумя, 7 — всеми четырьмя); у системы с контуром — 6 из 100 хотя бы одним, большинством — 1, всеми четырьмя — 0.

Теперь «из скольки ссылок». Вердикта по каждой отдельной ссылке судьи не выносили — флаг на уровне ответа. По текстам: соло-ответ ссылается в среднем на 3–6 нормативных документов (смотря что считать: уникальные документы или все упоминания), ответ с контуром — на 2–4. Если грубо пересчитать долю помеченных ответов в вероятность фабрикации на одну ссылку, выходит примерно 13–23% у соло против 1,5–3% с контуром: способ подсчёта двигает цифры, но разрыв в обоих случаях порядковый.

Всё выше — пометки LLM-судей по единой инструкции; точный подсчёт по каждой ссылке автоматическим верификатором цитат и независимая ручная разметка — следующий этап нашего исследования.