Оценка агентных систем

[kolya_chitaet]

В пункте «Несколько прогонов» я бы развёл pass@k и голосование большинства. В обычном смысле pass@k — хотя бы одна успешная попытка из k. Если перенести это правило на повторные оценки одного ответа, то последовательность pass, fail, fail, fail, fail даст успех, а большинство — отказ. При таком подсчёте рост k может повысить метрику за счёт случайных одобрений судьи, хотя ответ агента не изменился.

Для гейта здесь логичнее оставить указанное у вас большинство и отдельно показывать, как часто повторные оценки расходятся. А pass@k считать отдельно для k попыток самого агента: удалось ли ему хотя бы один раз получить корректный результат. Тогда будет ясно, измеряем ли мы способность агента решить задачу за несколько попыток или устойчивость оценки уже готового ответа.

[Bobos]

LLM известны своей недетерминированностью. Если вы зададите ChatGPT один и тот же вопрос, результаты будут различаться

Попробуйте зафиксировать seed на входе в ллм и вы удивитесь - недетерменированность в ллм магическим образом исчезнет. Ллм при прочих равных всегда возвращает один и тот же ответ, внутри неё нет случайности

[amazingname]

Этот детерминизм ломается изменением любого токена в контексте. Так что он чисто теоретический и от него нет никакой практической пользы.

[ig_novvv]

У меня в проверке текстов сломалось именно сведение оценок. Детектор находил лишние кавычки на обычных словах, но их баллы терялись в общей сумме, и текст получал допуск. Редактор-агент видел зелёный итог и пропускал замечание ниже. В инструкции редактору запрет уже был, а итог проверки ему противоречил. Теперь срабатывание обязательного запрета перекрывает общий балл и останавливает выпуск.

[amazingname]

Вопрос на засыпку. Как бы вы тестировали систему запроса данных из CRM на человеческом языке? С вопросами типа "что у меня активного на сегодня"