Как тестировать промпты и чейны (Ручная разметка/BERTScore/LLM as judge)

[ENick]

"разметить эту же выборку экспертом по нашей 9 бальной шакале, чтобы проверить, подтверждается ли наше нормальное распределение"

Для этого логичнее использовать Кобзарь А.И. "Прикладная мат статистика". Там описаны пара десятков критериев на нормальность распределения

[N3VERZzz]

Спасибо за уточнение.

Может быть, я неправильно выразился. Я хотел сказать, что нужно посмотреть, насколько оценки от LLM совпадают с оценками эксперта, чтобы понять: LLM действительно всё сваливает в корзину 4 баллов или это и правда у нас так много оценок из среднего спектра.