Lexometrica Ground Truth: бенчмарк LLM по российскому праву

[sergeyssv]

Спасибо за тест!

Для своих задач использую разные модели для каждого этапа.

[larayoda]

ага, самый правильный способ! мы даже пошли немного дальше, для одной и той же задачи на продакшене используем консенсус трех топов из рейтинга 🙂

[sergeyssv]

Пробовал вводить такой подход - по мне оказалось нецелесообразно - остановился на повторной оценке используемой модели при ее обновлении

[Applechina]

Очень полезно, спасибо!

[Delije]

o1 pro? Это Gemini подсказал со знаниями из 2024?) o серия уже устарела и давно депрекейтнута. Текущая sota - это gpt5.4 pro

[larayoda]

не, arXiv, правда, старенький. да и прайс какой-то невменяемый, если бы не он, то точно потестил это поколение. про текущую sota догадываемся)

[Delije]

Очень не хватает в лидерборде обычной gpt5.4 thinking, ибо прошка дорогая и медлительная

[larayoda]

да, надо будет добавить