Комментарии 3
🔥🔥🔥
Посмотрел код на Github. Сорри, как-то всего очень много.
Можно где-то простой пример скрипта, который позволяет произвести замеры бенчмарка по конкретному OpenAI-совместимому API Chat Completions с указанием base url, модели и ключа?
UPD: Желательно скрипт в Python-варианте, чтобы можно было спокойно запустить под Win.
Да, понимаю, много поменялось с первой версии и фреймворк непростой.
На текущий момент описаны примеры типовых запусков вот тут 👉 https://github.com/MERA-Evaluation/MERA/blob/release/MODEL_SCORING.md
Из-под винды тоже работают.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
MERA v.1.2.0 Новая версия независимого бенчмарка, что поменялось?