mashkka_t 24 июл в 17:16

ruMTEB: новый бенчмарк для русскоязычных эмбеддеров

Средний

11 мин

Блог компании SberDevicesМашинное обучение*Искусственный интеллект

+35

Комментарии 6

DryLips 27 июл в 21:24

Привет! Будет ли открытый репозиторий с рейтингом и метриками на GitHub, по аналогии с енкодечкой?

Andriljo 28 июл в 01:56

Привет, этот бенч часть открытого международного бенча MTEB. Ссылка на гит в статье.

DryLips 31 июл в 15:35

В веб версии https://huggingface.co/spaces/mteb/leaderboard появится вкладка для русского языка? (по аналогии с английским, польским, китайским и французским)

Andriljo 31 июл в 16:33

да, также ожидаем с релизом ммтеб

Andriljo 7 авг в 18:38

уже появилось)

k1ng 6 авг в 00:44

Очень интересно посмотреть какие результаты покажут эмбеддинги от OpenAI, такие как text-embedding-3-large и text-embedding-3-small на данном бенчмарке. Не делали тестов?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий