ruMTEB: новый бенчмарк для русскоязычных эмбеддеров

[DryLips]

Привет! Будет ли открытый репозиторий с рейтингом и метриками на GitHub, по аналогии с енкодечкой?

[Andriljo]

Привет, этот бенч часть открытого международного бенча MTEB. Ссылка на гит в статье.

[DryLips]

В веб версии https://huggingface.co/spaces/mteb/leaderboard появится вкладка для русского языка? (по аналогии с английским, польским, китайским и французским)

[Andriljo]

да, также ожидаем с релизом ммтеб

[Andriljo]

уже появилось)

[k1ng]

Очень интересно посмотреть какие результаты покажут эмбеддинги от OpenAI, такие как text-embedding-3-large и text-embedding-3-small на данном бенчмарке. Не делали тестов?