Спасибо за вопрос! Да, мы действительно включили в наше исследование Яндекс и другие доступные через API русскоязычные модели. Если у модели есть открытый API – любой желающий может взять и посчитать на ней метрику MERA.
Нам было важно сравнить именно русскоязычные возможности моделей, ведь большинство бенчмарков ориентированы на английский язык.
Результаты теста отражают конкретные аспекты работы с русским языком, а не общую эффективность моделей по решению всех задач. Каждая из моделей имеет свои сильные стороны и была оптимизирована для различных сценариев.
Мы с уважением относимся к коллегам и публикуем эту информацию, так как это полезно исследовательскому сообществу.
Спасибо за вопрос! Да, мы действительно включили в наше исследование Яндекс и другие доступные через API русскоязычные модели. Если у модели есть открытый API – любой желающий может взять и посчитать на ней метрику MERA.
Нам было важно сравнить именно русскоязычные возможности моделей, ведь большинство бенчмарков ориентированы на английский язык.
Результаты теста отражают конкретные аспекты работы с русским языком, а не общую эффективность моделей по решению всех задач. Каждая из моделей имеет свои сильные стороны и была оптимизирована для различных сценариев.
Мы с уважением относимся к коллегам и публикуем эту информацию, так как это полезно исследовательскому сообществу.
Спасибо, что обратили внимание на postman. Проверим документацию и поправим, если найдем несоответствие.
Также документацию по grpc можно найти тут https://developers.sber.ru/docs/ru/gigachat/api/reference-grpc
Сделаем демо-клиент на python для grpc api, добавим в доку.