Comments 24
а сколько параметров у новой модельки? :)
Используете aider. А чего benchmark их не сделали? Довольно показательная штука же. Контекст у вас уже более менее, 128k норм. Не 32k.
протестировали бы! Любопытно сравнить с фронтирными моделями.
Какие вы крутые! Новость потрясающая! Спасибо вам огромное что развиваете!
Про поддержку aider давно просил и вот появилась, но думал что будет использоваться codechat.
Добавьте плиз в gigacode возможность использовать GigaChat 2 модели. Пусть даже за деньги, было бы очень круто!
Сделайте, пожалуйста, инструкцию по настройке Aider
В ближайшее время выложим инструкцию по запуску aider (и других code-агентов) через утилиту gpt2giga, которая позволяет использовать гигачат в приложениях, расчитанных на работу с openai api. Будет прямо в репозитории.
Как и обещал, выкладываю версию конфигов для работы Aider + gigachat: https://github.com/ai-forever/gpt2giga/tree/main/integrations/aider
А откуда Яндекс в замерах? Его же нет в Мере?
Спасибо за вопрос! Да, мы действительно включили в наше исследование Яндекс и другие доступные через API русскоязычные модели. Если у модели есть открытый API – любой желающий может взять и посчитать на ней метрику MERA.
Нам было важно сравнить именно русскоязычные возможности моделей, ведь большинство бенчмарков ориентированы на английский язык.
Результаты теста отражают конкретные аспекты работы с русским языком, а не общую эффективность моделей по решению всех задач. Каждая из моделей имеет свои сильные стороны и была оптимизирована для различных сценариев.
Мы с уважением относимся к коллегам и публикуем эту информацию, так как это полезно исследовательскому сообществу.
Всё это, конечно, хорошо, но я расскажу свой личный реальный кейс взаимодействия с GigaChat как разработчик.
Мне понадобилось воспользоваться API модели GigaChat. Естесственно, я начал с прочтения документации. Меня интересовала только обращение к модели через gRPC. Официальная документация по gRPC GigaChat вообще не даёт никакого представления, как с этим работать - там просто набор слов. Существуют даже примеры для Postman GigaChat, которые не работают. Хотя я как положено по документации включаю Bearer Token в заголовок авторизации
Дальше я решил обратиться в официальную поддержку GigaChat. Я составил подробнейшее письмо, где описал все моменты и приложил скриншоты. По работе я много обращался в разные технические поддержки, но то, что мне прислал GigaChat - я никак не ожидал
Смысл такой: инструкции нет, но вы держитесь, идите в Университет Сбербанка, всего доброго , хорошего настроения. Глядя как написан ответ от технической поддержки, я понял, что в Университете Сбербанка ничему хорошему не научат.
В итоге мне пришлось согласовать отказ от GigaChat в пользу другой нейросетевой модели. ИИ конкурентов работает отлично с gRPC.
Вопрос представителям Сбербанка и GigaChat: ребят, вам не кажется, что с таким отношением к собственной документации, с таким отношениям к клиентам со стороны технической поддержки - вашими сервисами будут пользоваться?
Видимо, вам ответил GigaChat. Сам, лично.
Спасибо, что обратили внимание на postman. Проверим документацию и поправим, если найдем несоответствие.
Также документацию по grpc можно найти тут https://developers.sber.ru/docs/ru/gigachat/api/reference-grpc
Сделаем демо-клиент на python для grpc api, добавим в доку.
Хорошо бы кроме метрик на бенчмарках показать цену за токен. Сравнить цену на Llama, Qwen, Deepseek в Openrouter и на Gigachat
Интересно сколько будет стоить использовать Aider с Gigachat по сравнению с Deepseek
Спасибо за проделанную работу и качественные модели. Сравнение с gemma3 планируете сделать? Интересует область применения в RAG системах на русском языке.
альтернативный gigachat api explorer https://mobilon-dev.github.io/gigachat-api-explorer/ (исходники https://github.com/mobilon-dev/gigachat-api-explorer) подобно постману, но попроще
видео https://youtu.be/fhl_RT-Eg4w
А как дела с цензурой? Также на медицинские и историческое темы (история России к слову) не отвечает?
Уважаемые господа разработчики, попробовал опять вашу модель - ну реально, невозможно работать : "Как и любая языковая модель, GigaChat не обладает собственным мнением и не транслирует мнение своих разработчиков. Ответ сгенерирован нейросетевой моделью, обученной на открытых данных, в которых может содержаться неточная или ошибочная информация. Во избежание неправильного толкования, разговоры на некоторые темы временно ограничены". Ни черта вы не любая, любая языковая модель, даже настолько напичканная цензурой модель как claude 3.7 sonnet спокойно отвечают на вопросы на "некоторые темы", а по факту на любые. Если уж так сильно принципиально цензурить - сделайте возможность подгружать сертификат специалиста (диплом исторфака) или диплом о высшем медицинском образовании (если по врачебным делам). Даже сравнить с другими моделями нельзя.
Странный у вас PR в gpt research вы скрытно добавили возможность использования, но никак не обновили документацию. Я до сих пор не могу понять как заставить это работать
какая дата данныхОтвет
У меня нет возможности получать данные в реальном времени, такие как текущие даты или курсы валют, поскольку доступ в интернет мне недоступен. Однако ты можешь уточнить, какая информация интересует тебя на конкретную дату — возможно, я смогу помочь с историческими фактами или другими сведениями!за какой период у тебя данныеОтвет
Мои данные охватывают события до конца 2021 года включительно. Это значит, что я могу помогать с информацией, актуальной до этого момента. Все, что произошло после этой даты, может потребовать уточнения через другие источники.Ну что тут сказать 2021. Когда у других ноябрь-декабрь 2024 и возможность ходить в интернет.
Выглядит как галлюцинация, любая ЛЛМ отвечает на этот вопрос подсматривая на свой system prompt, если там этого явно не написано, результат почти случайный
Промт:
какая была средняя температура в Москве в 2024 году
Ответ (первая часть)
Так как сейчас еще только начало 2024 года, точных данных о средней температуре за весь этот год пока нет ....
То есть, система считает что сейчас начало 2024 года. При попытки узнать погоду за 2023 год, система сказала "Точные значения средней годовой температуры в Москве за 2023 год станут известны после завершения всех расчетов и обработки данных Росгидромета, что обычно происходит ближе к началу следующего года. ..."
Про 2022 год, у нее есть информация.
Так можно предположить, что часть информации заливалась и за 2023 год.
Здравствуйте.
Когда заработает токенайзер в новых моделях?
Использование tokens_count выдает ошибку.
GigaChat 2.0 в API