Comments 16
Гигачат который в телеграм боте практически несъедобен. По-моему там даже не среднего размера моделька а мелкая типа 13b.
Картинки распознает совсем плохо, показываешь ему текст заваленный набок и он не может его прочитать.
А еще путает каланов и тюленей
Почему версия mini а не обычная 4o? Тем более, что выбор ЛЛМ сейчас не ограничивается chatgpt, для программирования имхо claude 3.5 даже бесплатный не хуже.
Потому что гигачад настолько плох, что с нормальными ЛЛМ его даже в один ряд ставить не получится - слишком заметно отставание будет?
Тогда можно просто сравнивать с gpt-3.5 и все будет вообще классно.
По-вашему, gpt-4o-mini - "ненормальная ЛЛМ"? Просто сравниваются модели в одной весовой категории. Я, если честно, про гигачат ничего не могу сказать, но 4o-mini это сейчас хорошая рабочая лошадка, которая способна решать многие задачи относительно дешево.
Ну и, ясное дело, ИИ команда Сбера это не монстры типа Antropic или Open AI, чтобы ожидать от них конкуренции с топовыми моделями. Весовая категория, опять же, разная
Это слегка урезанная версия 4o, просто тут имхо с вашей стороны манипуляция данными. Берем самую крутую модель от сбера и самую простую от конкурентов. Ура, мы победили. Но если посмотреть в тот же Лидерборд, то видно, что все остальные модели от сбера проигрывают 4o-mini. Упс.
А как ты понял что это одна весовая категория? Судя по ценам гигачат макс это какой то супергигант. Он стоит 20 баксов за 1млн токенов, а 4o-mini 15(или 60, или 15+60 непонятно что за токены у гигачата) центов за тот же миллион токенов.
Они там совсем что ли поехавшие
Разумеется ненормальная. Для генерации мусора ради денег подойдёт, но "для обучения"? Разве что цель - самому себе плохо сделать. Зачем брать настолько слабую модель? Нет 20$, читай книги и документацию, фундамент никому ещё не мешал.
4o-mini это сейчас хорошая рабочая лошадка, которая способна решать многие задачи относительно дешево.
Для чего-то простого - да, но в целом 4o-mini весьма слабенькая модель. В курсоре пользовался 4o-mini часто (т.к. на него лимиты большие), он был прямо плох, сливал в ноль тем же опенсорсным Qwen 2.5 32B-Coder или DeepSeek v2.5 Coder.
Ну и, ясное дело, ИИ команда Сбера это не монстры типа Antropic или Open AI, чтобы ожидать от них конкуренции с топовыми моделями. Весовая категория, опять же, разная
Они и с Alibaba/DeepSeek/01.ai/Mistral не могут конкурировать. Причем дело не только в вычислительных ресурсах - те же DeepSeek выкатили DeepSeekV3, которую тренили на 2048 H800 (урезанная версия H100), и она сейчас обходит многие закрытые, в том числе от OpenAI/Antropic - LiveBench.
Причем даже если ограничиваться чисто русским языком, то и тут GigaChat Max проигрывает Qwen 2.5-72b, а с файнтюном его обходит уже 32b версия.
Тут скорее речь о том, что практического смысла юзать GigaChat с текущей ценой за токены - нет. Для большой компании проще поднять опенсорсную модель - это в конечном счете выйдет дешевле и намного лучше по приватности; ну а для персонального юзкейса и так понятно.
Вот да. Бесплатные явно стоит в сравнение добавить. Gemini бесплатно доступен через три буквы. Хотя у меня версия 2.0 почему-то некоторые сообщения сразу удаляет после написания, но про вторую версию в приложении написано, что она нестабильна :)
Такое впечатление, что "статью" писал Gigachat.
Gigachat Max при работе через API начинает глючить, если ему отправить текст на 25к+ токенов - зацикливает фразы или выдает вообще рандомные данные из своего датасета.
GPT-4o mini тоже не самая лучшая модель, хотя получше чем Gigachat.
Если модели нужны для личного пользования - используйте бесплатный доступ к Gemini.
Пользователям из России вполне доступен бесплатный (и сравнимый с большим chatgpt 4o) deepseek v3.
Сравнение GPT-4o mini и GigaChat Max между собой в качестве инструментов для обучения разработке компьютерных игр