Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 3
A где openrouter или Nvidia NIM?
Спасибо за обзор.
Cerebras - вот это топ (по крайней мере был 3 месяца назад). Ограничение - 30rpm и 1м токенов в день. Ни тот, ни другой лимит на самом деле не выставляются строго, выдавливал с него больше 2м токенов за день, и частенько больше 30rpm. В лимиты по количеству запросов упирался всего несколько раз за пару месяцев.
Минусы - всего 4 не самых лучших модели на тот момент, но для задач обработки текста - самое то.
Зато скорость - больше 500 токенов в секунду (да, серьезно), и задержка не сказать что огромная.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Бесплатный API для LLM: тестирую 6 сервисов, модели и реальные лимиты