Бесплатный API для LLM: тестирую 6 сервисов, модели и реальные лимиты

[smarkelov]

A где openrouter или Nvidia NIM?

[andrey_snegovik]

Nvidia NIM работает, иногда использую nemotron-3-super-120b-a12b. Но работает медленно.
openrouter многие бесплатные модели пишет перегружены. по сути там рабочая моделька только от той же NVIDIA. И то есть лимиты, поэтому чтобы их увеличить нужно 10 кредитов на баланс openrouter закинуть

[ilya369]

Спасибо за обзор.

[Per_Ardua]

Cerebras - вот это топ (по крайней мере был 3 месяца назад). Ограничение - 30rpm и 1м токенов в день. Ни тот, ни другой лимит на самом деле не выставляются строго, выдавливал с него больше 2м токенов за день, и частенько больше 30rpm. В лимиты по количеству запросов упирался всего несколько раз за пару месяцев.

Минусы - всего 4 не самых лучших модели на тот момент, но для задач обработки текста - самое то.

Зато скорость - больше 500 токенов в секунду (да, серьезно), и задержка не сказать что огромная.

[andrey_snegovik]

щас вроде вообще две модели оставили
Free tier currently serves gpt-oss-120b and zai-glm-4.7 (lineup rotates)

[ArchDemon]

https://b.ai