Comments 14
Прокси на воркерах CF - хорошая идея)
Требует развития.
В этом api можно изображения отправлять?
Судя по документации - да.
В джемини можно и картинки, и звук/видео, и документы. И еще запросы в ИИ поиск гугла можно делать.
У больших моделей лимит 2 запроса в минуту, и плюс они чаще не отвечают (перегружены).
У 2.0 моделей лимит 10 запросов в минуту.
У 1.5 - 15.
1млн токенов там в минуту но сами запросы для бесплатных запросов ограничены размером 128к и даже меньше для думающих моделей.
Кроме гугла так же много халявы дает мистраль https://console.mistral.ai/api-keys/. Может даже больше, там лимит 1 запрос в секунду, 500к токенов в минуту и 1млрд в месяц (это примерно 50000 запросов по 20т токенов)
И еще из интересных вариантов - самбанова, там раздают очень много лламы, и квина, причем ллама там большая 405 и отвечает очень быстро. Лимит что то около 10 запросов в минуту, контекст всего 8к.
У больших моделей лимит 2 запроса в минуту, и плюс они чаще не отвечают (перегружены).
Я с таким ни разу не сталкивался и в логах у себя не видел. Возможно у меня мало статистики. Единственная ошибка, которую я ловил - это "User location is not supported for the API use." Раньше всё работало, но недавно на моём сервере в Германии (hetzner) стал ловить ошибки, поэтому и пришлось городить прокси на cloudflare и aws.
для бесплатных запросов ограничены размером 128к
С этим тоже не сталкивался. Для gemini-2.0-flash-thinking-exp да, ограничение на длину контекста 32k. В него периодически упираюсь и тогда делаю запросы на gemini-2.0-flash-exp.
Кроме гугла так же много халявы дает мистраль
Спасибо за дополнение - потестирую.
В джемини можно и картинки, и звук/видео, и документы.
Сейчас узнал, что его можно использовать ещё и в Cursor (The AI Code Editor). Скачал курсор, добавил в настройки гугловый apikey - всё работает.
Лимит на большие запросы виден на... больших запросах. 128к токенов это примерно 450т английских букв в обычном тексте и 350т в русском.
У джемини есть какое то разделение на запросы до 128к и выше, в платной версии у них даже цена различается, большие запросы дороже.
Ps я там еще позже дописал про запросы в гугл через джемини, это вообще чумовая штука обязательно посмотри, фишка называется grounding, можно приделать чат боту команду гугл и задавать вопросы в нейрогугол.
1млн токенов там в минуту но сами запросы для бесплатных запросов ограничены размером 128к и даже меньше для думающих моделей.
оказывается неделю назад для думающих моделей подняли размер контекста до ляма
Спасибо за лайфхак, да еще и бесплатный. Один лишь вопрос - запросы я так понимаю только по HTTP будут летать.. не оч секьюрно же?
Но вообще я не понимаю что не так с Gemini , у меня 3 VDS - 2 USA и 1 Netherland , все они поочереди отвалились с одной и той же ошибкой 400 User location is not supported for the API use... Что я делаю не так?
запросы я так понимаю только по HTTP будут летать.. не оч секьюрно же?
https, так что всё ок.
Но вообще я не понимаю что не так с Gemini , у меня 3 VDS - 2 USA и 1 Netherland , все они поочереди отвалились с одной и той же ошибкой 400 User location is not supported for the API use... Что я делаю не так?
Возможно ограничивают использование с с серверов, чтобы пользовались только конечные пользователи. Я использую сразу прокси через cloudflare и aws, проблем пока не было.
Зачем ты? 6 месяцев использовал это и ты решил все испортить! Счастье для всех даром и пусть никто не уйдет обиженным?
Пробовал через Cloudeflare направить запросы к серверу n8n на Beget. Но таким образом, насколько пониманию, перенаправляются входящие запросы. А обращение к Google Gemini модели - это внешние. Тогда Google видит, что сервер из России и блочит.
Или нужно в Cloudflare что-то определенное подключить и прописывать?
Используем HTTP API Gemini 2.0 thinking бесплатно