Хабр Курсы для бэкендеров
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Бэкенд доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 63
Какие из бесплатных нейросетей самые умные и дают хорошие ответы, а какие потупее? Что вы протестировали и какие выводы сделали?
Перевожу:всё исследование, которое ты тут провел - не достаточно для меня. Пока я продолжаю лежать на диване, проведи перекрестные тесты и сообщи мне результат по наилучшей выборке их этих моделей.
Посмотри minstral, на gpt4, клбчи бесплатные, работает без впн
у mistral в groq 30 запросов в минуту и 14 400 в день, отвечает конечно не как клод, но нормально, использовал для юзербота в телеграмм, выполняет такую задачу вполне хорошо, тулзы вызывает тоже нормально
Список бесплатных моделей в openrouter у вас не адекватен. Не всё, на что написано free, то реально работает. Нужно проверять через playground. И сделать fallback цепочку из бесплатных РАБОТАЮЩИХ моделей, в конце freerouter модель и в самом конце платная. Список перепроверять не реже 1 раза в месяц.
Вообще, у всех бесплатных лимитов и у всех услуг у всех провайдеров всегда есть ограничение, в которые вы сразу упрётесь при масштабировании - количество запросов в секунду. Это специально сделано, чтобы не использовали как халяву для энтерпрайза. Поэтому бесплатное можно обычно использовать либо при прототипировании, либо примерно при 5-10 активных юзерах:)
Для прототипа с использованием openrouter можно подключить очень дешёвые платные модели, типа https://openrouter.ai/tencent/hy3-preview и https://openrouter.ai/deepseek/deepseek-v4-flash.
Про Google Gemini API - в списке есть например Gemini 2.5 Flash это бесплатно 20 запросов в день, ну это ерунда. Нормальный лимит лишь у моделей Gemma 4 31B и Gemma 4 26B по 1500 запросов в день, но я бы не назвал эти модели пригодными для чего-то серьёзного.
Лимитов бесплатного Cloudflare Workers AI не хватит почти ни на что.
Ещё есть бесплатные лимиты у:
Cerebras
Mistral
Китайские провайдеры типа Cherry (но там ХЗ как платить)
Про голос на русском языке: бесплатные лимиты TTS/STT есть у SaluteSpeech.
ЗЫ Ещё есть бесплатные сервисы погоды, медицинских диагнозов и лекарств, курсы валют... :)
Интересно а если делать не переключение если не работает, а просто постоянно ратирова запросы в разные модели?
Тогда лимиты будут уходить "плавнее", возможно вообще с лимитами не сталкнешся .
Идея да
Лимиты есть либо в пределах всего сервиса (как в openrouter), либо в пределах модели (как у Mistral). В первом случае вы просто не пройдёте через бутылочное горлышко, во втором будете параллельно сжигать лимиты при том же бутылочном горлышке. Поэтому используется последовательный перебор при отказах.
А если например старый добрый "мультиаккаунтинг" - распределять нагрузку на несколько бесплатных аккаунтов, насколько серьезные барьеры могут быть в этом направлении ?
Год, два назад это бы хорошо работало. Но сейчас все личных агентов ставят и все бесплатные сервисы абузят, поэтому лимиты везде низкие. Пробовал мультиакк недавно на cerebras (с прокси конечно) на запросы с маленьким контекстом вроде нормально работает, но при реальной нагрузке типа openclaw все сразу падает, отвечает ошибками. Пока пришёл к тому что проще дешёвые модели использовать. За небольшую плату работает без проблем. Полгода назад у Gemini были просто царские бесплатные лимиты. Можно было десятки долларов в день с акка экономить. А сейчас везде очень слабые нейронки и лимиты смешные. Хотя если задача прям очень простая то пойдёт. До сих пор сервис автоответов на отзывы на гроке бесплатном работает.
Да, нужны статьи на эти темы, верная мысль
ЗЫ Ещё есть бесплатные сервисы погоды, медицинских диагнозов и лекарств, курсы валют... :)
Я, прошу прощения заранее, возможно, я чего-то не понял, но, по моему скромному мнению, тут человек описывал возможность реализации, а не качественное сравнение моделей или их реальной адаптации под задачу. Рискну предположить, что было бы гораздо полезнее в контектсе самой темы - добавить недостающие элементы. А не иронизировать по поводу сервисов погоды, медицинских диагнозов и лекарств.
Никто не оспаривает вашу компетентность, но, возможно, нам, как скромным читателям, было бы в разы интереснее узнать про доступы, скажем, к тому жеж мистралу и церебрасу в бесплатной реализации, а не в накидывании говна на вентилятор.
Возможность реализации напрямую связана с работоспособностью. То, что не работает, то не реализуемо. Просто список free моделей в openrouter не работает, потому что работает по факту штук пять моделей, и их список постоянно меняется - бесплатный сыр не навсегда (за исключением моделей Nemotron, но они слабые и медленные).
"Рискну предположить, что было бы гораздо полезнее в контектсе самой темы - добавить недостающие элементы. " - я их и добавил в комментарии.
"А не иронизировать по поводу сервисов погоды, медицинских диагнозов и лекарств. " - почему иронизировать? Эти сервисы реально есть и работают в моём телеграм боте.
"было бы в разы интереснее узнать про доступы, скажем, к тому жеж мистралу и церебрасу в бесплатной реализации " - там всё как обычно, ключ + формат вызова как в openai, т.е. https://api.cerebras.ai/v1/chat/completions и аналогично у Мистраль.
Самое интересное у Мистраль - возможность использовать их недавно вышедшую плотную версию mistral-medium-3-5, там лимиты в free tier:mistral-medium-3-5
Tokens per Minute
50 000
Tokens per Month
4 000 000
Requests per Second
1.00
Бутылочное горлышко - 1 запрос в секунду.
У Cеrebras главное ограничение - маленькое окно данных (почти у всех моделей 130тыс токенов). Но и для этого есть применения. Например, я его использую в телеграм боте в инлайн-режиме, там получаются короткие ответы со скоростью 3000 токенов в секунду, т.е. мгновенно.
"а не в накидывании говна на вентилятор " - чойта сразу говна? у меня вполне конструктивная критика проблемных мест :)
Постоянно мухлевать какие-то списки, и чтобы всё то и дело отваливалось, чтобы не потратить 5 долларов – это диагноз.
Ну представь у тебя подключено 100 разный сервисов, на каждом по 100 аккаунтов, ....
А накуа? Многовато для пет проектов. А если не пет проекты, для коммерции нужна стабильность, а не искать бесплатные, отваливающиеся сервисы. Для пет проектов наверное проще тогда купить что-то типа 3090, за 600-700 евро и баловаться сколько влезет.
Представьте, что вас забанят за такие фокусы:)
В этом и Проблема бесплатных лимитов, даже если 100 чел так сделает то знатно абузит сервисы и поэтому реальные лимиты заметно ниже и по количеству запросов и по длине контекста никто уже не гарантирует бесплатные лимиты
Пока трафика нет, жалко даже эти пять долларов отдавать. Но когда появляются реальные пользователи, проще заплатить и спать спокойно
И сделать fallback цепочку из бесплатных РАБОТАЮЩИХ моделей
Звучит так, словно это может прилично увеличить время до ответа. Но для прототипов и пет-проектов, наверное, норм.
В принципе для прототипа сойдет любой костыль, лишь бы как-то работал. Когда появятся деньги, просто выкинешь этот мусор и подключишь стабильную платную апишку
Там отказ от генерации приходит за миллисекунды.
"Но для прототипов и пет-проектов, наверное, норм. " - проблема не в скоростях, а в ограничениях. В любом случае на бесплатных тарифах всё медленнее и ненадёжнее, чем на платных, и модели как правило доступны только слабые.
Интересно есть ли бесплатный API у обычного Grok и ChatGPT? А то так получается что доступ к ним из РФ заблокирован с их стороны, и если к тому что заблокировано со стороны РФ есть куча других способов получить доступ, то вот к этим чатам - только vps с vless+xhttp, который работает все хуже. Но ведь для чатботов трафик минимальный. И возникает мысль - а что если работать через ssh? Или вообще по email? Написать клиента какого-нибудь...
Или нужен "безголовый" браузер на vps, на котором есть DOM и JS но нет рендеринга, и парсить ответы таким способом?
Grok и ChatGPT
Эти двое доступны без впна через сервисы для обхода геоблокировок. Типа такого https://dns.geohide.ru:8443/
Топовый раздаватель API халявы сейчас - гугол с gemini, там моделька 3.1 лайт дает 500 запросов в сутки на рыло, более чем достаточно для 1 человека.
Следующий за ним - мистраль. У него из интересного есть ocr, недоделанный как и всё от этого провайдера. Качество низкое но зато много.
Грок и церебрас почти ничего полезного не дают, виспер только и компаунд(встроенный поиск и лимиты приличные), остальные модели там слишком сильно зарезаны или устарели и неактуальны для нас(ттс не поддерживает русский).
Гемма от гугла с одной стороны по всем бенчмаркам очень хороша, и почти без лимитов, а с другой гугол ее как то испортил на своем бесплатном сервисе, системный промпт она не поддерживает, инструменты и json по-моему тоже, не помню, но в целом она какая то несъедобная там.
Опенроутер никогда халявы нормальной не давал, даже с 10 баксовым аккаунтом.
В смысле не давал, 1000 запросов В ДЕНЬ на бесплатные модели.
В смысле приличных бесплатных моделей хер да маленько и они огорожены больше чем другие, например не дают сделать больше чем 1 запрос в минуту, или отвечают со скоростью черепахи, или у них отключена поддержка джейсонов или еще какая-нибудь хрень не дающая нормально использовать.
Когда промо-период у новых моделей, то всё летает:) А, так конечно, это всё чисто лишь бы что-нибудь было:) Любая халява это по сути реклама.
Для бесплатного кодинга также можно использовать бесплатные модели в opencode, там они условно безлимитны и промо новых моделей периодически бывают. Gemini 3.1 Flash Lite слабовата в кодинге, главный плюс контент это 1М контент и поддержка картинок, имхо.
Для бесплатного кодинга ещё можно прикрутить бесплатный DeepSeek
Там почти у каждой "бесплатной" модели свои лимиты. Потыкал пару недель назад эту бесплатность, понял, что городить огород с перебор моделей того не стоит.
сервисы для обхода геоблокировок
Насколько они безопасны? Они же по сути MITM, т.е. ты доверяешь им трафик. На чем основано доверие этим анонимным и бесплатным сервисам, которые нельзя проверить и нет результатов независимой проверки признанным квалифицированным аудитором? даже если трафик зашифрован (https), то теоретически можно его расшифровать.
Нужны голосовые ответы на русском языке. Может быть знаете, и сможете подсказать что-то?
https://github.com/rany2/edge-tts
Тут есть небольшое дополнение, можно выкачать сайт и посмотреть исходники и ресурсы https://edgetts.github.io/
Если пользоваться платным ChatGPT, доступ к нему можно получить через OpenRouter + BYOK – добавляете свой ключ ChatGPT в OpenRouter и ходите на OpenRouter, тратя кредиты ChatGPT
Есть бесплатные glm 4.5 и 4.7 в api z.ai
https://docs.z.ai/guides/overview/pricing
GLM-4.7-Flash
Зачем вообще так остервенело все собирают подписчиков в свои каналы? На фоне спада в ИТ, монетизируют их?
Это просто мода такая.
Если вы не помните когда то предлагали всем подписаться на список рассылки, чуть позже в свой блог, потом зайдите в мой Твиттер,и теперь канал.
А вообще - способ расширения личного графа общения, не обязательно прямая монетизация.
Аудитория сейчас самый понятный актив. Рекламу продать или свой продукт запустить всегда проще, когда есть лояльная база читателей
Наверняка, есть! Главное, помнить, что если ты что-то используешь и не платишь за это, ты не клиент, ты товар…
И также помнить, что если ты что-то используешь и платишь за это, ты не только клиент, но еще и товар.
если ты что-то используешь и не платишь за это, ты не клиент, ты товар
“Если ты не платишь, это не значит что тебя не используют.”
А товаром ты быть не можешь. Информация о тебе может быть товаром.
Человек не может быть только субъектом, в каких-то случаях он еще и объект. Поэтому его и называют здесь товаром. Человеком легко манипулировать, если есть достаточно мощности воздействия на него и информации о нем. Рыночная экономика является рыночной только для проигравших, кому продают сказки о том, что много людей не могут договориться. Пока нет гос.финансирования информационных технологий в замен на полную открытость механизмов, ты даже не поймешь, как и где именно тебя мониторят и заставляют "принимать" то или иное решение.
По моему опыту и на моих двух задачах Mistral, а конкретно ministral-8b/14b рулят с большим отрывом. Ни одна модель без размышлений с Cloudflare, даже в разы более дорогих (проверял вплоть ло Llama 70b), не смогла даже приблизиться к результатам ministral-8b, не говоря уже о 14b. Просто не слушаются и всё, нарушая правила и запреты, даже описанные несколько раз в промпте разными словами. Я долго искал фолбек, но не нашёл ничего подходящего. Придётся использовать разных провайдеров с той же ministral, где она редко встречается, дороже официальной и только платная или хостить самому.
Не знаю, может это эффект того, что я с самого начала работал с Mistral и подгонял промпт под уже устаревшую pixtral-12b - видимо предка ministral, или это объективно такие хорошие модели под мою задачу, для которой крайне важно следование инструкциям.
а чем gpt-oss не подходит? Министраль (девстраль-мини) немного туповата. Насчёт кодинга не знаю, но от реального мира она оторвана, что плохо.
Единственное, гпт очень любит форматирование в маркдауне и ЛаТеКс в формулах. И болтлив. Но кодит вроде хорошо
ministral не для кодинга, а решение узкой задачи моего сервиса, под которую я подгоняю промпт. Одна задача - сочинить сцены по желаниям пользователя, с его участием, учитывая ограничения. Вторая - описать физические параметры тела пользователя по фотке, не описывая одежду, фон и другие предметы. Из всего этого потом генерируются фотки.
GPT-OSS - рассуждающая модель, которая сожрёт в разы больше токенов, чего мне не надо. Мне нужен исполнитель, который слушается, а не думает сам.
Для кодинга у меня платный Codex и иногда триал Windsurf.
gpt-oss-120b в баш скрипте на 30 строк умудряется пролюбить перенос строки, оно для кодинга антиполезно.
Для локального тестирования гипотез это еще имеет смысл. Сразу заносить бабки в каждый новый сервис тоже не очень рационально, особенно когда половина из них отвалится через месяц
Там ещё фишка, если начал кодить на одной модели, то лучше продолжать кодить только на моделях этого семейства. Переключение на модели другого семейства, может похерить весь проект.
Пользуюсь Groq последние два года.
Очень доволен.
Ежемесячные счета смешные, не превышали 4 доллара при очень интенсивной работе. Сейчас полтора доллара, после переноса некоторых моделей на домашний Inference.
А что насчет российских сервисов? Gigachat, Алиса, у них есть халява?
Если раньше охотились за битками то теперь будут за API ключами для токенов
Там вроде ещё «Невидиа» давала бесплатный доступ к нейронками для «не РФ», но нужна была иностранная симка для регистрации. Не знаю, правда, есть ли там геоблок по ip
В самом простом случае, вместо API можно использовать CLI, передавая запрос через stdin:
echo 'You are helpful coding assistant... Your task is ...' | gemini
# Или так
gemini -p 'Generate commit message...'Обычно, при использовании CLI (Gemini/Qwen) количество доступных бесплатных запросов больше чем в API (у Gemini 1000 RPD). Возможно для совсем простого чатбота этого хватит.
Я недавно сделал Bash-утилиту для генерации Git-коммитов, в которой вместо API используются именно CLI (gemini, qwen, aichat и т.д.). Так как коммитов каждый день я создаю много, я надеялся таким образом сэкономить деньги и не тратить оплаченные токены на такую простую задачу. Результат оказался не очень, особенно с моделями Groq: каждое второе сообщение приходилось редактировать через git commit --amend. Поэтому не стоит сильно надеяться на Groq. Запросы он обрабатывает быстро, но модели у него “тупые”.
В качестве источника для поиска “бесплатных” моделей могу посоветовать models.dev, там есть несколько провайдеров с free tier. Например, aihubmix.com.
Честно говоря, не очень понимаю, чем ваш чатбот может быть полезен для пользователей. Сейчас полно браузерных чатов (да хотя бы и GigaChat или z.ai, без всякой регистрации). Зачем кому-то идти за этим в телеграмм и подписываться на ваш канал?
Кстати о полезных сервисах. У гугла в апи есть моделька для tts, и ее вполне реально абузить, надо только раздобыть сотни аккаунтов Ж)
Озвучил ей книжку
Z.ai - GLM 4.7 flash бесплатная, по api
Схема такая - бот собирает у пользователя текст, обрабатывает его нейросетью, выдает что-то полезное, и в конце просит подписаться на канал в обмен на результат
С каких пор в РФ запрещены чаты нейросетей по типу kimi, deepseek? Почему вы считаете что мусор (коим являются модели, предоставляемые по бесплатному апи) смогут дать хоть какой-то приемлемый результат?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
А есть ли бесплатные API нейросетей?