В рублях, конечно, напрямую ничего сейчас не купить, но всегда есть посредники.
500к в сутки это смех, особенно если хотите работать с кодом. А учитывая, что у моделей разные цены, еще непонятно как это тарифицируется.
Если уж очень хочется - реально лучше пойти на BotHub, они просто перепродают OpenRouter с небольшой наценкой, зато там гораздо выше шанс что модели настоящие и цены не х3. Правда это из расчета за покупку большого пакета токенов, но вроде даже за самый дешевых даже х2 не выходит, так что все еще выгоднее.
Цены тут значительно выше оф ценников. Для сравнения, если позарез нужна именно оплата по токенам и в рублях - можете посмотреть на BotHub, у них цены раньше были на 10-15% выше оф ценника. Тут чуть ли не в 3 раза выше.
далеко идти не надо, Gemini 3.1 pro оф ценник 12$ за выходные до 200к контекста, это даже при плохом курсе не более 1200 рублей, а эти товарищи тут продаю это за 3360 рублей, вот и считайте сами
Ну, у нас с вами, видимо, очень разные понимания "прод"а :)
Я вот собираю корпоративную агентную среду и моя RX7800XT позволяет содержать максимум 6 параллельных потоков с 32 000 контекста на Ministral3 3B в Q8.
И в моем понимании, с одной стороны это неплохой задел под параллельную работу (6 потоков явно лучше чем 1, где все пользователи будут стоять в очереди, а кто-то может дать сложную задачу и его все будут обязаны ждать), с другой я прекрасно понимаю как сильно ограничены возможности локальных моделей, так как что-то "вменяемое" начинается где-то от 20B+, а чтобы появились настоящие агентные навыки это 30B+, что на домашнем железе если и запустишь, то либо с частичной выгрузкой на CPU и RAM, либо с крайне ограниченным железом. И это явно не сценарий для какого-то "прод" решения. Это скорее личное пользование для тестов и экспериментов.
Вам же, для своих тестов, я бы порекомендовал попользовать GPT-OSS-20B, она намного быстрее Qwen3-14B работает, нативно обучена в 4-битном квантовании и позволит запустить ее даже с 120 000 контекста (другой вопрос, что для pp 120к понадобится минут 20 времени на запрос, но это уже другой вопрос).
Учитывая практические возможности того, что можно запустить на 16Гб это скорее статья ради того, чтобы рассказать как пройти весь путь, но точно не о какой-то практической пользе. Стоимость аренды такого сервера перекроет покупку своего подобного GPU уже через 4-6 месяцев аренды, если не раньше, модели которые можно запустить крайне ограничены. Называть это именно "своим облачным" сервером тоже крайне сомнительно, скорее удаленная локалка, ибо в лучшем случае на модели размером 4b получится поддерживать 4-8 конкурентных потоков без значительной просадки TPS, далее уже кошмар начнется. Ну и если нет необходимости в реально приватности данных, то условная подписка будет в 10 раз дешевле аренды такого сервера и в сотни раз эффективнее по результатам.
Думаю вы сильно удивитесь, но CUDA будет лучше на 20-30%, но не в х2-х3, как обычно преподносится. Независимо от архитектуры скорость генерации токенов ограничена исключительно пропускной способностью памяти, а память у всех одинаковая.
А оптимизация работы ROCm год от года становится только лучше. Только за 2025 год AMD добились практически двухкратного роста производительности.
Тут в первую очередь речь как раз о том, что теперь создать свой домашний сервер можно на любом железе и ОС.
Кстати, да, возможно проблема именно в этом. Так как по тестам которые я сейчас провожу по-моему как раз версия от bartowski показывает себя хуже чем от другого автора.
Ну во-первых вы тестируете все же на локальном железе, пусть и доказано что Q4 имеет минимальные потери по сравнению с Q8, потери все же есть. Во-вторых, пусть и слово разбираете английское, инструкции все же на русском, что создает для модели сложности для работы, так как русский явно для нее не основной язык и она может хуже понимать задачу. В-третьих, морфологический разбор слов это не написание текстов. Как и в примере выше с "Собачьим сердцем", разбор слов это 100% не целевая задача обучения данной модели.
Не нужно ожидать от всех подряд моделей решения всех ваших задач :) Для узких задач используйте специализированные модели.
Еще два момента важных: Большинство моделей оптимизированы для работы через vLLM, LMStudio, скорее, удобный, но не лучший вариант. Судя по тому, что у вас на втором вопросе модель напрочь забыла поставленную задачу, подозреваю, что вы ей дали очень маленький контекст, а потому пока она думала, она уже забыла задачу.
К сожалению в локальном запуске на потребительском железе есть огромное количество "НО", которые не позволяют воспроизвести результаты бенчмарков и в ближайшее время, я скорее всего, об этом напишу.
В один момент они могут без ошибок написать практически целиком проект, а потом на какой-то глупой вещи запнуться.
Но лично по моим ощущениям сильно влияет именно инструмент, где работать. По моему опыту Claude Code значительно реже затыкался на глупостях, чем Kilo Code. Kilo наравит вечно переписывать и упрощать. Claude работает аккуратнее как-то. Поэтому мой лично выбор это Claude.
Antigravity очень хорош, но именно Gemini 3 Pro последнее время стала нестабильной, застревает в мыслях, пишет ахинею. Недавно "надеялась что процесс корректно сдохнет, а sqlite стерпит"
Модели не обязаны знать все на свете. Данная модель, если вчитаться в логику ее обучения, была ориентирована на математику, науку и вызов инструментов. Ни в одном из этих сценариев нет знания литературы.
Я больше скажу. И огромные модели не будут знать всех произведений и уж тем более их деталей. Для этого есть RAG.
Модели не могут знать того, на чем не обучались. А целенаправленно загружать в модели целые произведения - бессмысленно, это просто раздувание объема информации, которая просто даст знание книги, но не практических навыков.
Если уж планируете проверять на литературность - давайте моделям фрагменты и просите их перефразировать или сделать какие-то выводы/анализы по тексту. Вот тогда вам действительно будет что сравнивать.
За такие деньги...
В рублях, конечно, напрямую ничего сейчас не купить, но всегда есть посредники.
500к в сутки это смех, особенно если хотите работать с кодом. А учитывая, что у моделей разные цены, еще непонятно как это тарифицируется.
Если уж очень хочется - реально лучше пойти на BotHub, они просто перепродают OpenRouter с небольшой наценкой, зато там гораздо выше шанс что модели настоящие и цены не х3. Правда это из расчета за покупку большого пакета токенов, но вроде даже за самый дешевых даже х2 не выходит, так что все еще выгоднее.
Цены тут значительно выше оф ценников. Для сравнения, если позарез нужна именно оплата по токенам и в рублях - можете посмотреть на BotHub, у них цены раньше были на 10-15% выше оф ценника. Тут чуть ли не в 3 раза выше.
далеко идти не надо, Gemini 3.1 pro оф ценник 12$ за выходные до 200к контекста, это даже при плохом курсе не более 1200 рублей, а эти товарищи тут продаю это за 3360 рублей, вот и считайте сами
Еще один очередной API агрегатор, для тех, кто не считает свои деньги.
Буду рад помочь в доработках)
Сейчас активно сам продолжаю тестировать и выявлять ошибки в поведении и расширять доступные инструменты.
А кто сказал что возможностей больше не будет?
Вопрос реализации и отладки под работу с локальной моделью.
Какой толк от сотни возможностей, если частью ты никогда не воспользуешься, а другая без должного контроля тебе навредит?
Как для энтузиаста для домашнего пользования openclaw бесспорно лучше, но и суть проектов разная, на секундочку)
Ну, у нас с вами, видимо, очень разные понимания "прод"а :)
Я вот собираю корпоративную агентную среду и моя RX7800XT позволяет содержать максимум 6 параллельных потоков с 32 000 контекста на Ministral3 3B в Q8.
И в моем понимании, с одной стороны это неплохой задел под параллельную работу (6 потоков явно лучше чем 1, где все пользователи будут стоять в очереди, а кто-то может дать сложную задачу и его все будут обязаны ждать), с другой я прекрасно понимаю как сильно ограничены возможности локальных моделей, так как что-то "вменяемое" начинается где-то от 20B+, а чтобы появились настоящие агентные навыки это 30B+, что на домашнем железе если и запустишь, то либо с частичной выгрузкой на CPU и RAM, либо с крайне ограниченным железом. И это явно не сценарий для какого-то "прод" решения. Это скорее личное пользование для тестов и экспериментов.
Вам же, для своих тестов, я бы порекомендовал попользовать GPT-OSS-20B, она намного быстрее Qwen3-14B работает, нативно обучена в 4-битном квантовании и позволит запустить ее даже с 120 000 контекста (другой вопрос, что для pp 120к понадобится минут 20 времени на запрос, но это уже другой вопрос).
Учитывая практические возможности того, что можно запустить на 16Гб это скорее статья ради того, чтобы рассказать как пройти весь путь, но точно не о какой-то практической пользе. Стоимость аренды такого сервера перекроет покупку своего подобного GPU уже через 4-6 месяцев аренды, если не раньше, модели которые можно запустить крайне ограничены. Называть это именно "своим облачным" сервером тоже крайне сомнительно, скорее удаленная локалка, ибо в лучшем случае на модели размером 4b получится поддерживать 4-8 конкурентных потоков без значительной просадки TPS, далее уже кошмар начнется. Ну и если нет необходимости в реально приватности данных, то условная подписка будет в 10 раз дешевле аренды такого сервера и в сотни раз эффективнее по результатам.
Так мой посыл был как раз таки в том, что сейчас не нужен Linux и танцы с бубном, когда на windows все теперь работает из коробки.
Я сам пытался поставить все на Linux, запустил даже vllm. И все проклял. А там где все же запустилось - TPS был ниже чем в windows на vulkan.
Поэтому возможность запустить на windows ещё и с rocm это очень серьезный прогресс.
Думаю вы сильно удивитесь, но CUDA будет лучше на 20-30%, но не в х2-х3, как обычно преподносится. Независимо от архитектуры скорость генерации токенов ограничена исключительно пропускной способностью памяти, а память у всех одинаковая.
А оптимизация работы ROCm год от года становится только лучше. Только за 2025 год AMD добились практически двухкратного роста производительности.
Тут в первую очередь речь как раз о том, что теперь создать свой домашний сервер можно на любом железе и ОС.
Ну, для написания скрипта hello world подойдет :)
Миллион токенов в год, это не "достаточно для экспериментов". Я на локальной модели миллион за 1 прогон теста трачу :)
Если у вас не высоконагруженная система, рекомендую развернуть локалку, будет дешевле и в разы проще контролировать.
5060ti будет быстрее, она и новее и поддержка cuda все еще лучше, чем rocm.
Значит ребята по-разному квантуют и мне не показалось что модель бартовски как будто бы потупее.
Как раз только что обновил выше :)
mradermacher
Кстати, да, возможно проблема именно в этом. Так как по тестам которые я сейчас провожу по-моему как раз версия от bartowski показывает себя хуже чем от другого автора.
Upd
Да, у меня сейчас версия mradermacher
Не знаю, что с вашей моделью не так :)
Моя с первого запроса ответила что 3.
Ну во-первых вы тестируете все же на локальном железе, пусть и доказано что Q4 имеет минимальные потери по сравнению с Q8, потери все же есть.
Во-вторых, пусть и слово разбираете английское, инструкции все же на русском, что создает для модели сложности для работы, так как русский явно для нее не основной язык и она может хуже понимать задачу.
В-третьих, морфологический разбор слов это не написание текстов. Как и в примере выше с "Собачьим сердцем", разбор слов это 100% не целевая задача обучения данной модели.
Не нужно ожидать от всех подряд моделей решения всех ваших задач :) Для узких задач используйте специализированные модели.
Еще два момента важных:
Большинство моделей оптимизированы для работы через vLLM, LMStudio, скорее, удобный, но не лучший вариант.
Судя по тому, что у вас на втором вопросе модель напрочь забыла поставленную задачу, подозреваю, что вы ей дали очень маленький контекст, а потому пока она думала, она уже забыла задачу.
К сожалению в локальном запуске на потребительском железе есть огромное количество "НО", которые не позволяют воспроизвести результаты бенчмарков и в ближайшее время, я скорее всего, об этом напишу.
Ахахах, интересное поведение. У меня такого ещё не было :)
Вот в этом и состоит основной казус :)
В один момент они могут без ошибок написать практически целиком проект, а потом на какой-то глупой вещи запнуться.
Но лично по моим ощущениям сильно влияет именно инструмент, где работать. По моему опыту Claude Code значительно реже затыкался на глупостях, чем Kilo Code. Kilo наравит вечно переписывать и упрощать. Claude работает аккуратнее как-то. Поэтому мой лично выбор это Claude.
Antigravity очень хорош, но именно Gemini 3 Pro последнее время стала нестабильной, застревает в мыслях, пишет ахинею. Недавно "надеялась что процесс корректно сдохнет, а sqlite стерпит"
Это крайне некорректный подход к тестированию.
Модели не обязаны знать все на свете. Данная модель, если вчитаться в логику ее обучения, была ориентирована на математику, науку и вызов инструментов. Ни в одном из этих сценариев нет знания литературы.
Я больше скажу. И огромные модели не будут знать всех произведений и уж тем более их деталей. Для этого есть RAG.
Модели не могут знать того, на чем не обучались. А целенаправленно загружать в модели целые произведения - бессмысленно, это просто раздувание объема информации, которая просто даст знание книги, но не практических навыков.
Если уж планируете проверять на литературность - давайте моделям фрагменты и просите их перефразировать или сделать какие-то выводы/анализы по тексту. Вот тогда вам действительно будет что сравнивать.