Лимиты ChatGPT и локальные LLM: мой эксперимент с Hermes Agent

[debagger]

Модели серии qwen3.5 безнадежно устарели в октябре 2026. Если надо именно 9B - можно попробовать Ornith-1.5-9B, а если 27B, то Qwen3.8-27B GSQ-RCO, хотя 27B в 10Гб vram ну никак уже не влезет.

[shkato]

Спасибо. Попробую Ornith, особенно интересна как кандидат в том же размере 9B, можно сравнить на сохранённых заданиях

[Del137]

Откройте для себя Strata

[shkato]

Посмотрел Strata. В README сейчас заявлено от 12 ГБ VRAM, у меня 10. Есть опыт запуска именно на такой карте?

[Del137]

Оперативка нужна 64, а так вопрос просто распределения. Причем у товарищей экспериментаторов дикие успехи с моделью на 125 млрд: https://github.com/Niko1221/Strata/issues/2342

Полагаю с другими вариантами моделями хватит и 32, coder например, надо читать пробовать, той же сетке дать задачу стенд протестировать

[Cheshir_zip]

Немного вкину свой опыт. Дома два пк, мой и жены. У жены задачи помогать в ведении записей по ее цветам. У меня разбор литературного текста, проверка ошибок, и рассуждение на темы для самих литературных рассказов(писатель я крч). Иногда математические модели еще собираю, но их пока не тестил.

У жены в компе так же rtx3080. А вот я уже реально ограничен, у меня 960. Получается только мое модели нормально.

Из последнего пробовали джипити на 20 милионов параметров. Точное название не помню. Вообще разочаровал и с нашими задачами не справился. Qwen разные пробовали. Тоже не особо справились. Для жены пока вообще не подобрали идеальной модели. А с моими на удивление хорошо гигачад справляется. Разбор текста прям отличный. Даже в метафорическом тексте понимает контекст. С чем не справился джипити.

[ktibr0]

Я, когда ставлю задачу в кодексе(не могу привыкнуть называть приложение чатжпт), пишу обычно "разработай план, реализацию отдай Luna 6 medium, разработай тесты, реализацию тестов сделай субагентом на Luna 6 low, в случае ошибок, подключай к интерпретации sol 6.1 low)

Это позволяет немного сэкономить токены, да, статья про локальную обработку на моделях, но я сам так и не смог нормального результата добиться на интересе дома на rtx 4080 16Gb (

[Zerrdex]

Онлайн модели всегда будут на одно поколение качественней локальных моделей. Нужно только подождать немного.

[Agubigubaga]

Как же надоели люди, которое пытаются во первых запускать модели через бесполезную ollama, а во вторых пытаться использовать устаревшие локальные модели и писать про это свои статейки. Нужно понимать, что если локальной модели больше двух месяцев, то она уже сильно устарела и ей пользоваться нельзя. Уже есть более новые и сильные локальные модели, не нужно скачивать первую попавшуюся. Жалуетесь, что всё намного хуже, при этом используя максимально слабые модели и никак не пытаюясь хоть чуть чуть разобраться в теме.