В первой части статьи я из любопытства проверил, какие бизнес‑задачи могут решать легкие модели на недорогом VPS без видеокарты. В комментариях мне отсыпали критики, и часть ее, как водится, по делу. Так что продолжение отчасти написано в жанре работы над ошибками, и, чтобы понимать, что и почему я переделывал, лучше сначала обратиться к истокам.
Сказать по правде, я и сам хотел кое‑что довести до ума: повторить тесты на сервере с 8 ГБ RAM, проверить российские модели покрупнее и так далее. Новый эксперимент я ставил с учетом ошибок и недоделок первой части. Цифры получились точнее и строже, а любопытных фактов, надеюсь, не меньше. На этом перейдем ближе к делу.

TL;DR
Для классификации обращений, ответов по базе знаний, кратких резюме документов и прочей текстовой рутины хватает легких моделей и VPS без видеокарты. На сервере с 8 ГБ RAM лучшие модели на 2–4B сортировали обращения за 3–5 сек с точностью около 90%. Ответы по базе знаний и резюме записей занимали 0,5–2,5 мин. Для фоновой обработки это нормально, для чата с клиентами уже нет. Какую модель брать под какую задачу смотрите в таблице в конце статьи.
Переход с 4 на 8 ГБ RAM убрал падения по нехватке памяти на длинных текстах и почти весь обмен со swap. Пятый vCPU добавил 20–25% к скорости чтения промпта и около 10% к генерации. Так что под длинные тексты нужен сервер от 8 ГБ, а лишний vCPU дает меньше, чем дополнительная память.
На 326 обращениях 9 моделей из 10 показали точность 87–92%, хотя в первом тесте на 20 обращениях семь из них выбили 100%. Отсюда правило: модель нужно проверять на сотнях своих примеров. Разница между лидерами в 2–3 пункта в пределах статпогрешности, поэтому выбирать стоит по скорости и памяти.
Время ответа сильно зависит от структуры промпта. Если все запросы начинаются с одной инструкции, модель кэширует ее и читает только переменную часть. В противном случае инструкцию приходится читать каждый раз заново. С кэшем QVikhr-3-4B классифицировала обращение за 3,8 сек, а без за 12,4 сек. Для большинства моделей эта разница в 2–3 раза. Общую инструкцию стоит ставить в начало промпта, а текст обращения в конец. Это заметно ускоряет работу.
Модели на 8–10B не обогнали лучшие 4B, а работали даже медленнее. Исключение по скорости — GigaChat 3.1 Lightning с архитектурой MoE. На CPU разумнее брать модель на 2–4B (если нужна российская — GigaChat 3.1 Lightning).
На сервере с 8 ГБ кэш промптов в Ollama по умолчанию может занять всю память: у qwen3.5:4b это приводило к сбоям. Ограничение через переменную окружения убрало и сбои, и swap. Поэтому на сервере с 8 ГБ лучше сразу добавить
LLAMA_ARG_CACHE_RAM=1024в настройки Ollama.Decision‑модель d1-2B по точности оказалась на уровне генеративных, но давала честную вероятность. При пороге 0,9 она взяла бы на себя 69% обращений с точностью 97%, а остальные отдала человеку. Для службы поддержки, где ошибка дороже лишней ручной проверки, это хороший вариант.
Стенд и модели
Тот же, что и в первой части, VPS на JustHost с шаблоном Ollama, переведенный на 5 vCPU (Intel Xeon Gold 6148) и 8 ГБ RAM, swap 4 ГБ. Стек также без изменений: Ubuntu 24.04, Ollama 0.35.0 в Docker, внутри нее llama.cpp сборки 161755f29.
Настройки Ollama я оставил как в шаблоне: в памяти одна модель, запросы к ней обрабатываются по одному, число потоков по умолчанию равно числу ядер. Изменил только время, на которое модель остается в памяти, с 5 до 30 мин. Open WebUI на время замеров был остановлен, посторонней нагрузки не было. Steal я записывал раз в секунду: за 41 час работы под нагрузкой в среднем 0,2%, в 99% секунд не выше 1%, разовый пик 6,4%. Для виртуалки это хороший показатель: соседи по хосту на замеры практически не влияли.
К моделям‑лидерам первой части (QVikhr-3-4B, qwen3.5:2b и 4 b, gemma3:4b, granite4:micro‑h) я добавил пять моделей покрупнее, все с Hugging Face в той же квантизации Q4_K_M.
Модель | Размер | Файл | Особенности |
|---|---|---|---|
GigaChat 3.1 Lightning | 10B | 6,5 ГБ | MoE: на каждый токен работает 1,8B параметров |
T‑lite‑it-2.1 | 8B | 5,0 ГБ | В основе Qwen3, дообучена на русском |
YandexGPT-5-Lite-8B‑instruct | 8B | 4,9 ГБ | Официальная сборка Яндекса |
Qwen3-8B | 8B | 5,0 ГБ | Рассуждение выключено |
GLM-4-9B-0414 | 9B | 6,2 ГБ | Самая тяжелая из плотных |
По совету из комментариев к первой статье под задачи классификации я добавил еще и decision‑модель d1-2B от Liquid AI (1,9B, Q8_0). Она не генерирует текст, а за один проход возвращает вероятность каждого варианта. d1-2B построена на новой архитектуре LFM3, и под нее пришлось поднять отдельную Ollama 0.40.15. В ходе тестов потребовалась дополнительная настройка. По умолчанию модель читала за проход не больше 512 токенов, и длинное обращение в 946 токенов возвращало ошибку. Помог num_batch 2048 в Modelfile.
Бизнес‑сценарии остались те же, что в первой части: классификация обращений, тональность отзывов, извлечение данных из заявки, суммаризация, объявления для Яндекс Директа, нормализация данных CRM и ответы по базе знаний. К ним добавилась большая выборка для классификации (о ней ниже).
Протокол, повторы и проверка разметки
В комментариях к первой части хабровчане указали на слабые места эксперимента: не было повторных прогонов, замеров steal и замеров без кэша, выборки были маленькими. Во второй части я это исправил.
Один протокол для всех моделей. Общий промпт и JSON‑схема ответа,
temperature 0,seed 42, режим рассуждения выключен, в памяти одна модель. Перед замером я прогревал модель посторонним запросом, а затем отправлял примеры по одному.С кэшем и без. Если системный промпт у всех запросов общий, llama.cpp может взять уже прочитанную часть из кэша. Для классификации это обычная ситуация, но на скорость она влияет сильно. В статье о системе SGLang нашел, что при переиспользовании кэша обрабатывалось в 6 раз больше запросов. Поэтому время я мерил в двух режимах: с общим промптом и с уникальной меткой в самом начале промпта, при которой кэш не срабатывал.
Повторы. Классификацию на 326 обращениях я прогнал дважды. Все 10 моделей дали те же ответы во всех 326 случаях, медиана времени отличалась на 0–5%. Нагрузочный тест я тоже повторил дважды: расхождение в пределах 10%, кроме qwen3.5:2b (но об этом отдельно).
Время. Время на запрос — от отправки до полного ответа, в таблицах медиана. В нагрузочном тесте я дополнительно записывал время до первого токена и 95-й перцентиль.
Нагрузка. Один, два или четыре клиента шлют запросы друг за другом без пауз. Каждый уровень длится не меньше 5 мин и 40 запросов, для длинных запросов — 10 мин и 16 запросов. Пропускная способность — число завершенных запросов в час.
Статистика. Для точности я считал 95%‑е интервалы Уилсона. Модели сравнивал парным тестом McNemar: все они отвечали на одни и те же обращения, и такое сравнение точнее, чем сопоставление интервалов. Так советует делать Anthropic в статье Adding Error Bars to Evals.
Разметка. Эталон для 326 обращений сделали модели. Я взял 50 случайных обращений, вслепую разметил их и сравнил с эталоном: совпало 45 из 50.
Данные и код. Датасеты, скрипты и сырые ответы всех моделей лежат в репозитории: github.com/alvec7/llm‑cpu‑bench.
Память важнее процессора
На 8 ГБ RAM я заново прогнал лидеров первой части на трех сценариях: классификации, резюме и ответах по базе знаний. Точность почти не изменилась (в пределах одного вопроса), зато сильно изменилось поведение сервера на длинных текстах. На 4 ГБ оперативы модель на 4B вместе с длинным контекстом не помещалась в память и гоняла данные через swap. На 8 ГБ RAM обмен со swap у большинства моделей почти прекратился:
Модель | Задача | Время, 4 ГБ → 8 ГБ | Обмен со swap, 4 ГБ → 8 ГБ |
|---|---|---|---|
QVikhr-3-4B | Ответ по базе знаний | 94 → 73 сек | 9,1 ГБ → 43 МБ |
qwen3.5:4b | Ответ по базе знаний | 69 → 56 сек | 4,9 ГБ → 11 МБ |
QVikhr-3-4B | Резюме документа | 181 → 158 сек | 2,7 ГБ → 9 МБ |
gemma3:4b | Резюме документа | 82 → 73 сек | 2,7 ГБ → 5 МБ |
gemma3:4b | Ответ по базе знаний | Падала → 51 сек | Падала → 2,0 ГБ |
Время ответа и объем обмена со swap на 4 ГБ и 8 ГБ RAM.
У gemma3:4b на 4 ГБ сценарий с базой знаний не доходил до конца: система завершала процесс по нехватке памяти. На 8 ГБ она ответила верно на 14 вопросов из 15, но все равно записала в swap около 2 ГБ.
Замеры на 4 и 8 ГБ я делал в разные дни. Вместе с памятью на сервере добавился пятый vCPU, поэтому скорость напрямую сравнивать нельзя. Вклад процессора я измерил отдельно: на том же VPS ограничивал Ollama от одного до пяти потоков и гонял одинаковый запрос на 1000 токенов, по три раза на каждое значение.
Потоки | QVikhr-3-4B | qwen3.5:4b |
|---|---|---|
1 | 7,8 / 1,7 | 7,9 / 2,1 |
2 | 15,1 / 3,0 | 15,4 / 3,6 |
3 | 21,7 / 4,1 | 22,1 / 4,8 |
4 | 29,3 / 5,2 | 28,4 / 5,9 |
5 | 35,4 / 5,7 | 35,6 / 6,5 |
Скорость чтения промпта и генерации в зависимости от числа потоков, ток/сек.
Скорость чтения промпта росла почти пропорционально числу потоков, и на пяти насыщения не было. Пятый поток добавил 20–25% к чтению промпта и около 10% к генерации. Скорость генерации увеличивалась медленнее, потому что упиралась еще и в пропускную способность памяти. Для LLM это типичное узкое место, см. обзор LLM Inference Unveiled.
Нагрузочный тест в первой части состоял всего из 12 коротких и 8 длинных запросов на уровень нагрузки. Теперь их стало не менее 40 и 16 соответственно.
Короткие запросы я прогнал дважды. В таблице зафиксированы средние двух прогонов или оба значения через дефис, если они разошлись. p50 — обычное ожидание ответа, p95 — дольше этого ждали только 5% запросов.
Модель | Кэш | Запросов в час: 1 / 2 / 4 клиента | Ожидание при 4 клиентах, p50 / p95 | Сбои |
|---|---|---|---|---|
QVikhr-3-4B | Общий промпт | ~990 / ~870 / ~840 | 17 / 19–20 сек | Нет |
Без кэша | ~295 / ~290 / ~300 | 47 / 49–53 сек | Нет | |
GigaChat 3.1 Lightning | Общий промпт | ~820 / ~790 / ~760 | 19 / 20–21 сек | Нет |
Без кэша | ~305 / ~325 / ~310 | 46 / 50–51 сек | Нет | |
qwen3.5:2b | Общий промпт | от 560 до 1540 | 10 / 11–28 сек | Нет |
Без кэша | ~520 / ~520 / ~520 | 27–28 / 29–30 сек | Нет | |
qwen3.5:4b | Общий промпт | ~345 / ~330 / ~360 | 41–42 / 43–44 сек | Нет |
Без кэша | ~315 / ~320 / ~305 | 45–47 / 48–50 сек | 6 из ~250 |
Результаты для коротких запросов на классификацию обращений: около 350 токенов на входе и 7–8 на выходе.
Что видно:
С общим промптом QVikhr и GigaChat обрабатывали 750–1000 коротких запросов в час, без кэша — около 300. Кэш у них срабатывал с первого запроса и работал стабильно.
У гибридных qwen3.5 кэш вел себя непредсказуемо. qwen3.5:2b первые 116 запросов читала системный промпт заново (около 6,4 сек на запрос), а потом начала брать его из кэша (2,2 сек). Отсюда разброс от 560 до 1540 запросов в час. qwen3.5:4b в нагрузочном тесте так и не начала брать промпт из кэша, хотя в последовательном прогоне на 326 обращениях это делала. Это известная особенность гибридных моделей: кэш у них срабатывает только при точном совпадении префикса и состоит из крупных записей (Marconi, 2024).
Когда на сервер одновременно приходило два или четыре запроса, за час он успевал обработать не больше, чем когда запросы приходили по одному. Ollama обрабатывает запросы к модели последовательно, в порядке очереди, поэтому при четырех клиентах каждый ждет примерно вчетверо дольше.
Время до первого токена почти равнялось полному: ответ короткий, и большая часть времени уходила на чтение промпта.
Второй нагрузочный тест я провел на длинных запросах — ответах по базе знаний, около 2500 токенов на входе. Здесь кэш почти не влияет, поэтому один режим и один прогон:
Модель | Запросов в час: 1 / 4 клиента | Ожидание при 4 клиентах, p50 | Сбои |
|---|---|---|---|
qwen3.5:2b | 104 / 105 | 2,2 мин | Нет |
qwen3.5:4b | 64 / 62 | 3,7 мин | Нет |
GigaChat 3.1 Lightning | 56 / 55 | 4,2 мин | Нет |
QVikhr-3-4B | 48 / 48 | 4,9 мин | Нет |
Результаты для длинных запросов: ответы по базе знаний, около 2500 токенов на входе.
Сбоев на длинных запросах не было, но при четырех клиентах память доходила до 7,7 ГБ, и сервер снова писал в swap (QVikhr до 5,9 ГБ за уровень). Причину я в итоге нашел, об этом ниже.
На двадцати примерах точность не оценить
В первой части в тесте на классификацию четыре модели верно определили категорию у всех 20 обращений. Но на такой выборке это означало лишь, что реальная точность с 95%‑й уверенностью не ниже 84%. Чтобы узнать точнее, был нужен датасет с сотнями примеров.
Генерация датасета. Настоящие обращения клиентов могут содержать персональные и другие чувствительные данные. Поэтому я сгенерировал 327 обращений с помощью большой модели DeepSeek V4.1 Flash: шесть категорий, три уровня сложности и шесть стилей — от коротких сообщений в чате с опечатками до расшифровок голосовых. В сложных обращениях были смешаны две темы, например жалоба на курьера и вопрос о сроках доставки.
Разметка датасета. Определенную при генерации категорию я перепроверял двумя другими большими моделями, DeepSeek V4 Pro и MiMo V2.6 Pro, с тем же промптом, что и у тестируемых. За эталон брал ту категорию, с которой согласились хотя бы две модели из трех. В 297 случаях решения генерирующей и проверяющих моделей совпали. 29 обращений получили другую категорию. Одно я выбросил, так как три модели назвали каждая свою категорию. В итоге в выборке осталось 326 обращений.
Чтобы проверить, можно ли доверять эталону от моделей, я взял 50 случайных обращений и разметил их вслепую сам. С эталоном я совпал в 45 случаях из 50 (90%, интервал 79–96%). Даже с поправкой на случайные совпадения согласие почти полное: каппа Коэна составила 0,88. Это согласуется с исследованием Цюрихского университета: там ChatGPT в четырех задачах из пяти размечал тексты точнее исполнителей с краудсорсинговой платформы. Все пять расхождений пришлись на обращения, где можно защитить обе категории. Например, бракованный пылесос и грубый оператор поддержки в одном флаконе — это возврат или жалоба? Судите сами.
Модель | 20 обращений | 326 обращений | 95%‑й интервал | Время, общий промпт | Время, без кэша |
|---|---|---|---|---|---|
GLM-4-9B | 95% | 92,0% | 88,6–94,5% | 7,6 сек | 24,0 сек |
qwen3.5:4b | 100% | 91,4% | 87,9–94,0% | 4,5 сек | 11,0 сек |
QVikhr-3-4B | 100% | 89,9% | 86,1–92,7% | 3,8 сек | 12,4 сек |
qwen3.5:2b | 100% | 89,6% | 85,8–92,4% | 2,9 сек | 6,8 сек |
T‑lite‑it-2.1 | 100% | 89,0% | 85,1–91,9% | 5,7 сек | 16,4 сек |
granite4:micro‑h | – | 88,0% | 84,1–91,1% | 10,9 сек | 13,7 сек |
Qwen3-8B | 100% | 87,7% | 83,7–90,9% | 6,9 сек | 21,9 сек |
gemma3:4b | 100% | 87,4% | 83,4–90,6% | 8,8 сек | 9,4 сек |
d1-2B (decision‑модель) | – | 87,1% | 83,0–90,3% | 6,6 сек | 6,6 сек |
GigaChat 3.1 Lightning | 100% | 86,8% | 82,7–90,1% | 4,5 сек | 11,0 сек |
YandexGPT-5-Lite-8B | 75% | 72,1% | 67,0–76,7% | 6,2 сек | 5,3 сек |
Точность и время ответа при классификации на 20 и 326 обращениях.
В столбцах со временем приводится медианное время ответа: половину обращений модель обработала быстрее, половину медленнее. С общим промптом я мерил его на всех 326 обращениях, без кэша на 50 случайных. У d1-2B в обоих столбцах результат по всем 326 обращениям, кэш на нее не влияет.
Что тут интересного:
«20 из 20» ничего не гарантирует. Все семь моделей с идеальным результатом на малой выборке на большой ошибались примерно в одном обращении из десяти.
Лидеров нельзя разделить. Я сравнил модели первой пятерки попарно на одних и тех же обращениях: ни одна пара не различается статистически значимо. Значит, выбирать модель стоит по скорости и памяти.
У большинства моделей кэш ускоряет ответ в 2–3 раза. QVikhr с общим промптом отвечала за 3,8 сек, а без кэша втрое медленнее — за 12,4 сек. qwen3.5:2b без кэша замедлилась вдвое, с 2,9 до 6,8 сек. Исключения — gemma3, granite и YandexGPT: у них кэш почти ничего не дал.
Размер модели не имеет значения. Лучшая модель на 9B обогнала лучшую на 4B меньше чем на пункт, а все три модели на 8B оказались в рейтинге ниже лидеров на 4B.
d1-2B я проверил на тех же 326 обращениях и с теми же описаниями категорий, что и генеративные модели. Результат — 284 правильных ответа из 326 при 6,6 сек на обращение. По точности это уровень GigaChat и gemma3, статистически значимо d1-2B уступила только GLM-4-9B и qwen3.5:4b.
Главное отличие d1-2B от LLM — она возвращает вероятность ответа. И ей можно верить: в 151 ответе с вероятностью от 0,97 не было ни одной ошибки. Если отправлять человеку все, где вероятность ниже 0,9, модель сама закрывает 69% обращений с точностью 97,3%, а оставшийся 31% уходит на ручную проверку. Для саппорта, где ошибка дороже лишней проверки руками, это сильный аргумент.
Модели на 8–10B не оправдали ожиданий
С 8 ГБ в память поместились модели, которые в первой части в нее не укладывались, в том числе три российские. На короткой классификации они сравнялись с 4B (см. таблицу выше). На длинных задачах картина такая:
Модель | Ответы по базе знаний | Время на вопрос | Резюме: фактов из 32 | Время на документ |
|---|---|---|---|---|
T‑lite‑it-2.1 | 15 из 15 | 88 сек | 27 | 172 сек |
Qwen3-8B | 15 из 15 | 120 сек | 20 | 195 сек |
GigaChat 3.1 Lightning | 14 из 15 | 63 сек | 22 | 110 сек |
GLM-4-9B | 14 из 15 | 117 сек | 19 | 197 сек |
YandexGPT-5-Lite-8B | 14 из 15 | 82 сек | 19 | 194 сек |
Для сравнения: qwen3.5:4b | 14 из 15 | 56 сек | 28 | 90 сек |
Для сравнения: qwen3.5:2b | 14 из 15 | 34 сек | 20 | 50 сек |
Ответы по базе знаний и резюме документов моделями на 8–10B в сравнении с qwen3.5.
На базе знаний почти все справились одинаково. В резюме лучше других была T‑lite, она показала эффективность на уровне qwen3.5:4b. При этом в большинстве модели на 8–9B отвечали в 1,5–2 раза дольше qwen3.5:4b, а преимуществ в качестве ни одна из них не дала. Выборки были маленькие, поэтому результаты статистически не различаются. Перевес T‑lite в фактах следует назвать тенденцией, а не доказанным преимуществом.
GigaChat 3.1 Lightning стала самой быстрой из больших моделей. У нее 10B параметров, но на каждый токен работает только 1,8B (архитектура MoE). Поэтому она генерировала 8,7 ток/с, а плотные 8B‑модели — около 5 ток/с. Все параметры при этом лежат в памяти, так что по объему она самая тяжелая: 6,5 ГБ. Тот же принцип у Mixtral 8×7B от Mistral: из 47B параметров на каждый токен работают 13B.
Под нагрузкой GigaChat прошла тот же тест, что и 4B‑модели (таблицы в разделе про нагрузку). На коротких запросах с общим промптом она была на 10–20% медленнее QVikhr, а на длинных оказалась быстрее: 56 запросов в час против 48. GLM-4-9B я прогнал только в предварительном тесте по старой схеме, один раз: там она обработала 590–635 коротких запросов в час против 1062 у GigaChat, то есть почти вдвое меньше.
Падений не было, но модели на 5–7 ГБ занимали почти все 8 ГБ оперативы. На длинных запросах пик памяти доходил до 7,7 ГБ, и сервер снова начинал писать в swap.
YandexGPT-5-Lite-8B оказалась слабее остальных: 72% на большой выборке классификации, почти на 15 пунктов ниже ближайшей модели. JSON она при этом возвращала правильный, так что дело не в формате ответа.
Слабые стороны эксперимента и ограничения выводов
Обращения синтетические, эталон тоже делали модели. 326 обращений сгенерировала большая модель, эталон — большинство из трех голосов. Моя ручная разметка 50 случайных обращений совпала с эталоном в 45 случаях, но похожие на разметчиков модели могли получить небольшую фору. На живых обращениях точность будет другой.
Один сервер. Все цифры сняты на одном VPS с Xeon Gold 6148 и AVX-512. Steal был низким, но на другом хосте или на процессоре без AVX-512 скорость может заметно отличаться.
Маленькие выборки на длинных задачах. На базе знаний 15 вопросов, в резюме 32 факта: здесь видны только крупные различия.
Кэш промптов в Ollama может занять всю память. Внутри Ollama 0.35 работает llama.cpp с кэшем промптов в оперативной памяти, по умолчанию до 8 ГБ. У qwen3.5:4b каждый сохраненный промпт занимал около 43 МБ, и на 8-гигабайтном сервере кэш постепенно вытеснял все остальное. Отсюда шесть сбоев qwen3.5:4b в нагрузочном тесте и swap на длинных запросах. Помогает переменная окружения
LLAMA_ARG_CACHE_RAMвdocker-compose. В документации Ollama ее нет, это параметр самого llama.cpp:services: ollama: environment: LLAMA_ARG_CACHE_RAM: "1024"С лимитом в 1 ГБ я повторил нагрузочный тест qwen3.5:4b без кэша: сбоев не было, пик памяти 5,0 ГБ вместо 7,7, обмена со swap почти не наблюдалось. Цифры в таблицах сняты с настройками по умолчанию.
Кэш гибридных моделей непредсказуем. У qwen3.5 время с общим промптом зависит от того, сработает ли кэш, а это заранее не угадать. Для них надежнее ориентироваться на цифры без кэша.
Модели на 8–10B занимают почти всю память. Файлы на 4,9–6,5 ГБ оставляют на 8-гигабайтном сервере около гигабайта на контекст и систему. На длинных запросах T‑lite и Qwen3-8B снова уходили в swap (2,4 и 3,5 ГБ обмена за прогон). Для таких моделей 8 ГБ — необходимый минимум, а не запас.
Что в итоге брать под задачу
Задача | Модель | Почему |
|---|---|---|
Классификация обращений, один промпт на все запросы | QVikhr-3-4B | 89,9%, 3,8 сек на обращение, ~990 запросов в час, кэш работает стабильно |
Классификация обращений, у каждого запроса свой промпт | qwen3.5:2b | 89,6%, 6,8 сек без кэша, ~520 запросов в час |
Классификация обращений на российской модели | GigaChat 3.1 Lightning | 86,8%, 4,5 сек, ~820 запросов в час |
Классификация обращений, сомнительные случаи проверяет человек | d1-2B | 87,1% в целом, 6,6 сек; при пороге 0,9 сама решает 69% обращений с точностью 97,3% |
Ответы по базе знаний | qwen3.5:2b | 34 сек на ответ, ~105 ответов в час под нагрузкой |
Резюме документов | qwen3.5:4b или T‑lite‑it-2.1 | Больше всего фактов, 1,5–3 мин на документ |
Какую модель брать под задачу на VPS с 8 ГБ RAM без видеокарты.
Для текстовой рутины хватает модели на 2–4B и 8 ГБ памяти. Две вещи важнее выбора модели: общий системный промпт в начале запроса, который ускоряет ответ в 2–3 раза, и ограничение кэша промптов в Ollama — без него на сервере с 8 ГБ кэш со временем занимает всю память и модель начинает сбоить.
Для моделей на 2–4B с длинными текстами 8 ГБ RAM — разумный минимум. На 4 ГБ они падали и не вылезали из swap. На сервере рекомендую сразу ограничить кэш промптов через LLAMA_ARG_CACHE_RAM. Модели на 8–10B на таком VPS запустить можно, но в моих тестах они не дали выигрыша по качеству и работали медленнее. Если выбирать между лишним vCPU и лишней памятью, берите память: пятый vCPU ускорил работу лишь на 10–25%.
На что ссылаюсь в тексте
Zheng и др., 2023. SGLang: Efficient Execution of Structured Language Model Programs — переиспользование кэша общего префикса.
Miller, Anthropic, 2024. Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations — интервалы и парные сравнения моделей.
Yuan и др., 2024. LLM Inference Unveiled: Survey and Roofline Model Insights — пропускная способность памяти как узкое место генерации.
Pan и др., 2024. Marconi: Prefix Caching for the Era of Hybrid LLMs — кэш промптов у гибридных моделей.
Gilardi, Alizadeh, Kubli, 2023. ChatGPT Outperforms Crowd‑Workers for Text‑Annotation Tasks — разметка текстов моделью и людьми.
Jiang и др., Mistral AI, 2024. Mixtral of Experts — архитектура MoE.
