Хабр Курсы для админов
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Администрирование доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 16
Один пользователь: чат, боты, обработка текста и картинок. Модели 7–14B тянет комфортно, 24–27B в Q4 — впритык.
нет! 24gb вполне себе отлично крутят 27b / 35b-moe с контекстом 256к (сжатым турбоквантом который даже лучше по качеству чем f16 базовый)
Скрытый текст
и всё это при общем контексте 256к
а если поджать контекст и квантование до IQ4_XS то и 40b например Qwen3.6-40B-Deck-Opus-NEO-CODE-HERE-2T-OT-IQ4_XS.gguf может выдавать около 20 ток/с
да и moe можно вполне хорошо использовать на простых gpu 6-8 gb + 32gb ram (даже ddr4)
p.s. лично я не вижу сейчас моделей которым нужно больше 24-32gb, кроме топовых, типо glm5.2 / minimax3 / kimi 2.7 и тд, но там уже нужны значительно более дорогие железки для запуска
Про то что вторая карта почти всегда проигрывает - подтверждаю на своем опыте, только с другой стороны. Пробовал городить 2х16 через NVLink на старой станции, думал получу честные 32 гига. По факту распределение слоев модели между картами съедало процентов 15-20 скорости из-за обмена по шине, и это еще на плате с нормальным x8/x8. На потребительских платах, где второй слот урезан до x4, разница будет еще заметнее. Отдельный респект за честную оговорку про цены на июнь 2026 - память действительно скачет от месяца к месяцу, и статьи с фиксированными цифрами через год выглядят как курьез. Из личного опыта добавил бы: если берете БП, закладывайте запас не только под пиковую нагрузку карты, но и под просадки напряжения при холодном старте, у меня однажды именно на этом моменте сервер ушел в перезагрузку.
4х Nvidia V100 на 32ГБ в NVLink-е - наше всё.
Что я сделал не так, когда в древний потребительский комп с мамой Z390 aorus xtreme с 64Гб RAM, Intel i7-9700K воткнул две RTX5060Ti по 16Gb VRAM каждая? Которые по 50К руб. на маркетплейсах. Понизил им мощности до 80%, чтобы не грели друг дружку. Для инференса скорости хватает за глаза. Они обе под нагрузкой пашут максимум под 60 градусов. И это я еще не распечатал задуманный на старте пластиковый диффузор от второго фронтального вентилятора в щель между ними. Сказал себе, что не греются и так сойдет. А с диффузором, который будет работать как эжектор, вообще можно и до 40 градусов снизить, но это я сделаю, когда карты на обучение включу. Да, блок питания в старом ПК был 1000 и голд, а по умной розетке нагрузки вообще мизерные.
Не пугайте людей, можно и несколько карт. Даже через райзер. И x8 вполне себе норм, и pci-4. Опыт. И даже оффлоад части модельки в старую DDR4 64Гб не такое уж и бутылочное горлышко.
А tensor parallelism с CUDA отрабатывает, но в comfyUI надо шаманить, но там две карты в конвейере друг за другом даже лучше, чем две в параллельке.
Языковые просто тараторят так, что иногда напрягает.
И это теперь самый рабочий "сервер" именно в кавычках, так как он пока на винде. А как переедет на линукс, то я уберу кавычки.
И последнее, Q4, особенно MoE подводили на задачах. Пришел опытным путем к Q8, самый край Q5.
Извините, но Ollama так себе совет. Две настройки в два ряда.
Хорошо, оставим Open WebUI для сотрудников. Но лучше если кто вдруг как я с "сервером" на винде, то стартуйте с llama.cpp (край - LM Studio сразу как OpenAI API сервер, всё одно он - надстройка над llama.cpp но покручее Ollama) и к нему уже прикручивать или Open WebUI или всякие RAG/KG/и т.д. агентские пайплайны и прочие модные клиенты которые, по своей сути тоже простые обертки к вызовам API с разной степенью продвинутости.
Про llama.cpp верное замечание. По опыту таже ollama может давать двухкратное проседание по сравнению с правильно отстроенным llama.cpp.
Не расскажете, как заставить параллельно две карты работать? По факту в той же llama.cpp на вашем и моем железе доступен только tensor-split в режиме layer, то есть последовательная обработка. И кстати поэтому нет большого смысла ограничивать потребление - один фиг в среднем никогда не будет максимального потребления - видеокарты работают по очереди.
По точности стоит взглянуть на специальные квантования моделей. Для той же qwen3.6-35b есть квантования от fraQtl/apex/duoneural. Если совсем по простому - когда квант по слоям не равномерный, а такой, чтобы найти баланс между размером и точностью.
У меня похожий конфиг, но на ddr5 и АМ5, запускаю модели на Q8 - приятней работают. Но вот контекс в 32 конечно не влезает и он уезжает в ОЗУ. а потом начинается сжатие (иногда по несколько минут приходиться ждать) и после сжатия модель уже тупит. Это с моделями типа 27B. Откатываться на мелкие модели? Как ни крути а под большой контекст памяти не хватает, а ОЗУ тормозит процесс.
Спасибо! Вот такая статья мне как раз в тему сейчас! Думаю о сборке железа под локальную LLM для работы
Мой опыт, характеристики сервера (Hardware Specifications):
GPU:
• Модель: NVIDIA RTX 3060 • VRAM: 12 GB • Тип: GDDR6
CPU:
• Модель: Intel Core i5-4570 • Ядра: 4 • Поток: 4 (без Hyper-Threading) • Архитектура: Haswell (2013)
RAM:
• Объём: 32 GB • Тип: DDR3
Software:
• MX Linux 25.2 XFCE, systemd
• llama-server: используется для инференса
Примечания:
• модель Qwen3.5-9B-UD-Q6_K_XL.gguf 8.16GB
• VRAM 10.57 GB, 36 tokens/sec
• CTX=“98304”, BATCH=“128”, NGL=“48”, EXTRA=“–parallel 1 --no-mmap”
• клиенты - Jan (jan.ai), Thonny, Doka, самописные агенты
• в работе с 02.06.2026
Подскажите пожалуйста, не лучше ли в таком случае условный Mac Studio M3-M4, с 36-48ГБ памяти. По цене 220-330к (судя по моему авито). На борту тотже linux.
Есть точки зрения за, и против. Поскольку я против, выскажу свои аргументы:
Скорость работы на Маке будет значительно медленнее;
. Отсутствует возможность апгрейда;
Возможность работы с изображениями и особенно видео не сравнится с такими на карте nvidia.
Если бы я сейчас с нуля собирал систему, то собирал бы так:
Мать на сокете 1851 (150 у.е)
Процессор с видеоядром под ИИ (200 у.е)
32/48гб памяти ддр5 8000мгц (500/800 у.е).
на таком процессоре с такой памятью можно будет запускать модели до 35-40В с вполне адекватной скоростью, практически на уровне новомодных ИИ-ПК, но намного бюджетнее.
И, что немаловажно, есть слот pci-e для видеокарты. Можно поставить сразу, можно подкопить, а можно пока работать на ОЗУ в ожидании обещанных новинок 50хх серии, обещают интересные варианты. Ещё есть такая карта как 3090, б/у по стоимости как новая 5060ти на 16гб, которая для работы в сервере 24/7 спорный вариант, а вот для дома весьма популярна.
4 карты cmp50 20g перепаяные 80G VRAM за копейки, работет vllm без проблем из коробки.
Ещё лайфхак плата amd bc250 19к.р.( чип от ps5) на Авито,
Qwen3.5 35B-A3B: → 78,7 ток/с
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Собираем сервер под свой локальный ИИ: сколько нужно VRAM и почему одна видеокарта лучше двух