Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 9
Для таких конфигураций, "много RAM - мало VRAM", придумали архитектуру MOE. Та же гемма 4 26B будет работать ничуть не хуже, чем 12B, а по идее даже лучше. И будет при этом даже умнее. А ещё нормально поедет MOE Qwen 3.6 и Flint. Но не через LMStudio, он в MOE не умеет, надо напрямую в llama.cpp запускать, любая нейросеть расскажет как.
Спасибо за отличную наводку на архитектуру MoE и llama.cpp! С моими 128 ГБ RAM это действительно классный вариант для экспериментов, если нужен максимальный "интеллект" модели.
Единственный нюанс, который меня смущает - это скорость. Полноценный запуск большой модели через обычную оперативную память (RAM) упирается в её пропускную способность. Скорость DDR5 на ноутбуке всё-таки в разы ниже, чем у быстрой видеопамяти (VRAM). Боюсь, вместо комфортных 12 токенов в секунду я получу медленную "печатную машинку" на 2–3 токена, если не хуже.
Примерно так у меня получилось с Qwen2.5-72B-Instruct. Думает как "доктор наук", но на скорости 1 токен в сек.
Кто вам сказал что LMStudio в MoE не умеет? Может вы просто не умеете его готовить?
Очень даже может быть. Подскажете как это правильно делать?
Сейчас вот зашёл проверить, без каких либо специфичных настроек, если просто указать модель и загрузить её с настройками по умолчанию, LM Studio даёт у меня на gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf 23 токена в секунду, а llama.cpp 59. Если лламе прикрутить MTP, и прочий мелкий тюнинг, типа –moe-cache-mib, то она на мелком контексте уходит за 100 tps. Где потыкать в LM Studio чтоб её взбодрить? Потому что сейчас она как будто не оптимально с моделью работает.
Друзья, вижу, что кто-то скорректировал мне карму в минус. Если вы не согласны с использованием ThrottleStop или у вас есть более элегантное решение для ограничения CPU при работе с LLM - пожалуйста, поделитесь в комментариях! Я открыт к критике и готов дополнить статью вашими советами.
2 Автор - попробуй модели семейства Ornit - я думаю будешь приятно удивлен. Я пробовал твои модели, и медленно и тупо до невозможности. Пробуй Орнит 1.5
ищи models\Ornith-1.5-9B-Q4_K_M.gguf и включи MTP - скорость существенно вырастетвот тебе мой батник для запуска (как шпаргалка)
@echo off title Ornith 1.5 9B Q4_K_M MTP [8Gb Vulkan GPU] cd /d “C:\llama”
set GGML_VK_DEVICE=0
llama-server.exe ^ –model “models\Ornith-1.5-9B-Q4_K_M.gguf” ^ –host 0.0.0.0 ^ –port 8080 ^ –ctx-size 65000 ^ -ngl 99 ^ –api-key “12345” ^ –cache-type-k q8_0 ^ –cache-type-v q4_0 ^ –reasoning off ^ –temp 0.3 ^ –top-p 0.95 ^ –top-k 20 ^ –repeat-penalty 1.05 ^ –repeat-last-n 512 ^ –jinja ^ –flash-attn auto ^ –ubatch-size 512 ^ –batch-size 256 ^ –threads 6 ^ –threads-batch 6 ^ –parallel 1 ^ –spec-type draft-mtp ^ –spec-draft-n-max 2
pause
Я просто оставлю это здесь.
https://github.com/Niko1221/Strata
В сегменте легковесных бытовых моделей от 7B до 14B параметров сейчас разворачивается самая жесткая битва. Благодаря аппаратному прорыву и массовому внедрению CoT (Chain-of-Thought / встроенного рассуждения), эти модели в тестах на логику и математику начали вплотную подбираться к старым коммерческим гигантам уровня GPT-4. Ниже приведено прямое сравнение актуальных результатов тестирования и расклад сил среди SOTA-моделей в этом весе. Сравнение бенчмарков в категории от 7B до 14B параметров Данные агрегированы на основе Hugging Face Open LLM Leaderboard и слепых тестов LMSYS Chatbot Arena. Значения указаны для тестов MMLU-Pro (Сложные знания), MATH (Математика / Логика) и IFEval (Следование промпту). Qwen 2.5 / QwQ (14B) MMLU-Pro: около 52-54% MATH: около 60-62% IFEval: около 83-85% Статус: Абсолютный SOTA и топ по мультиязычности. Gemma 4 (12B-it) MMLU-Pro: около 50-51% MATH: около 54-56% IFEval: около 81-82% Статус: Мультимодальность без энкодеров и высокая скорость. Llama 3.3 / Llama 4 Scout (8B) MMLU-Pro: около 45-47% MATH: около 46-48% IFEval: около 79-81% Статус: Лучшая экосистема и стабильность. Mistral / Nemo (12B) MMLU-Pro: около 43-45% MATH: около 38-40% IFEval: около 76-78% Статус: Стабильная рабочая лошадка для RAG-систем. Кто сейчас реальный ТОП и SOTA? Если судить по бенчмаркам и отзывам инженеров, лидерство делят две модели, но под разные сценарии:
Qwen 2.5 / Qwq-14B — Абсолютный SOTA в логике и мультиязычности Китайские модели от Alibaba прочно удерживают лидерство в категории малого веса. Их CoT-версии (серия QwQ) демонстрируют аномально высокие показатели в бенчмарке MATH для моделей такого размера. Они думают глубже и совершают меньше логических ошибок. Для русского языка это безоговорочный лидер, так как модель нативно понимает русский синтаксис и не страдает от языкового сдвига.
Gemma 4 (12B-it) — SOTA в мультимодальности и скорости Google совершил технологический прорыв, лишив модель классического Vision-энкодера. Это первая по-настоящему всеядная модель в весе 12B. Она напрямую воспринимает звук и картинки, тратя на это минимум ресурсов. Кроме того, за счет встроенных архитектур MTP (Multi-Token Prediction) она выдает рекордную скорость генерации на локальном железе — вплоть до 120 и более токенов в секунду. Главный минус заключается в том, что она уступает Qwen в качестве работы с не-английскими языками.
Llama 3.3 / 4 (8B) — Народный стандарт Модели от Meta традиционно отстают в чистой математике от Qwen, но берут свое за счет идеального баланса. Они показывают самый предсказуемый и послушный JSON-вывод, что подтверждается высоким баллом на IFEval. Если вам нужно встроить модель в кодовую базу как агента, который строго следует инструкциям и не уходит в бесконечные CoT-размышления, Llama остается эталоном. Резюме сообщества Если вам нужна локальная модель для математики, кодинга и безупречного русского языка — выбирайте Qwen 2.5 / QwQ (14B). Если в приоритете анализ картинок, аудио, скорость инференса и локальная работа с английским текстом — Gemma 4 (12B) на текущий момент не имеет равных по архитектурной изящности.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как заставить модель gemma-4-12B-it QAT почти «летать» на ноутбучной RTX 2000 Ada, сохранив холод и тишину