Qwen3.6 27B MTP весит на +0.3 Гб больше, а даёт ускорение в ~2 раза. С 60 t/s до 130 t/s без потерь. Что такое MTP

./llama-server -m h:\LMS\unsloth\Qwen3.6-27B-MTP-GGUF\Qwen3.6-27B-UD-Q4_K_XL.gguf
--alias "Qwen3.6-27B-UD-Q4_K_XL-128K" -lv 4
-c 131972 --flash-attn on
--fit on --spec-type draft-mtp --spec-draft-n-max 4 -np 2
--mlock --no-mmap
--cont-batching --reasoning off --reasoning-budget 0
--batch-size 1024 --ubatch-size 256 --cache-type-k q8_0 --cache-type-v q8_0
--cache-reuse 256 --temp 0.5 --top-p 0.9 --min-p 0.03 --top-k 60 --repeat-penalty 1.12
--metrics --host 0.0.0.0
--port 1234

./llama-server -m h:\LMS\unsloth\Qwen3.6-27B-MTP-GGUF\Qwen3.6-27B-UD-Q4_K_XL.gguf
--alias "Qwen3.6-27B-UD-Q4_K_XL-128K" -lv 4
-c 131972 --flash-attn on
--fit on --spec-type draft-mtp --spec-draft-n-max 4 -np 2
--mlock --no-mmap
--cont-batching --split-mode tensor
--tensor-split 1,1 --reasoning off --reasoning-budget 0
--batch-size 1024 --ubatch-size 256 --cache-reuse 256
--temp 0.5 --top-p 0.9 --min-p 0.03 --top-k 60 --repeat-penalty 1.12 --metrics
--host 0.0.0.0 `
--port 1234

./llama-server -m h:\LMS\unsloth\Qwen3.6-27B-MTP-GGUF\Qwen3.6-27B-UD-Q4_K_XL.gguf
--alias "Qwen3.6-27B-UD-Q4_K_XL-128K" -lv 4
-c 131972 --flash-attn on
--device Vulkan0,Vulkan1 --fit on
--spec-type draft-mtp --spec-draft-n-max 4 -np 2 --mlock
--no-mmap --cont-batching
--reasoning off --reasoning-budget 0 --cache-type-k q8_0 --cache-type-v q8_0
--batch-size 1024 --ubatch-size 256 --cache-reuse 256
--temp 0.5 --top-p 0.9 --min-p 0.03 --top-k 60 --repeat-penalty 1.12 --metrics
--host 0.0.0.0 `
--port 1234

Qwen3.6 27B MTP весит на +0.3 Гб больше, а даёт ускорение в ~2 раза. С 60 t/s до 130 t/s без потерь. Что такое MTP

Прирост от MTP минимум х1.5

unsloth\Qwen3.6-27B-UD-Q4_K_XL
Win10, llama.cpp b9210, RTX 5070ti 16Gb (PCI-E 5.0 x16) + RTX 5060ti 16Gb (PCI-E 4.0 x4), i5-13600kf, 64Gb DDR5

Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder

Когда-то сам смотрел на на доску для двух V100. Но Volta уже legacy, драйвера до 580 и CUDA до 12.х. Сейчас на вторичке начали появлятся A100 32Gb в таком же формате, по характеристикам и сроку поддержки намного привлекательней, но ценник х 3.

Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder

Можно попробовать с MTP speculative decoding, там генерация должна получиться 1.5-2x быстрее.

Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder

Если модель немного не влазит в VRAM, то использование unified memory (GGML_CUDA_ENABLE_UNIFIED_MEMORY=1) быстрее обычного offload (у меня так получалось) + защита от OOM.