Как я тестировал 9 LLM на Strix Halo: 29 запусков, 22 рабочих кода и одна неожиданная победа MoE

Когда у тебя на руках оказывается AMD Strix Halo с 128 ГБ унифицированной памяти, возникает естественный вопрос: а что из современных LLM на нём реально работает, а что — только красиво выглядит в бенчмарках?

Я провёл 29 запусков, протестировал 9 моделей, 5 архитектур, 16+ конфигураций спекулятивного декодирования и сгенерировал 29 HTML-страниц с Three.js-сценой Статуи Свободы — чтобы оценить не только скорость, но и качество кода. Это лучшая выборка из всего того количества сравнений и анализов, что я делал: все прогоны на одном железе, одном бэкенде, одном seed и одном промпте.

Вот что из этого вышло.

Железо и стенд

• CPU: AMD Ryzen AI MAX+ 395 (16 ядер / 32 потока)

• iGPU: Radeon 8060S (gfx1151, RDNA 3.5)

• Память: 128 ГБ unified

• Backend: Vulkan (RADV STRIX_HALO)

• ОС: Linux

• Билд: llama.cpp + Unsloth build

• Настройки: ttm.pages_limit на максимум

Все замеры — на Vulkan, потому что ROCm на gfx1151 всё ещё слишком сырой. И да, это важно: поведение q8_0 KV и плотных моделей на Vulkan сильно отличается от дискретных GPU.

Что тестировалось

Скорость генерации: главные цифры

Качество кода: где скорость обманывает

Я сгенерировал 29 HTML-страниц с Three.js-сценой Статуи Свободы и оценил каждую по 10-балльной шкале — на работоспособность, структуру, UI, модель.

Ключевой вывод: скорость и качество кода коррелируют слабо. Qwen3.6 даёт 73 t/s и 9.6/10, а Ornith-Q8 с n=1 — 58 t/s, но 8.8/10. При этом Agnes-3.0 с 7.93 t/s не дала вообще ничего пригодного.

Что реально работает на Strix Halo

1. MoE — единственный путь к скорости

Плотные модели с 27–32B активных параметров дают 8–33 t/s. Это неприемлемо. MoE с 3–5B активных — 46–73 t/s.

2. MTP + n-gram — лучшая стратегия

Комбинация --spec-type draft-mtp,ngram-mod на Qwen3.6 дала 73.22 t/s — абсолютный рекорд. N-gram-модуль находит длинные повторы в тексте и предлагает целые куски (mean len до 14.90), а MTP верифицирует их.

3. Q6_K + f16 KV — оптимум на Vulkan

q8_0 KV на Vulkan даёт -25% tg. На дискретных GPU картина другая, но здесь — так.

4. DFlash2 — рекордный mean len, но не скорость

OrcaSAQ с DFlash2 даёт mean len 5.38 — лучший результат. Но tg всего 40 t/s. DFlash2 зависит от внешней draft-модели (1.92B), и с SWA не зависит от длины контекста — 40 t/s и на 32k, и на 262k.

Что не работает

• Agnes-3.0-Flash — 7.93 t/s. Плотная модель, 32B активных, 72 слоя. Непригодна.

• q8_0 KV на Vulkan — стабильно -25% tg.

• Ornith-Q8 с n=3, p=.00 — acceptance 0.328. MTP-голова плохо обучена.

• Xing4.0 — код 8.2/10, много опечаток, не запускается.

• Плотные модели в целом — 27–32B активных на Strix Halo не работают.

Рекомендации

Для максимальной скорости

Qwen3.6-35B-A3B-Uncensored-Q6_K
--spec-type draft-mtp,ngram-mod
--spec-draft-n-max 2 --draft-p-min 0.80
--temperature 0.6 --ctx-size 524288
tg: 73.22 t/s

Для максимального качества кода

Ling-3.0-flash-abliterated-APEX
--spec-type draft-mtp
--spec-draft-n-max 3 --draft-p-min 0.00
--temperature 0.6 --ctx-size 210000
tg: 46.67 t/s, код: 9.7/10

Для баланса

Cyber-Tiel-Coder-35B-A3B-MTP-Q6_K
--spec-type draft-mtp
--spec-draft-n-max 1 --draft-p-min 0.50
--temperature 0.6 --ctx-size 210000
tg: 60.84 t/s, acceptance: 0.906, код: 9.6/10

Итоговый рейтинг

Заключение

Strix Halo + Vulkan — отличная платформа для локального инференса, но с оговорками:

1. MoE с 3–5B активных — единственный способ получить 50+ t/s.

2. MTP + n-gram — лучшая стратегия (73.22 t/s).

3. Q6_K + f16 KV — оптимальная квантизация.

4. DFlash2 — рекордный mean len (5.38), но медленнее.

5. Плотные модели — непригодны.

6. q8_0 KV — -25% tg на Vulkan.

7. Мультимодальность — работает на Qwen3.6/Qwen3.8-Flash.

Лучший баланс: Qwen3.6-35B-A3B (MTP + n-gram) — 73.22 t/s, код 9.6/10. Лучшее качество кода: Ling-3.0 — 9.7/10. Лучший acceptance: Ling-3.0 (n=1, p=.75) — 0.984. Лучший mean len: OrcaSAQ DFlash2 — 5.38.

Если у вас есть вопросы по конкретным конфигурациям или хотите увидеть сырые логи — пишите в комментариях. Все замеры воспроизводимы: seed 42, одинаковый промпт, одно железо.