Первый взгляд на Ryzen "AI" MAX+ 395 ч.1
Привет Хабр, свой первый пост я посчитал полезным сделать так как интерес к локальному инференсу растёт и в оптику искателей железа скорее всего попадал AMD APU Strix Halo - Ryzen AI MAX+ 305 - самый производительный из всего поколения.
Спецификация которого тут https://www.amd.com/en/products/processors/laptop/ryzen/ai-300-series/amd-ryzen-ai-max-plus-395.html
До меня добрался Gmktec Evo X-2 в комплектации с 128 ГБ RAM
https://www.gmktec.com/products/amd-ryzen™-ai-max-395-evo-x2-ai-mini-pc
Сразу оговорюсь, что пока ко мне едет второй диск под отдельную систему, все тесты представленные ниже проведены на поставляемой в комплекте Windows 11 Pro
Сборка 26100.4061
Adrenalin Edition 24.20.64 (Драйверы от AMD)
HIP 6.2.4
Processor: AMD RYZEN AI MAX+ 395 @ 3.00GHz (16 Cores / 32 Threads),
Motherboard: GMKtec (1.04 BIOS),
Memory: 8 x 16384MB 8000MHz Micron MT62F4G32D8DV-023 WT,
Disk: 1908GB ADATA LEGEND 900,
Graphics: AMD Radeon 8060S 4GB,
Audio: Senary Audio + AMD Streaming Audio Device + AMD HD Audio Device,
Monitor: LG ULTRAINE,
Network: ASIX AX88179 USB 3.0 Gigabit + Realtek Gaming 2.5GbE + Bluetooth Device (Personal Area )
OS: Microsoft Windows 11 Pro Build 26100, Kernel: 10.0.26100.4061 (x86_64), Display Driver: 32.0.12064.27, OpenCL:
OpenCL 2.1 AMD-APP (3628.0), File-System: NTFS, Screen Resolution: 3840x2160
Начнём с не слишком полезного Geekbench 6
https://browser.geekbench.com/v6/cpu/12122441 - CPU perf mode geekbench не догрузил процессор
https://browser.geekbench.com/v6/compute/4211554 - perf mode 8 GB vRAM Vulkan
https://browser.geekbench.com/v6/compute/4211562 - perf mode 8 GB vRAM OpenCL
Phoronix test suite
Так как я ненастоящий сварщик обзорщик, разобраться как все тесты валить в одну запись в базе пока не сдюжил
Кодирование из Av1 в разные качества кодека Av1 с помощью транскодера SVT
https://openbenchmarking.org/result/2505227-NE-PORTAL20141
https://openbenchmarking.org/result/2505217-NE-SMALLPT0104 - smallpt
https://openbenchmarking.org/result/2505218-NE-HASHCAT0141 - hashcat
Из интересных наблюдений: тенденция, что актуальная Ubuntu производительнее Windows 11 в десктопных задачах сохраняется https://openbenchmarking.org/result/2505077-NE-2505068NE32&sgm=1&sor&swl (не мой тест)
Конечно мы тут собрались не ради синтетики, а ради тестов в задачах локального инференса и тут как раз есть некая сложность в виде как я понял отсутсвия gfx1151 kernel для данного APU
Однако CPU инференс в LM Studio для lmstudio-community/Qwen3-235B-A22B-GGUF/Qwen3-235B-A22B-Q3_K_L-00001-of-00003.gguf
Позволил получить для запроса (Слова: 200 / Знаки с пробелами: ~1000)
4.10 tok/sec /1191 tokens / 2.93s to first token / Stop reason: EOS Token Found
Однако окно контекста забивается буквально от пары запросов, эксплуатировать такую модель для прикладных задач, а не ради факта локального инференса едва ли будет возможным
Что же касается генерации, то для этого потребуется поддержка GPU, так как процессор совершает менее 1 итерации в секунду, что слишком медленно не только для видео, но и для фото.
С вопросами и предложениями что ещё и как именно протестировать можно сюда
Железка прикольная, многое ещё предстоит в ней проверить, пожелания/предложения - welcome в комментарии