Comments 5
Интересно, а такое старое ядро Linux не тормозит ли всё шоу?
Замерил на 7.0.0-28. Генерация: Qwen на 8 клиентах 149 → 155, на 32 клиентах 160 → 159; Gemma на 32 клиентах 236 → 243. Embed 192 → 199 rps, rerank 7,0 → 7,3. Итого дельта ядра в пределах пары процентов, в рамках межпрогонного разброса, а провал на переходе через 8 одновременных запросов на новом ядре воспроизводится один в один. Сырые прогоны добавил в репо.
Сильная методология, особенно история с реранкером на четырех слотах по умолчанию. Это ровно тот тип бага, который прячется, потому что никто не сверяет живой /props, а верят флагам командной строки. По долине на переходе от 8 к 10 клиентам: похоже на classic scheduler granularity в бэкенде. Если внутренний диспетчер Vulkan/RADV раскладывает работу батчами кратными восьми - типичное число для wavefront на RDNA - то на 9-10 запросах часть работы неизбежно фрагментируется на неполный батч, отсюда и просадка, а на 32 все снова ровно ложится по восемь. Про спекулятивный декодинг результат ожидаемый для APU с общей памятью: там пропускная способность на матричное умножение упирается в bandwidth, а не в compute, и лишние проходы драфта на этом стеке просто отъедают тот же bandwidth budget, который нужен основной модели под батчем. И отдельное спасибо, что не подчистили опровергнутую гипотезу про минус 19 процентов у Gemma, а оставили ее в тексте с объяснением - это редкость и на порядок ценнее глянцевой статьи без единой ошибки.
«Потолки по-прежнему различаются на треть, 236 у Gemma против 178 у лучшего кванта Qwen».
Я тоже тестировал именно эти модели и столкнулся с тем, что tok/s здесь желательно сравнивать вместе с символами/с: у моделей разные токенизаторы и разный средний объём текста в одном токене. В моих тестах TTFT у Qwen часто был сопоставимым или даже ниже, хотя по tok/s он стабильно проигрывал. Поэтому разница в реальной скорости выдачи текста и пользовательской задержке может быть заметно меньше, чем следует из сравнения только токенов в секунду.
8192 токенов контекста, очень реалистичный сценарий использования для каждого из 32 запросов
Мини‑ПК на Strix Halo под параллельной нагрузкой: 236 tok/s на 32 одновременных запросах и три ошибки