Comments 8
Грустно что больше 8 параллельных запросов нельзя.
А что же вы time to first token не померяли? Когда есть cache hit и когда нет. Это метрика серьёзно влияет на пользовательский опыт.
8 параллельных — это не потолок железа, а наша настройка max-num-seqs 8 (взяли из community-рецепта и на ней остановились). KV-cache на боевой нагрузке пиково занимал 44.6%, так что запас есть — можно поднять и до 16, упор будет в память, а не в архитектуру. Просто выше 8 под своей нагрузкой не гоняли, поэтому в статью вписал проверенное, а не теоретическое.
Про TTFT — тут вы правы, метрика напрашивалась, я её упустил. Домерил сейчас на живом кластере. Холодный старт (cache miss) линеен по размеру prefill, держим ~2500–2900 t/s на dual-node:
~350 токенов — 0.37 с
~5K — 1.7 с
~12K — 4.2 с
~28K — 15.6 с
А warm (cache hit, тот же префикс) — 0.46 с независимо от размера контекста, потому что prefill просто пропускается.
То есть пугающие секунды вылезают только на холодном запросе с реально большим уникальным контекстом. У ресёрч-агента контекст переиспользуется между шагами (отсюда те самые 88% prefix-cache hit), так что на практике пользователь почти всегда видит warm — доли секунды. Чисто холодный запрос на 30K+ уникального контекста первый токен отдаёт за 15+ секунд, тут приукрашивать нечего.
спасибо за статью. я фанат ds-4-flash. полноценный агент на ней работает. но я с дипсик инференс беру. за копейки. но вопрос приватности для отдельных задач остается. вопрос: а kv кэш не пробовали скидывать на ссд по таймауту? дипсик так делают для экономии памяти насколько я знаю
Здравствуйте, Что бы посоветовали из опыта, похожий вариант : пару rtx spark в бэйрбонах сколхозить, с покупным сжо или лучше просто по старинке , intel w3500 и 8- ми канал - памятью забить по максимуму?
Здравствуйте! С W-3500 и 8-каналкой дела не имел — там лучше смотреть бенчи у тех, кто реально поднимал.
По GB10 скажу прямо: софт пока сырой, всё держится на комьюнити-форках — под DeepSeek-V4 вообще только jasl-форк, часть кернелов под consumer Blackwell ещё не завезли. Завести и стабилизировать можно (у нас в проде крутится), но повозиться с настройкой придётся. Под серьёзный стабильный инференс без плясок я бы смотрел зрелое железо — H100/H200 или старший Blackwell, где стек работает из коробки.
DeepSeek‑V4‑Flash на двух DGX Spark: как мы убрали очередь и получили multi‑user