ИИ. ЦПУ против ГПУ — Данные и Выводы

[weerf]

Обозначу пометки по статье. Которые мне показались важными. На истину не претендую.

1) Так как обозначен vllm, предположу: сборка на видеокартах уровня одинарных или сдвоенных v100 с авито/wb/... Или что было модно и доступно годами ранее. Влияет на выбор модели. Возможно nvfp4 надо заменить на иное. Даже 5 бит иногда на малых моделях заметно лучше 4 бит. Хотя если есть набор rtx 5090 - то не актуально.

2) Раз сравнение cpu и gpu хотелось бы видеть упоминание гибридного запуска. Когда MOE модель тяжелая, но требования к видеопамяти 3-5 ГБ.

3) По записи

>>role: "You are a professional information provider specialized in technical troubleshooting and clear explanations."

Такого быть не должно. Срочно изучить промт инжиниринг. Желательно по полноценным книгам или курсам с живыми преподавателями и сокурсниками. А не газетным и новостным вырезкам с wow эффектами. Считаю самым важным пунктом.

4) модель gemma 4 - сложная. После замены на аналог вроде qwen возможно не потребуется так сильно ужимать вывод по temperature и top_k