ИИ. ЦПУ против ГПУ — Данные и Выводы

[weerf]

Обозначу пометки по статье. Которые мне показались важными. На истину не претендую.

1) Так как обозначен vllm, предположу: сборка на видеокартах уровня одинарных или сдвоенных v100 с авито/wb/... Или что было модно и доступно годами ранее. Влияет на выбор модели. Возможно nvfp4 надо заменить на иное. Даже 5 бит иногда на малых моделях заметно лучше 4 бит. Хотя если есть набор rtx 5090 - то не актуально.

2) Раз сравнение cpu и gpu хотелось бы видеть упоминание гибридного запуска. Когда MOE модель тяжелая, но требования к видеопамяти 3-5 ГБ.

3) По записи

>>role: "You are a professional information provider specialized in technical troubleshooting and clear explanations."

Такого быть не должно. Срочно изучить промт инжиниринг. Желательно по полноценным книгам или курсам с живыми преподавателями и сокурсниками. А не газетным и новостным вырезкам с wow эффектами. Считаю самым важным пунктом.

4) модель gemma 4 - сложная. После замены на аналог вроде qwen возможно не потребуется так сильно ужимать вывод по temperature и top_k

[Mag_reef]

Спасибо за ваше время!

1. На самом деле цель поста была немного глубже планировал сделать больше постов в итоге и перекрыть некоторые тесты.

2 можете скинуть информацию в личку, я с удовольствием запущую тестовый стенд и попробую реализовать с подробнастями.

3 О да я предполагал что гдето у меня есть проблема с адресацией роли, но опять таки даже в таком режиме он выдавал сносное, думаю хороший тюнинг и можно пускать в продакшн.

По поводу промпт инженеринга я отловил еще несколько багов уже, сейчас вроде все работает более грамотно, уже реализовал несколько конвеирных реализаций взаимодействия с ИИ лол.

4 я тестировал qwen тоже, с ним у меня получилось в итоге довести запуск 27b но конечно тюнинг самой модели помог бы получить отличные ответы, обвес наччинал работать, он смог написать функцию, на что то более тежелое не хватило.

К сожелению реальность поглатила меня, было много работы и хоть я продолжил работу на бекграунде над пет проэктами и я планирую после отпуска зарелизить несколько, надеюсь у меня будет больше свободного времени чтоб пройти все круги ада в плане тестирования решений на цпу =)