Я пробовал несколько месяцев назад Qwen3.6 27B Q4. Мне не понравилось, Q6 был получше, но с OpenClaw было невозможно долго работать. Но 5060 Ti у меня тогда было 2 или 3.
Я из четырех 5060 Ti 16 gb через Oculink PCIe 4.0 x4 на Qwen3.8 27B FP8 с кешем 262к BF16 в vLLM под WSL2 (в Windows) пока только 31 т/с смог выжать, prefill около 150 т/с. Режим tensor parallelism, 2 потока можно (batch). nvfp4, говорят, быстрее и больше параллельных запросов можно. Кстати, может, не так вопрос задал. Но Qwen3.8 27B FP8 предложил мне 20 метров до автомойки пешком пройтись. Шумит под нагрузкой, но не сильно - это было очень критично, так как стоит в жилой комнате. Когда нет запросов, вентиляторы везде останавливаются, полная тишина. Ну и потребление всех карт все же минимальное. Для меня сумма моего стенда существенная, даже с учетом цен за карты 40-45 тыс. руб., так как это амортизация и потерянные проценты по депозиту. Облако по расчетам у Дипсика дешевле.
Установите LMStudio, она работает на базе llama.cpp, там очень гибкие настройки. Только учтите, что там по умолчанию для скачанных моделей выделяется место для KV-кеша с учетом параллельной работы (несколько запросов одновременно) - это увеличивает необходимое место для кеша в разы.
Можно использовать еще одну/две/три/четыре карту, подключенную через дополнительный PCIe x4 или слот M2 через Oculink в режиме pipeline parallelism. Некоторые материнские платы (особенно для AMD) поддерживают бифуркацию PCIe = x4 x4 x4 x4 или x8 x8 - к слоту PCIe с помощью пассивной платы за 1500 руб. можно подключить до 4-х устройств через Oculink. С квантованием кеша в программировании делать нечего, постоянно будут ошибки синтаксиса.
64 Гб - идеально для lued /Qwen3.8-27B-INT8-W8A16-DFlash2 с 262 тыс. токенами контекста
Я пробовал несколько месяцев назад Qwen3.6 27B Q4. Мне не понравилось, Q6 был получше, но с OpenClaw было невозможно долго работать. Но 5060 Ti у меня тогда было 2 или 3.
prefill около 1500 т/с - ошибся. при максимальной нагрузке - потребление каждой карты 5060 Ti до 100 Вт
Я из четырех 5060 Ti 16 gb через Oculink PCIe 4.0 x4 на Qwen3.8 27B FP8 с кешем 262к BF16 в vLLM под WSL2 (в Windows) пока только 31 т/с смог выжать, prefill около 150 т/с. Режим tensor parallelism, 2 потока можно (batch). nvfp4, говорят, быстрее и больше параллельных запросов можно.
Кстати, может, не так вопрос задал. Но Qwen3.8 27B FP8 предложил мне 20 метров до автомойки пешком пройтись.
Шумит под нагрузкой, но не сильно - это было очень критично, так как стоит в жилой комнате. Когда нет запросов, вентиляторы везде останавливаются, полная тишина. Ну и потребление всех карт все же минимальное.
Для меня сумма моего стенда существенная, даже с учетом цен за карты 40-45 тыс. руб., так как это амортизация и потерянные проценты по депозиту. Облако по расчетам у Дипсика дешевле.
Oculink PCIe 4.0 X4 доступен на многих материнках через M.2. Цена вопроса примерно 4500 руб. за все девайсы и кабели и еще стоимость отдельного БП.
Тут в другой теме был комментарий, что у кого-то 2080 22 Гб поработала недолго.
Если человек захочет работать с картинками и видео, то 4090 ему очень пригодится.
Не, сейчас тот же Kilo умеет редактировать файлы.
Я так понял, что с агентом можно параллельно в Visual Studio Code работать с этим же проектом. Сам еще не пробовал такой вариант.
Установите LMStudio, она работает на базе llama.cpp, там очень гибкие настройки. Только учтите, что там по умолчанию для скачанных моделей выделяется место для KV-кеша с учетом параллельной работы (несколько запросов одновременно) - это увеличивает необходимое место для кеша в разы.
Можно использовать еще одну/две/три/четыре карту, подключенную через дополнительный PCIe x4 или слот M2 через Oculink в режиме pipeline parallelism.
Некоторые материнские платы (особенно для AMD) поддерживают бифуркацию PCIe = x4 x4 x4 x4 или x8 x8 - к слоту PCIe с помощью пассивной платы за 1500 руб. можно подключить до 4-х устройств через Oculink.
С квантованием кеша в программировании делать нечего, постоянно будут ошибки синтаксиса.