Запускаешь на vllm на несколько Майнинг картах и скорость 240 на параллельных запросах и агенту хватает и все работает, и агента норма ставь не опенговноклав, а гермес.
Статья сгенерировага нейросетью как прошла модерацию??? Qwen2,5 любой. Не пишет даже игру тетрис без ошибок с первого запроса с о тут говорить, только начиная с qwen3 32b, более менее точно все это раз, сами скрипты написаны дипсикомипо качеству кода шлак полный, а архитектура без использования докер образов одноразовая до первого бага...
Ещё лайфхак плата amd bc250 19к.р.( чип от ps5) на Авито,
Qwen3.5 35B-A3B: → 78,7 ток/с
4 карты cmp50 20g перепаяные 80G VRAM за копейки, работет vllm без проблем из коробки.
Запускаешь на vllm на несколько Майнинг картах и скорость 240 на параллельных запросах и агенту хватает и все работает, и агента норма ставь не опенговноклав, а гермес.
Cmp50hx Майнинг карты VLLM Qwen3.6 35B MOE, с перепайкой памяти в 20G, 78 токенов в секунду.
Minimax 2.5 локально карты АМД ми50, 8 карт по 32g, скорость 40 токенов, входящая 12000 токенов, работает на neithos gpu.
Статья сгенерировага нейросетью как прошла модерацию??? Qwen2,5 любой. Не пишет даже игру тетрис без ошибок с первого запроса с о тут говорить, только начиная с qwen3 32b, более менее точно все это раз, сами скрипты написаны дипсикомипо качеству кода шлак полный, а архитектура без использования докер образов одноразовая до первого бага...