Если решился копать всерьез, то советую пощупать Bonsai-27B-1q-gguff.
Это тот же qwen, но аппаратно переученный на тернарные веса.
В твоем кейсе - это буст и аппаратный, и интеллектуальный. Модель Бонсай 1q дает то же качество что и q4 (на самом деле около 92%), но при этом в 4 раза компактнее и в 10 раз быстрее в инференсе. И твой форк для llama возможно сможет сравнять её в качестве по сути к q8.
Дружище!
Ты делаешь классную штуку!
Читаю уже второй твой пост.
Молодец, что продолжаешь!
Если решился копать всерьез, то советую пощупать Bonsai-27B-1q-gguff.
Это тот же qwen, но аппаратно переученный на тернарные веса.
В твоем кейсе - это буст и аппаратный, и интеллектуальный. Модель Бонсай 1q дает то же качество что и q4 (на самом деле около 92%), но при этом в 4 раза компактнее и в 10 раз быстрее в инференсе. И твой форк для llama возможно сможет сравнять её в качестве по сути к q8.