2. Рекурсивный движок llama.cpp на RTX 3050: тесты Qwen 32B и 7B Coder — прирост качества х3 и аппетиты по памяти

Можете попробовать Gemma 4 26B (Версию APEX I-Compact от mudler). У меня в LM Studio, на ноутбучной RTX 3050 4Гб, выходит на 10-12 т/сек при контексте в 100к.

Как я смог запустить 32b модель и сделать ее умнее в два раза на 3050

https://github.com/mudler/apex-quant а вот тут ребята считают что в модели можно сжать середину, оставив края менее квантоваными.