Выжать больше из локальных LLM. Ollama медленнее llama.cpp в 3 раза. UD_Q4_K_XL лучше чем Q4_K_M, а вес тот же и т.д

Если нужна нейронка как факт, можно попробовать что то из разряда 4B/8B, что то больше скорость уже будет не ахти. Модели 9B уже сносные к нормальному использованию, даже кодить могут. По скорости, на моем xeon gold 6146 12 ядер 24 потока qwen3.5 4B Q4 K M скорость была 21 токен в секунду, что вполне прилично