Тест Qwen3.5 9b, Gemma 4 12b и Bonsai 27b на легенде пенсионного возраста GTX 1080 ti

если из за контекста так сильно страдает скорость советую использовать инструмент от гугла TurboQuant, сжимает его вес до х6 раз без потерь точности