GGUF в Студию!) Уже хочется прям пощупать отечественную разработку в реальных задачах, переплюнет ли она qwen 3.8 27b в кванте Q3 которая влазит в 16 гиг видеокарту с 124 тысячами контекста и буквально творит чудеса при таком то сжатии
Йоу! Дока мне сильно понравилась! Какой Бекенд используется? llama.cpp? Планируется ли реализация спекулятивного декодирования mtp? Как увеличить контекст? При загрузке большой модели типо qwen 3.6 27b или 35B пытается по таймауту переключится на CPU.
GGUF в Студию!) Уже хочется прям пощупать отечественную разработку в реальных задачах, переплюнет ли она qwen 3.8 27b в кванте Q3 которая влазит в 16 гиг видеокарту с 124 тысячами контекста и буквально творит чудеса при таком то сжатии
Йоу! Дока мне сильно понравилась! Какой Бекенд используется? llama.cpp? Планируется ли реализация спекулятивного декодирования mtp? Как увеличить контекст? При загрузке большой модели типо qwen 3.6 27b или 35B пытается по таймауту переключится на CPU.