Йоу! Дока мне сильно понравилась! Какой Бекенд используется? llama.cpp? Планируется ли реализация спекулятивного декодирования mtp? Как увеличить контекст? При загрузке большой модели типо qwen 3.6 27b или 35B пытается по таймауту переключится на CPU.
Йоу! Дока мне сильно понравилась! Какой Бекенд используется? llama.cpp? Планируется ли реализация спекулятивного декодирования mtp? Как увеличить контекст? При загрузке большой модели типо qwen 3.6 27b или 35B пытается по таймауту переключится на CPU.