CMF: новый формат для создания специализированных LLM моделей

[Uglevod]

Если например я переконвертирую Qwen3.5-4b (GGUF) видимо в q4tp (cmf), можно ли ожидать ускорение инференса ? ( на rx470 сейчас около 30-20 ток\с при 70000 контекста)

[Uglevod]

Было бы прощще заинтересоваться от пары троек примеров модель.квант.размер - запрос - ответ - скорость - какое железо.
Причем какой-то прям супер охват не нужен, увидеть в статье наглядную разницу между ответом GGUF Q4 и cmf версией при разных размерах и при каких скоростях.
У меня CUDA и да есть дотянутся до vulkan на радионе, но вот не имея хотя бы малейшего представления о предполагаемых резултатх, ну такое себе.
Всплывают только не особо внятные ответы на всяких B4_Q2.GGUF )

[Uglevod]

Запустил bonsai-8b-q1.cmf ну на процах норм. Цепанулся ии агентом и тут не получилось, что то. А, хотелось бы на мобилке нормальный tool calling ( мсп-ишный ).