Google выпустила DiffusionGemma — открытую языковую модель, которая генерирует текст как картинку

А как вы добились такой скорости на 12b? Я на 5060 ti 16 gb получил 20-30 ток/с: llama.cpp, скомпелированная из исходников, полностью загружена в VRAM

Open WebUI (с веб-поиском) + llama.cpp

Не проще ли установить Cherry Studio - без заморочек с докером и всл? Статья мне была интересна, спасибо!