Дообучаем Gemma 26B на MacBook с 24 ГБ памяти: как устроен голосовой помощник, который работает без интернета

[teraferma_io]

Про ремонтный проход поверх насадки не ожидал, что сработает лучше, чем учить заново. Если ещё не пробовали: llama-server умеет json_schema или GBNF, и поле tool можно зажать в enum из ваших инструментов плюс null. Тогда выдуманные инструменты и кривой JSON почти исчезнут, кроме случаев, когда ответ обрезается по лимиту, и на стенде останутся в основном смысловые ошибки. Путаницу фильма с музыкой это не вылечит, но станет видно, сколько из 63 непройденных у v4b вообще про формат. Много таких было?

[nshmyrev]

Лучше использовать дообученные модели - Espeech F5, PocketTTS Shtorm https://huggingface.co/ArtShtorm/Shtorm-PocketTTS-RU они быстрее и звучат лучше. Есть и квен дообученный https://huggingface.co/siriusfreak/qwen3-tts-12hz-1.7b-ru-stress-cf