Эксперимент по подстройке Gemma 3 для вызова процедур

[averagedigital]

можете меня поправить, но по-моему лучше взять 2b модель, хотя даже 2b ту мач для таких задач, тем более что вы её квантуете в итоге. Вам 16 gb базовой теслы на колабе в таком случае хватит с головой. В идеале instruct модель, какое-нибудь семейство qwen (не помню, есть ли у геммы instruct модели). Но 70 строк на лору с таким лоссом в проде… будет печально

[DSDenisov]

Конечно поле для экспериментов в выборе базовой модели большое. Я много работаю с Gemma 3 поэтому про неё решил написать. 70 примеров мало согласен. Немного дополнил статью тем, что мультимодальность сохранилась после объединения весов и предоставления модели через vLLM.

[Trojanskiy_kony]

Технически решение понятное, но вопрос по эксплуатации/отказоустойчивости (SRE).

Для action-taking агента минимальный контроль = ОКО:

1. Owner: кто de jure владелец инцидента в проде (роль/должность/юрлицо)?

2. Kill-switch: где execution-layer emergency stop (circuit breaker), не в промпте?

3. Observability: какие сигналы/метрики детектят аномалию и триггерят стоп ДО ущерба?

Если чего-то из ОКО нет — это Uncontrolled (Defective), а не “autonomous”.