Comments 10
Вы не пробовали дистиллировать 8B модели, но под конкретные категории задач?
Например Qwen2.5:8B под задачи мониторинга сервера по SSH, как считаете, такое возможно?
Я не пробовал! Обязательно попробую после того, как дистилляцией закрою большую часть тем, которые мне нужны. Идея такая приходила, но больше в форме фермы: одна, скажем, 8B — (ssh_bash), 8B — (monitoring-deploy), 8B — (monitoring-fail2ban), сверху оркестратор. Думаю, за этим будущее — маленькие модельки, которые покрывают именно свою зону ответственности на 100% (один узел инфраструктуры).
Да, именно ферма из маленьких моделей, но строго заточенных под свои задачи. Мне кажется, пока обучаешь большую модель чему-то одному - теряешь дистилляцию в другом и так по кругу.
Что-то вроде принудительного MoE, когда мы заранее разделили модели на экспертов и запускаем по необходимости.
В прошлой статье я писал про свой горький опыт: в итоге в моём случае сработало только расширение датасета. То есть веса там настолько хрупкие, что просто любое дополнительное дообучение всё ломает! Поэтому, чтобы не сломать, ты можешь обучить один раз — и тут как раз зависит, насколько полный датасет у тебя. Поэтому и тема с дистилляцией появилась!
Ещё хотел сказать: вчера тестировал мою модельку и попросил её на сервере показать, какие есть занятые порты. Она сработала так: вызвала netstat — его не оказалось, и она переключилась на ss. То есть у неё есть уровень понимания. Вот получится ли у 8B так сделать — это интересно!
Я тестировал Qwen3.5-4B-MLX-4bit на подобных задачах через Hermes Agent.
Вот диалог:
Max: Проверь доступность
Hermes: Проверяю доступность сервера 192.168.3.220.
Hermes: 💻 terminal: “ping -c 3 192.168.3.220”
Hermes: Ping недоступен. Попробую проверку через SSH или netcat.
Hermes: 💻 terminal: “nc -zv 192.168.3.220”
Hermes: Netcat не может. Попробую прямой SSH или проверку через SSH key.
Hermes: 💻 terminal: “ssh -o ConnectTimeout=3 -o BatchMode=…”
🧠 memory: “+memory: “Сервер 192.168.3.220 дост…””
Hermes: Теперь проверяю доступность через SSH без проверки хост-ключей.
Hermes: 💻 terminal: “ssh -o StrictHostKeyChecking=no root@…”
Я никак не настраивал модели, запустил как есть и какой-то SOUL.md накинул в Hermes. Думаю при дополнительной настройке можно уместиться в эти 4B.
Подписывайся на канал (он есть в статье), я для вас обучил и выложил qwen3:8b (на канале) — можете помочь поисследовать, если конечно есть желание.
Зачем использовать 2.5 когда вышли уже 3.6?
Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM.Часть 3.Дистилляция