Сколько инструментов показывать языковой модели: гипотеза, которую перечеркнул замер

[Talos13]

https://habr.com/ru/articles/1080890/ ?

Маленькие модели будут путаться и с большим плоским списком, и с иерархической навигацией. Не стоит от них ждать эффективности, как вы её не ждёте, к примеру, от кухонных ножниц в задаче стрижки кустарников.

[vad_bel]

Qwen3.6 27B не такая уж и маленькая модель. Посмотрим, что получиться в итоге. Делать выбор из 10 секций она умеет. В каждой секции по 10 моделей. Итого 100 агентов - арсенал вполне себе для небольшой компании.

[Ka463]

Зависит от качества обучения модели а не размер, у меня 9б стравляется на ура с любыми инструментами, а тот же ГигаЧат ультра,косячит через раз.

[becefi]

Интересный тоже вопрос - где в запросе размещать презентацию инструментов. Если делать это в начале, то при изменении списка инструментов будет инвалидироваться промпт-кеш.

[vad_bel]

Хороший вопрос и выбора тут, к сожалению, почти нет: при нативном вызове инструментов схемы уходят отдельным параметром, и провайдер сам ставит их в начало префикса, а у локальных моделей шаблон чата вписывает их в системное сообщение. Так что поменялся набор — пересчитывается всё, что после него, включая историю. Как вариант, можно использовать подход некоторых открытых агентов: в начале запроса лежит неизменный короткий список инструментов (имя и строка описания), а полное описание нужного модель подгружает отдельным вызовом. Оно приходит в конец контекста как результат инструмента, и префикс не ломается. Ещё проще не пересобирать набор на каждой реплике, а держать раздел, пока тема действительно не сменилась. Позже попробую провести измерения таких вариантов.