Schema-Guided Reasoning: как научить языковые модели последовательно рассуждать

[@podvox23]

Рекомендации по выбору количества параметров модели даны относительно MOE-моделей или нет?

[@Martianov]

Спасибо за вопрос! Рекомендации по выбору количества параметров модели, особенно в разделе SGR против Function Calling, относятся к плотным моделям, а не к MOE

[@ShaMan76]

Как минимум, на первый шаг reasoning в схеме напрашивается использование thinking модели. Однако локальные thinking модели не умеют ни в SO, ни в FC, в отличии от instruct. Как решаете в SGR этот вопрос?

[@Martianov]

Хороший вопрос! Можно обойтись без специально обученной thinking-модели. Хитрость в том, что любую модель можно заставить рассуждать по шагам, если задать ей схему и формат. Например, Qwen3-30B-A3B и Qwen3-4B-Instruct-2507 вполне уверенно генерируют по SGR-структуре под VLLM через X-Grammar или Guidance, которые выравнивают вывод, особенно при генерации тулколов

[@4Denis]

Но вот действительно нужно уметь ловить баланс - между строгостью и свободой. При достаточно подробной схемой, давже имея пару предаврительных этапов, recall может удететь в ноль, модели часто сдаются (напр.: gpt-4o-mini). Да и что делать с validation ошибками (часто это бывает в виды недостатков смих схем и их описаний), уместен ли дополнительный фидбек луп? И что бы вы посоветовали, на примере sgr агентов из deep-research - для моделей типа gemini-flash/o/o-mini какие типы агентов более предпочтительно использовать?