Comments 2
на агентстких бенчмарках.
Именно на них...
Я не согласен что, "толщина обвязки" зависит от умности модели. Поскольку харнесс (статья вообще то про роутинг) - это агностичное к LLM инженерное решение или:
набор инженерных правил, помогающих не превратить роутер в коллекцию случайных исключений.
Вот как раз LLM-agnostic позиция и дает нам стабильность в работе ии-пайплайна. Ну или стабильную ненадежность в работе.
p.s. Плиз, подправьте стиль llm-ке, которая пишет, очень нечеловекочитаемо.
Как бы вы ни старались, вы не добьетесь от модели на 2,5 млрд параметров тех же результатов, что и от модели на 2,5 трлн параметров. Тут никакая обвязка не поможет. А вот "отупить" харнессом сильную модель можно. Но зачем?
Про "поправьте стиль ллмке" некрасиво, называть те же понятия чуть другими словами, не делает вас великим поэтом.
Затащи меня в Harness. Часть 3: Принципы маршрутизации