Затащи меня в Harness. Часть 3: Принципы маршрутизации

[danilovmy]

на агентстких бенчмарках.

Именно на них...

Я не согласен что, "толщина обвязки" зависит от умности модели. Поскольку харнесс (статья вообще то про роутинг) - это агностичное к LLM инженерное решение или:

набор инженерных правил, помогающих не превратить роутер в коллекцию случайных исключений.

Вот как раз LLM-agnostic позиция и дает нам стабильность в работе  ии-пайплайна. Ну или стабильную ненадежность в работе.

p.s. Плиз, подправьте стиль llm-ке, которая пишет, очень нечеловекочитаемо.

[kobubu]

Как бы вы ни старались, вы не добьетесь от модели на 2,5 млрд параметров тех же результатов, что и от модели на 2,5 трлн параметров. Тут никакая обвязка не поможет. А вот "отупить" харнессом сильную модель можно. Но зачем?

Про "поправьте стиль ллмке" некрасиво, называть те же понятия чуть другими словами, не делает вас великим поэтом.