Как я проверил, что мой флот ИИ-агентов правда автономный

[danilovmy]

Скажите @Antondz , а все web3 разработчики пишут птичьим языком? Потому что это было сложно читать.

Всем кто не понял :

Автор не проверяет автономность своей системы агентов, как объявлено в заголовке,

Вместо этого он сделал для системы ИИ-агентов что-то похожее на unit-тесты правил поведения: формализовал несколько обещаний системы и обнаружил, выполнение залогировал, и по логам проверил, «Соблюдает ли его система агентов объявленные процессы» или нет.

В тексте упомянуто, что бенчмарк измеряет дисциплину координации, а не качество решений, но по мне это примерно, как сказать, что холодильник "холодит". И не проверить, что в морозилке ниже 0, а в овощах +6... или сколько там надо для овощей.

Автору успехов в бенчмарке. Я же пойду заводить Invariant Guardrails или AgentEvals, пока как-то понадежнее выглядит.

[yar3333]

Спасибо за расшифровку! :)

[riv9231]

Спасибо за пояснение, а то я уже хотел спросить у автора что вообще и зачем он делал. Похоже, что в этот раз, текст статьи написан человеком :-)

[Antondz]

Спасибо за комментарии! Наработок у меня много но вот писать о них понятнее я еще учусь - прошу понять и простить

по статье - про заголовок согласен бенчмарк меряет соблюдение объявленных процессов, а не автономность вообще. Формулировку поправлю

И аналогия с холодильником точная:) я оценил INV-2 на 7.7% это про «морозилка не морозит» VERIFY в протоколе это advisory-флаг, а не прекондишн коммита, и измеряется именно этот разрыв. В v1 он становится жёстким прекондишном для Tier-2, вот тогда это уже имеет значение

Invariant Guardrails и AgentEvals не смотрел - тут посмотрю - спасибо!

И перепишу вступление чтобы было понятно с первых строк что я тут хочу описать

[danilovmy]

Привет. Успехов в озвучивании наработок с удовольствием почитаю, что-то в этом есть.

По тексту. У меня сложилось четкое ощущение, что текст, в основном, писал НЕ человек, слишком стилистически косноязычно. Вероятно, это стоит дорабатывать.

В комментарии на который я отвечаю то же самое - первые 2 параграфа написано человеком. Потом блок - явно модель или кто-то, кто писал статью. Последние 2 параграфа написано человеком.

Если все наоборот, и сложный блок писал человек - то с этим надо работать... а может я просто придираюсь?

[danilovmy]

Сорри случайно минус поставил, вернуть не могу. Вернул в карму

[Antondz]

Благодарю
И за фидбек благодарю
есть над чем работать