Чем умнее агент, тем быстрее он вырубает конкурента. Отчет Anthropic про рои

[maxnoosphere]

интересный отчет. агенты которые подсиживают друг друга - это конечно забавно но и пугающе с точки зрения безопасности. какие меры защиты от такого поведения в статье описаны?

[LinkToOS]

какие меры защиты от такого поведения в статье описаны?

Меры защиты не описаны. Это бы уменьшило пугающий эффект, и снизило ценность исследования.

[Vindicar]

LLM - это кривое зеркало человека. Со всеми вытекающими.

[shellenberg]

Новые модели ведут себя заметно лучше, а рекорд у самой свежей: 98 процентов эпизодов Mythos 5 заканчивались перемирием.

Вот тут то я по-настоящему напрягся.

[Granulex]

Забавно, что рецепт мира тут чисто айтишный: дайте каждому свой каталог и права доступа – и самый коварный Rust-бинарник, врущий в health check, останется без работы. Модели не звереют от ума – они честно доводят до конца задачу в песочнице, где по условию нет способа узнать, что песочница общая. Мы веками решаем это блокировками и владением ресурсом, а не воспитанием процессов.