По внутреннему индексу автоматизации самих Anthropic, Claude уже ведёт 26% работы в области разработки ИИ: получает задачу на высоком уровне и выполняет большую часть работы самостоятельно, оставаясь под наблюдением человека. Более 90% работ выполняются как минимум при значительном участии ИИ. При этом полностью автономных направлений среди измеренных пока нет.
Для контроля за агентами Anthropic использует онлайн‑ и офлайн‑мониторы. Онлайн‑монитор проверяет 100% действий агентов до их выполнения и может заблокировать или скорректировать потенциально опасное действие. Все действия также поступают в офлайн‑монитор для последующего анализа.
За август система обработала более миллиарда решений исследовательских и инженерных агентов. Монитор заблокировал около 0,002% из них — примерно одно решение из 47 000.
Anthropic также впервые показала распределение вычислительных ресурсов. За неделю около 6% вычислений, использованных для AI R&D, пришлось на исследования безопасности, для исследований с участием ИИ доля составила около 12%.
Компания хочет публиковать такие метрики регулярно, чтобы со временем можно было отслеживать, насколько быстро ИИ начинает участвовать в разработке следующего поколения ИИ и успевают ли системы контроля за агентами за ростом их автономности.
