Компания Anthropic объявила о важном обновлении своей Политики использования, которое вступит в силу 15 сентября. Изменения отражают растущие возможности ИИ-продуктов, в частности, агентов.
Цель обновления — предоставить пользователям более чёткое представление о правилах использования Claude по мере развития этой технологии. Anthropic даже описывает Политику использования как «живой документ», который будет продолжать меняться по мере развития рисков, связанных с ИИ.
Обновление добавляет в политику новый раздел, посвящённый возможностям агентов. Новые инструменты, такие как Claude Code и Computer Use, создают и риски. Политика использования теперь запрещает действия, в том числе вредоносные, направленные на компрометацию компьютеров, сетей и инфраструктуры. Тем не менее, компания продолжает поддерживать полезные сценарии использования в сфере кибербезопасности, такие как обнаружение уязвимостей.
Эти обновления соответствуют ранее опубликованному отчёту об угрозах, в котором были отмечены такие риски, как создание вредоносного ПО и кибератаки. В качестве дополнения Anthropic также опубликовала отдельную статью в Справочном центре с подробными примерами запрещённого использования агентов.
Помимо борьбы с опасностями агентного ИИ, компания ослабляет свои ограничения на политический контент, отменив всеобщие запреты на политические темы в пользу целенаправленных ограничений на мошенническое или деструктивное использование. В политике также разъясняется, что требования к высокорискованным вариантам использования, таким как человеческий контроль в юридических, финансовых и трудовых приложениях, применяются только к результатам, ориентированным на потребителя.
Компания заявила, что изменения были внесены в ответ на отзывы пользователей, которые считали старые правила слишком общими и ограничивающими возможности для легитимных исследований и написания текстов.
Anthropic сотрудничает с экспертами в данной области и гражданским обществом для постоянной переоценки своей политики.
Ранее компания развернула функцию памяти для своего чат-бота Claude. Чат-бот просматривает предыдущие разговоры, читает их и кратко излагает содержание, а затем спрашивает, хочет ли пользователь продолжить работу над тем же проектом.
