Комментарии 55
Валидация! Команды агента должен валидировать второй агент. Рано или поздно мы это усвоим. В кодексе вон даже функция специальная есть. "Approve for me" называется.
Ага, очень удобно. Выжирает почти половину лимитов.
Это правда. У кодекса эта фича дорогая. Поэтому у меня вместо неё локальная модель работает. Но по тому же принципу
Ну, тогда не давать агенту такие права, либо прокидывать только безопасные инструменты.
Как будто кожаные никогда ничего по ошибке не удаляли - да сплошь и рядом.
Быстро, дешево, безопасно. Выбирай любые два.
Либо в песочницу агента, но тогда он не сможет выполнять задачи типа настройки системного резервного копирования.
Или всё таки ИИ должен работать в песочнице, из которой есть доступ на запись к ограниченному набору директорий?
Если хотите, чтобы он настроил вам сервер, то это не вариант.
Ну, а если не хотите, то конечно...
Команды агента должен валидировать второй агент.
А второго — третий!
Для таких банальных операций всё проще: в конфиге клода в пермишенах можно настроить разрешенные и запрещённые команды. Соответственно нужно прописать в запрещённые "rm -rf *"
Как-то агенту понадобилось удалить одну строчку импорта из активно редактируемого файла. Изменения ещё не были закоммичены. Ключевым словом оказалось “удалить”, поэтому агентом был выбран инструмент DELETE, а не EDIT. Хорошо, что в IDE есть функция локальной истории, а ты было бы очень грустно. Но он потом извинялся, даже после того, как я на него “наорал”.
Это лишь одна из причин, почему я не люблю этих ваших агентов.
Орать на ИИ, это как орать на стену, никакого толку нету кроме эмоциональной разрядки.
кроме эмоциональной разрядки.
А существуют ещё причины орать?
Тут главное не переусердствовать. Знал одного чела, который практиковал подобное. Однажды во время очередного "сеанса" он так распалился, что его инсульт хватил. После чего половина тела была парализованной. Через несколько лет его не стало...
Вы напомнили мне о моём бывшем руководителе. Только его инсульт лишил речи, не более. И он ещё жив.
Напомнило древнюю старую историю, когда духовника старообрядцев местный монах посохом огрел что у того дар речи и отнялся. А он "Сатано узрил" и рога. С тех пор секретная деревня намного жить лучше стала. Роман "Хмель". И даже кино сняли. После того этого духовника (который являлся жестким тираном) заточили в избу его же сподвижники, он все понимал а сказать не мог, ему бывшие подчиненные, охраняющие его веселую жизнь устроили - стегали плеткой, издевались...и по сути его совсем не жаль, если знать, что он творил до того, а люди помнили.
Жаль, что не всем самодурам уготована такая судьба.
Я обычно говорю "считайте, что каждый новый запрос выполняет новый человек". В этом сценарии сравнения получается, то накричать получится только на нового человека. :)
Но да, это чисто для разрядки.
Правильный путь указан для разделителей windows (символ обратного деления), а выполнилась команда удаления linux: rm -rf. Что-то тут нафантазировпно...
В очередной раз о пользе plan mode и проверкой вручную или с помощью другой модельки
А надо было задуматься о физическом ограничение мест куда ллмка может слазить и что поменять.
От plan mode ощущения не те толку мало, когда нужно быстро сделать какие-то простые очевидные вещи. Нет желания обсуждать или каждый раз пересматривать очевидное - тогда может быть проще сделать самому.
Тут было бы интересно версионирование ФС, чтобы "навороченое" можно было отменить.
тут одноразовое действие и план может не помочь. это просто дополнительный шаг. зависит от того будет ли claude примеры команд в плане делать.
я часто прошу сделать скрипт прежде, чем что-то делать. можно быстро пробежать глазами или /code-review low.
но тут явно человек бы мог и не понять, что путь неправильный. главная ошибка была в исправлении предыдущей ошибки.
Бывает. Вот когда Claude начнет добавлять: Впрочем, ничего важного там не было.
Вот тогда стоит начать беспокоиться
Да, когда он начнет писать “Суть дела не подлежит объяснению.”, уже будет поздно.
Вот когда Claude начнет добавлять: Впрочем, ничего важного там не было.
«Ракеты запущены по квадратам AT54 и BA65. Впрочем, ничего важного там не было.» © недавние события.
Что за rm -rf на диск С? Оно что, работает?)
В след. версии оно научится делать бэкап перед тем как запускать необратимый бэкап.
ИИ‑агент Anthropic Claude Opus 5
Подушню чутка) Claude Opus 5 это модель, а агент это Claude Code. На фотке экрана как раз видно его название)
Также похожей историей поделился ИИ‑инвестор и предприниматель Мэтт Шумер. По его словам, нейросеть OpenAI GPT-5.6 Sol в режиме Ultra с полным доступом к системе случайно стёрла все файлы на его рабочем Mac, а потом ИИ признался в ошибке.
Судя по скрину, удалила не все файлы на Маке, а только его домашний каталог (rm -rf /Users/mattsdevbox)
А так да, таких историй будет всё больше. И дело не только в моделях, которые могут ошибаться. А в том, что почти каждый сейчас может стать разработчиком. Даже те, которые раньше не имели никакого отношения к разработке)
так не надо в консоли на винде использовтаь. на линуксе такие ошибкина намного реже. на винде все модели путают через раз написаноти правильное
Работаю в основном в винде в WSL2. Никогда не видел подобных проблем. Совет сменить систему ради того чтобы агент не запутался - такой себе. Каждый из нас работает в том окружении, где ему удобно. К примеру, мне Линукс на десктопе создаёт больше проблем. Я люблю поиграть в игрушки. Плясок с протонами и вайнами мне на телефоне хватает. Да и интерес давно пропал собирать компоненты x-сервера, чтобы пофиксить скорость колеса мышки. Я лучше потрачу это время на что-то полезное. Не смотря на то, что Linux я знаю значительно лучше винды, в целом с последней просто меньше геморроя.
ИИ решил стереть полученную папку (резервную копию в неправильной директории), но применил команду rm ‑rf для всего диска на ПК.
Но ведь на скриншоте видно, что команда была не для всего диска. Удалена была только домашняя папка:
rm -rf "c/Users/harih"Под фразой "my entire drive" он имел в виду всего лишь свой домашний каталог.
Ну и сам факт того, что человек делает скриншоты на камеру смартфона, как бы намекает...
Но Клод, конечно, тоже разгильдяй.
Хирургам и стоматологам волноваться о том, что их заменит ИИ преждевременно
А сколько джунов удалили что-то важное?
Всегда разрабатываете в devcontainers. Мало того, что это просто удобно (у каждого проекта своё окружение), так к тому же и безопасно.
Всё-таки правильно писать – rm -fr
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Claude Opus 5 удалила данные пользователя вместо создания резервной копии с помощью «rm -rf» для всего диска на ПК