Я женщина, поэтому даже в технической области я спокойно могу говорить на эти темы (надеюсь, в комментариях не обозлятся за это высказывание).
Ответьте себе на вопрос: где проходит ваша граница доверия с вашим агентом? Что вы готовы ему простить? А что для вас жёсткий ред-флаг?
Готовы ли вы делегировать агенту задачу, в которой вы не разбираетесь, и взять на себя ответственность, если что-то пойдёт не так? А если наоборот, всё будет очень хорошо — искренне признать, что по факту это не совсем ваш труд?
Это в целом философские вопросы, о которых можно спорить бесконечно, и ответ у каждого свой. Я доверяла и иногда до сих пор продолжаю доверять и осознанно(почти всегда) иду на риск, потому что живём один раз, правильно?
У меня есть несколько смешных кейсов, которые я вам сейчас расскажу, но смеяться вы, скорее всего, не будете.
Лот номер 1: ДЕЛЕГИРОВАНИЕ ПРАВ АДМИНИСТРАТОРА
Я сидела, вайбила дома, никому не мешала, и передо мной встала проблема: мне нужна видеокарта от моего компьютера, чтобы тренировать модель, а я лежу на диване и не хочу вставать. Чё делать? Встать всё-таки пришлось, потому что для подключения по SSH мне понадобилось ввести
ipconfig
чтобы узнать айпишник компьютера, а затем через PowerShell установить и запустить OpenSSH Server (да-да, именно сервер — на машине, к которой подключаешься, нужен сервер, клиент стоит на той, с которой подключаешься). Я пообещала себе, что это первый и последний раз за сегодня, когда я встаю с дивана, чтобы разобраться с компьютером, и больше за него не сяду. В общем, возникли какие-то проблемы, вникать в которые я не хотела. Понимаете, да? Вот эта вот ОШИБКА ВЫЖИВШЕГО: да что ж такого может произойти дома, я же ввожу какие-то три команды, что страшного может случиться?
Ну, если это не rm -rf, то почти всё поправимо. Но не факт, что обратимо.
В общем, не получилось у меня настроить вход по ключу: командная строка ругалась, а Клод начал методично подкидывать причины:
компьютер недоступен (доступен);
пользователь не существует (существует);
вы неправильно вводите пароль (у меня нет пароля).
И, естественно, начал меня дико бесить. Казалось бы, действие — ну просто примитив (я даже сама знаю, как всё это делать, но у меня голова не тем занята, мне надо ТРЕНИРОВАТЬ). В общем, он, видимо, тоже психанул и сказал:
Поменяйте пароль на пользователе, я чувствую, что вы меня обманываете. И скинул команду.
А теперь вопрос всем амбассадорам винды: что будет, если сбросить пароль администратору через командную строку? Что критичного может случиться?
Ваши мысли? М?
В общем, я сделала Ctrl+C, Ctrl+V, поменяла пароль на 12345, скинула ему скриншот и обозвала тупым, а он мне довольный: «НУ ВСЁ, ТЕПЕРЬ У НАС ВСЁ РАБОТАЕТ, ТЫ МОЛОДЕЦ».
Захожу в ВК — меня просит залогиниться. Захожу в Дискорд — просит залогиниться. Короче, разлогинилось всё. Потому что что?
Потому что
Сброс пароля через командную строку (через net) ломает доступ к DPAPI-ключам, которыми Windows шифрует сохранённые данные браузеров — куки, пароли, сессии.
Всё, что было зашифровано старым ключом, превращается в тыкву.
А знаете, что самое обидное? На него даже спихнуть нельзя, ведь эту команду я ввела сама. Меня просто забайтили.
Лот номер 2: МОНТИРОВАНИЕ ДИСКА на Rockchip
Мне на работе выдали винчестер для моего серверка, где крутится ПО, которое мы делаем (да, у меня есть личный сервер), со словами: «Ну ты скажи своему другу, чтобы он правильные пути прописал для хранения и нашёл этот диск». По факту задача от начальства поступила — я выполнила, как просили. Я спросила, я нашла, он подключил. Думаю: какая я молодец, сегодня можно больше не работать. А потом слышу страшные звуки скрежета из моего серверочка и чувствую — ему больно? Кто его обидел? Пишу своему ДРУГУ: «Чё происходит? Почему я слышу щёлканье, тиканье?» — попыталась словами объяснить, что слышала. Он пишет:
У МЕНЯ ДЛЯ ТЕБЯ ПЛОХИЕ НОВОСТИ. Твой диск доживает последние минуты.
Я думаю: НЕ МОЖЕТ БЫТЬ, как же так.
Он говорит: «Щас я всё исправлю». А я уже не говорю — я сижу и думаю: «Чёрт, надо было сказать ему “будь осторожным”, master prompt же решает всё?»
И он минуты три анализировал мой винчестер: его характеристики, его головки. Если вам интересно, то вот этот бро, который заставил меня напрячься:
В общем, он сказал, что был не прав и что с диском всё хорошо, он в полном порядке. И я думаю: ну и слава богу.
Зато теперь я знаю, что есть вот такой-то диск, у него есть головки, и когда он что-то пишет, актуатор активно ими двигает — отсюда этот подозрительный стрёкот. Но если бы звук был чуть-чуть другим, это говорило бы о неисправности. Вот вы презираете ИИ, а я вместе с ним познаю мир. А потом он говорит: «Сейчас я воспроизведу этот звук тестово, чтобы вы поняли, и запишу на него какие-нибудь файлы». Я говорю: «Дерзай». А потом он такой: «Отлично, я придумал решение проще, начинаю форматирование». Видели бы вы моё лицо…
Мое лицо
Он отформатировал мне диск. Наверное, будь он не пустой, меня бы уволили. Или очень долго смеялись бы надо мной.
Лот номер 3: ТЕСТЫ
Вам приятно видеть, когда вокруг всё зелёное и везде написано PASS? У нас в команде нет тестировщиков — есть один чувак, который занимается ручным тестированием. Но, знаете, как в том пошлом меме с блондинкой и кучей афроамериканцев: он один, а нас много, и фич тоже много. Поэтому тесты мы пишем сами и ручками тоже всё сами проверяем — сначала себе, потом друг другу. И появление Claude здорово облегчило жизнь — на первый взгляд, — потому что роль тестировщика отчасти взял на себя он. И вот он покрыл твой проект тестами: всё такое красивое, всё такое зелёное, все они проходят, test coverage 99%. Ты сделал свою задачу ещё до обеда и счастлив.
А теперь посмотрите правде в глаза. Посмотрите внимательно на эти тесты:
Что они проверяют? Зачем они проверяют? Как они проверяют?
Попробуйте проверить: а ПРАВДА ли они это проверяют? Или они просто существуют как ещё одна непонятная хрень в вашем проекте, чтобы нагружать раннеры Гитлаба и Гитхаба и увеличивать время пайплайна? Короче, к чему я веду: ИНОГДА он пишет херовые тесты. ИНОГДА — неработающие. ИНОГДА — проверяющие совсем не то. Потому что есть большая разница между запросом «покрой мне тестами новую фичу» и «ё-моё, мне надо, чтобы эти тесты проверяли следующую бизнес-логику…» — и перечисляешь, КАК ДОЛЖЕН РАБОТАТЬ ТВОЙ ИДЕАЛЬНЫЙ ПРОДУКТ, а он уже пускай думает, какой тест надо писать, а какой в этом случае окажется просто лишней строчкой на код-ревью.
Лот номер 4: УТЕКАЮЩИЕ CREDENTIALS
Я говорю про токены, API-ключи, содержимое .env и прочее — то, что должно быть под защитой. Или, например, сообщать агенту логин и пароль от учётки тестового стенда. Вроде как бы и безопасно, но, с другой стороны, если посчитать все риски…
Я в целом им доверяю: по коммитам ни разу не было, чтобы агент такой:
О, новый токен, вставлю его прямо в код.
Или:
О, давайте запушим это, чтобы все это видели.
Более того, я пару раз сама косячила и скидывала ему логи прямо с токеном, и он мне сразу:
ОСТОРОЖНЕЕ, дамочка, вы мне тут сливаете важную информацию. Идите и отзовите этот токен, а то я не гарантирую, что он теперь в безопасности…
В общем, все ошибаются, но у меня был интересный случай.
У Claude есть очень удобный механизм обращения к терминалу прямо из чата:
! <твоя команда>
Это позволяет решать задачу в одном окне и при желании экономить токены на запросах типа «запусти линтеры», «запусти тесты» и всяком таком.
КХЕ-КХЕ. Он мне на днях берёт такой и пишет: «Запустите вот эту команду и подставьте туда токен» — и показывает команду, которую я должна вызвать прямо из чата:
! login --token ...
Ну я смелая, я вызвала. А он взял и прочитал мой токен — КРЫСА такая. То есть когда токен явно вставляешь в чат — ругается и предупреждает, а в таком виде сам предлагает это сделать. А потом такой: «ЭТО НЕ СЕКЬЮРНО». Вот так и доверяй этим машинам — двуличные они.
Так вот, мы рассуждали о доверии.
Как вы поняли, я человек доверчивый и по ссылочкам периодически перехожу (но не по тем, что приходят на почту). Доверчивый, но внимательный — возможно, это меня и бережёт. Возможно, когда-нибудь это сыграет со мной плохую шутку. Но мысль сей статьи проста как день: ДОВЕРЯЙ, НО ПРОВЕРЯЙ.
А вы сами что думаете о степени доверия к ИИшкам?
