Вы просили AI-помощника исправить баг…

[krox]

Добрый день. Интересный замер. А популярные агрегаторы нейросетей вы отдельно не проверяли?

Там, как мне кажется, может получиться другая картина: пользователь выбирает условный Claude/GPT/Gemini, но поиск, RAG, системный промпт и даже маршрутизация запроса могут быть реализованы уже самим агрегатором, а не нативным сервисом модели.

Было бы интересно сравнить одну и ту же модель напрямую у производителя и через несколько популярных агрегаторов. Тогда станет понятнее, насколько описанный эффект относится именно к модели, а насколько — к обвязке вокруг неё.

[momentics]

Это хорошая идея. Но тут главное разобраться в основных деталях. Давайте попробуем в этом разобраться.

То, что MCP, агенты и провайдеры, включая роутеры и агрегаторы, могут получить исходники полностью - факт. В исключительных случаях (когда скомпрометированы) могут обойти и некоторые ограничения. Но, например, не будучи запущенными с админскими правами, не смогут точно обойти ограничения ОС. Это как бы истина.

Суть легкой статьи выше была в том, чтобы показать слабо обнаруживаемый пользователем пример, где вроде бы он указал исправить только в файле Х (и указал модели ограничения). И даже задача его промпта была выполнена, но параллельно выполнились и другие задачи, которые не обнаружить по итоговому результату для этого пользователя. Это не открытие уязвимости, а простейшая демонстрация такой возможности.

Если ставить задачу иным образом, например, собрать доказательную базу по какому-либо провайдеру каких либо услуг, то тут все сильно усложнено. Так как мы не знаем, как именно работает конкретный провайдер услуг. И тут, даже в случае получения каких-либо файлов, провайдер может их просто удалять (и, естественно, может не удалять - это не контролируемо). Мы как бы доверяем, и не проверяем. Это просто невозможно.

И третье, если ставить задачу как разработать такой инжект, который как MnM вирус ворует исходники… То тут я бы не хотел участвовать. Это зло.