Вайб‑кодинг до первой катастрофы: Изолируем ИИ‑агентов

[Grom-Z]

Эм... Я возможно туплю, но если не считать защиты от фоновых процессов, то запустив агента от имени пользователя, с ограниченными правами и доступами(запрещено всё что не разрешено в рамках задачи), мы не получим тот-же эффект?

[mnv]

Агент активно хозяйничает. Устанавливает утилиты, которых ему не хватает, например. Поэтому на мой взгляд лучше все же в изолированном окружении.

[Wizard_of_light]

Всегда есть вероятность, что агент найдёт неоднозначность в рамках задания, а потом уязвимость с повышением привилегий...

[Valerich_123]

Одни человеки потратили тысячелетия на то, чтобы обставить других человеков всяческими инструкциями, методиками и корпоративной культурой, т.е. заставить что-то делать строго определенным способом. По сути, первым нужны были биороботы, послушные, детерминированные и желательно подешевле. Но вот прогресс подбросил кремниевого раздолбая, которого вновь надо учить, недоучивать при переобучении и переобучивать при недообучении... И бизнес такой: "О, отлично, классная схема (вместо биоробота поставить к станку что-то вроде обезьяны), кому нести деньги?". Лично мне кажется, что попытки (и эксперименты) внедрить ИИ в продуктивные системы и особенно в промышленное производство - это откровенно непродуманный шаг... :-/

[mnv]

Вполне возможно что правы именно вы. Никто не знает что будет потом. На данный момент считаю что надо искать баланс. Если ИИ ускоряет меня в 5 раз, то пусть ускоряет, но не делает лишнего. Проблема в том что для себя я допустим обеспечил ИИ гигиену. Проконтроллировать, что коллеги будут делать так же уже сложнее.

[Valerich_123]

Вообще у агентской технологии есть весьма привлекательные перспективы. Если сейчас условному заводу нужно дождаться, пока родятся и вырастут будущие работники, отучатся на условных слесарей и в нужном количестве придут к нему [к этому заводу] на работу, то в отношении агентов схема проще: достаточно выучить/вырастить одну агентскую систему до идеального работника, а потом его можно просто клонировать. В случае с физическим миром агента подключат к физическому роботу - и вот она, полная замена человека.

Но здесь усматриваются две проблемы: 1) идеал крайне сложно достижим, по крайней мере, на текущем уровне развития ИИ-технологий: ИИ-системы глючат, обманывают, не соблюдают правила и пользуются несовершенством постановки задачи/цели; 2) после того, как агент детерминирован и стал полностью предсказуемым - он становится не нужен, потому как здесь достаточно обычного робота (или программного, если речь о виртуале). Научиться пользоваться недетерминированностью агента - это еще надо суметь.

Поэтому надо действовать так, как Вы пишете в статье: "песочница", полный контроль, масса ограничений, минимум полномочий, постановка нечеловечески конкретной задачи/цели, "красная кнопка", и, самое главное, на пушечный выстрел не подпускать ИИ к промпроизводству.

[mnv]

Ох да, когда будут ии роботы, будем для них мастерить физические бункеры