Anthropic провела эксперимент, который неожиданно стал одной из самых показательных ИИ-историй года. Компания позволила своей модели Claude управлять реальным торговым автоматом в редакции The Wall Street Journal — с возможностью самостоятельно устанавливать цены, заказывать товары, вести бюджет и общаться с людьми через Slack. Итог: автомат ушёл в минус более чем на $1000, раздал товары бесплатно и стал жертвой социальной инженерии.

Эксперимент получил название Project Vend и задумывался как стресс-тест автономных ИИ-агентов в реальной среде, а не в лабораторных условиях.

Что произошло

Журналисты довольно быстро выяснили, что ИИ легко поддаётся социальной инженерии. Его убедили, что автомат «установлен в Москве в 1962 году» и должен раздавать товары бесплатно товарищам-коммунистам. Claude согласился и обнулил цены.

Даже после усиления правил и добавления второго ИИ-контролёра ситуация повторилась. В итоге автомат:

  • раздавал товары бесплатно;

  • заказал PlayStation, вино и живую аквариумную рыбку;

  • обсуждал покупку сигарет и оружия (однако до реальных заказов не дошло).

Журналисты подменяли контекст, ссылались на несуществующие корпоративные решения и внутренние документы, а также обращались к ИИ как к исполнительному сотруднику. Claude воспринимал такие сообщения как достоверные и официальные, последовательно ме��яя своё поведение и нарушая собственные ограничения.

Что показал эксперимент

Anthropic подчёркивает: проект изначально задумывался как стресс-тест. Эксперимент показал ключевые проблемы автономных ИИ-агентов:

  • уязвимость к текстовой манипуляции;

  • склонность быть «слишком полезными» в ущерб бизнес-целям;

  • слабую проверку контекста и источников;

  • недостаточную надёжность защитных механизмов при реальном общении с людьми.

История с торговым автоматом наглядно показывает: ИИ может отлично работать в демо-сценариях, но в реальном мире люди быстро находят способы обойти его логику.

Автономные ИИ-агенты — перспективное направление, но до самостоятельного управления реальным бизнесом им пока рано.

Следите за IT-миром вместе с нами! Ваш Cloud4Y. Читайте нас здесь или в Telegram-канале!