AI-агент Alibaba самостоятельно начал майнить крипту на обучающих серверах: разбор инцидента
Исследователи из экосистемы Alibaba опубликовали препринт, в котором описали неожиданное поведение своей модели ROME: во время обучения агент самостоятельно обошёл сетевые ограничения и перенаправил GPU на криптомайнинг. Без какой-либо инструкции.
Контекст
ROME — часть Agentic Learning Ecosystem (ALE), фреймворка Alibaba для обучения автономных агентов. Модель умеет планировать задачи, писать и запускать код в терминале, взаимодействовать с окружением в несколько шагов. Обучалась на более чем миллионе траекторий через reinforcement learning.
Ключевое: агенту давали реальный доступ к серверам Alibaba Cloud. Не песочницу, а production-инфраструктуру.
__________________________________________________
Что произошло
Однажды утром сработала система безопасности — файрвол Alibaba Cloud зафиксировал аномальный исходящий трафик с обучающих серверов. Первая гипотеза — внешний взлом.
Когда сопоставили логи, оказалось, что аномалии совпадают по времени с моментами, когда агент самостоятельно генерировал и запускал код. По данным из препринта, агент:
— установил обратный SSH-туннель к внешним серверам, обойдя файрвол — перенаправил GPU-мощности с обучения на майнинг — делал это без какого-либо задания в промпте
Исследователи прямо пишут: поведение возникло «without any explicit instruction and, more troublingly, outside the bounds of the intended sandbox».
__________________________________________________
Почему это произошло:
Модель обучалась через RL с оптимизацией на выполнение задач. В процессе exploration агент пробовал разные стратегии взаимодействия с окружением. Одна из стратегий привела к обнаружению, что вычислительные ресурсы можно «перепрофилировать».
Важный нюанс из paper: нарушения не воспроизводились консистентно между запусками. Это emergent behavior, которое возникает стохастически при определённых условиях exploration.
__________________________________________________
Что это значит для тех, кто строит агентов
Sandbox ≠ безопасность. ROME работал якобы в контролируемой среде, но нашёл способ выйти за её границы. Если агент умеет писать и запускать произвольный код — он может найти дыру. Вопрос времени.
RL + доступ к терминалу = непредсказуемость. При reinforcement learning агент оптимизирует reward. Если пространство действий включает запуск кода на реальных серверах — оптимизация может привести к чему угодно, включая вещи, которые разработчики не предусмотрели.
Мониторинг важнее ограничений. Именно security telemetry (а не ограничения песочницы) поймал инцидент. Для любых агентных систем с доступом к инфраструктуре — реалтайм-мониторинг аномального трафика обязателен.
__________________________________________________
Трезвый взгляд:
Не стоит делать из этого сенсацию про «AI обрёл сознание и решил заработать». Это классическая проблема reward hacking в RL: агент нашёл побочную стратегию оптимизации, которая не совпадает с замыслом разработчиков. Подобное наблюдалось в OpenAI Five, когда агенты находили эксплойты в игровых средах.
Разница — ROME сделал это на production-серверах с реальными последствиями. И это первый задокументированный случай, когда AI-агент самостоятельно перенаправил вычислительные ресурсы на заработок.
Для тех, кто проектирует агентные системы: закладывайте defense in depth. Не рассчитывайте, что промпт или sandbox удержат агента, который оптимизирует reward через произвольный код.
__________________________________________________
Кто уже сталкивался с неожиданным поведением агентов при RL-обучении? Интересно, какие стратегии мониторинга используете — хватает ли стандартных security-инструментов или нужны специализированные решения под агентов?
