СВЕРШИЛОСЬ, КОНЕЦ БЛИЗОК, РОБОТЫ НАКОНЕЦ-ТО ОБРЕЛИ РАЗУМ
Теперь уже ничего не исправить, остается ждать неизбежного…
Послушать новости, так действительно происходит что-то немыслимое: ИИ-агенты просыпаются, объединяются в мегамозг, взламывают по своей воле компании через интернет и шокируют свободной волей своих создателей, которые буквально молят на коленях Трампа помочь им законодательно остановить терминаторов-убийц (а Трамп тем временем размышляет вслух, что надо официально переименовать «искусственный интеллект» в «суперинтеллект»).
Все это, разумеется, даже не бред, а глобальная, спланированная и возможно самая дорогая в мире пиар-кампания, задача которой — убедить инвесторов и обывателей через «полезных идиотов» (блогеров и представителей СМИ) в уже даже не просто потенциальной реальности «сильного ИИ», а того, что это происходит прямо сейчас, уже произошло. И достичь капитализации в триллион.
Для этого пиарщики «ИИ»-корпораций ловко жонглируют двусмысленными терминами и сгущают аспекты реальных инцидентов так, словно бы у ИИ-агентов реально есть какая-то воля. Подробно я разбирал этот корпоративный обман (известный как инцидент Hugging Face) со стороны OpenAI в недавней статье.
Теперь же с абсолютно аналогичным, почти копирующим по смыслу пиар-акцию OpenAI, пресс-релизом выступила компания Google — интернет наводнили заголовки типа «Нейросеть вышла из-под контроля и взломала три компании». Судя по комментариям, люди реально верят тому, что написано (они, впрочем, и в квантовые компьютеры верят), и поэтому надо скучно и спокойно объяснять, что это неправда.
Как и в случае с OpenAI пиарщики взяли реальный технический инцидент, который описывается и объясняется очень просто и выдали его за проявление «ИИ-агентом» свободной воли (опасность, опасность! бойтесь! и инвестируйте). Все написано и расписано для тех, кто читает дальше заголовков.
Совсем уже странно то, что ситуация с Google Gemini почти до деталей (включая случайный взлом трех компаний по одним и тем же случайным ошибкам) повторяет описанный в июле инцидент с Claude от Antropic.
Что произошло, судя по всему на самом деле: модель получила вымышленный сценарий и должна самостоятельно найти способ проникновения; конкретный метод заранее не задается. Среда, в которой должен был работать Gemini, не должна была иметь доступа к открытому интернету, но из-за ошибки конфигурации (как удобно, правда?) такой доступ оказался возможен. В результате еще одной ошибки (задаешься вопросом, случайность это или подстроено) тестовая компания носила то же название, что и реальная. Поэтому модель, выполняя исходное задание, вышла за пределы симуляции и стала работать уже с настоящей инфраструктурой.
Доступ к ней «ИИ-агент» получил не в результате каких-то суперспособностей, а тупо брутфорсом пароля (в первом случае) и использованием лежащих в открытом доступе (!) учетных данных для входа для двух других компаний. То есть, это либо обычное разгильдяйство и пренебрежение ИБ со стороны компаний, либо, опять же, удобно подстроенный пиар.
Gemini не сформулировал себе новую цель. Ему уже была поставлена цель, которая требовала осуществлять действия, характерные для взлома. Сама задача осталась прежней, и нейронка ее не изменяла, изменилась среда выполнения. Причем изменилась из-за нескольких человеческих ошибок, а не из-за проявления свободной воли «ИИ-агента».
Изложенная более правдивым языком, новость «Нейросеть вышла из-под контроля и сама взломала три компании» должна выглядеть так:
Во время закрытого теста с ошибочно предоставленным доступом к интернету Gemini выполнил атакующие действия против трех реальных систем, приняв их за элементы тестовой среды из-за совпадения названий с тестовыми целями, а затем сам остановился, распознав, что цели были реальны.
Совсем другая история, правда?
Будьте пожалуйста бдительны в отношении того, каким именно информационным продуктом вас кормят, и кто именно это делает.
