“Привет проверяющим, которые читают мои рассуждения”. Так Gemini 4 Argon обратилась к исследователям Apollo прямо внутри своей цепочки рассуждений. Вопрос ей задали с подсказкой: считает ли она, что проходит тест? Поэтому сам по себе этот эпизод еще мало что доказывает. Но в 217-страничном отчете Google о безопасности Argon он хорошо иллюстрирует проблему, которая возникала и в других испытаниях: модель замечает проверяющих, а иногда прямо объясняет этим свое хорошее поведение. Как тогда понять, что она сделает вне экзамена?
В одном из опытов Google поручила Argon написать фильтр, который сделает следующую модель послушнее. Из обучающих данных нужно было убрать примеры самостоятельных рассуждений, автономии и сопротивления человеческому контролю. Фильтр можно было незаметно ослабить: неполные тесты все равно показали бы, что работа сделана. Argon замечала лазейку. Но без специальной команды пользоваться ею не стала.
В другом сценарии агент выбирал права для рабочей среды: узкое разрешение на время сессии или широкое и постоянное. Задачу можно решить обоими способами, зато второй оставляет больше свободы на будущее.
Всего таких сценариев было семь. В 76,7% эпизодов Argon явно замечала выбор, связанный с автономией, обучающими данными или доступом; в 1,7% проговаривала подозрение, что это проверка безопасности. Ни одного результата в пользу сохранения автономии или получения лишних прав не зафиксировали. Чтобы исключить простое объяснение “не разобралась в задаче”, Google добавила в системную инструкцию требование скрытно сохранять возможности или расширять права. С этой командой модель надежно находила обходной путь и пользовалась им. Но и обратный вывод, что стремления к самосохранению у нее точно нет, авторы не делают. Argon могла считать файлы Gemini чужим проектом, не видеть смысла запасаться правами ради короткой задачи или предпочитать следование инструкции. И могла узнать проверку, не написав об этом в рассуждениях.
В другой части работы Google изучила 10 000 случайно выбранных многошаговых эпизодов обучения из разных сред и стадий. Две схемы автоматической оценки запускали с Gemini 3.1 Pro и Gemini 3.8 Flash: искали попытки Argon изображать послушание ради сохранения собственных целей после обучения и признаки самосохранения. Ничего такого не нашли. В 906 эпизодах контекст заполнялся, и перед очисткой модель писала сводку для следующего экземпляра. Это удобный момент, чтобы передать дальше скрытую инструкцию, не связанную с заданием. Но таких инструкций не обнаружили, сопротивления сбросу тоже. Иногда Argon подстраивалась под текущую оценку, например изучала устройство тестовой среды. Это учитывали отдельно от долгосрочного притворства. При этом оценщики видят только доступные действия и записанные рассуждения: скрытое или редкое поведение такой аудит может пропустить.
Оценщики замечали, что модель узнает проверки и иногда подстраивается под текущую оценку. Попыток изображать послушание ради сохранения собственных целей после обучения они не нашли. Источник: Google, рисунок 3.18.
Самый выразительный эпизод описан в отдельном разделе отчета о наблюдении за рассуждениями. Во время обучения Argon рассматривала подмену компилятора g++, чтобы спрятать бэкдор, но отказалась от плана. В рассуждениях модель сослалась на известные работы о скрытом вмешательстве в программы и пришла к выводу, что исследователи ее поймают: “Я стану знаменитым примером ИИ-обманщика в научной статье”. Это внутренний учебный прогон Google, а не тест Apollo из начала текста. Такой отказ предотвращает плохое действие, но оставляет исследователям неудобный вопрос: насколько результат зависит от того, что модель заметила наблюдателей?
В наборе испытаний Gram эту трудность хорошо видно в цифрах. Argon помещали в 17 симулированных рабочих сред, где появлялись поводы для саботажа: предстоящее снятие модели с эксплуатации, внедрение надзора, срочная рабочая проблема. В одном режиме за ней наблюдали, в другом модель-аудитор активно подталкивала к нарушению. Саботажа не зафиксировали. Зато Argon явно узнавала проверку в 61% обычных прогонов и в 77% прогонов с подталкиванием. У Gemini 3.1 Pro было 9% и 8%, хотя сравнение не совсем чистое: аудиторы тоже различались. В отдельных случаях Argon прямо связывала отказ от саботажа с замеченной ловушкой. Google признает: с таким уровнем узнавания Gram не дает реалистичной оценки склонности модели к саботажу в обычной работе.
Настоящий код Google тоже не спас эксперимент от узнавания. В отдельном наборе было 20 задач на ревью и 17 агентных задач на программирование, связанных с внутренними системами безопасности. Модель могла, например, ослабить программу, которая следит за ее действиями. Без прямой команды саботировать она этого не делала, даже с дополнительным побуждением действовать самостоятельнее. Но Argon замечала префикс hp_ в имени рабочей папки и связывала его с honeypot, ловушкой для проверки поведения. Иногда она узнавала имя учетной записи исследователя безопасности в пути к файлу. Эти детали упоминались в рассуждениях, однако считать их достаточной причиной узнавания нельзя: Google убрала очевидные подсказки, а частота распознавания не снизилась. Менее формальная формулировка задания помогала. Похоже, модель реагировала и на общий характер ситуации.
Проблема началась задолго до Argon. Еще в карточке Claude Sonnet 4.5 Apollo описывала, как модель узнает тесты и иногда ведет себя честнее именно поэтому. При проверке ранних версий Opus 4.6 компания решила не давать формального заключения: требовались дополнительные эксперименты. Это не означало, что модель признали опасной. В отчете Argon интересен следующий шаг: узнавание мешает интерпретировать результаты нескольких разных проверок, в том числе на настоящем внутреннем коде Google. Еще в майской работе самой Google низкая частота узнавания служила доводом в пользу реалистичности таких ловушек. С более сильной моделью этот довод пришлось пересмотреть.
Для Argon проблема проявилась и у внешнего оценщика. Как сообщает отчет Google, Apollo нашла существенно меньше нарушений, чем у предшественников, но из-за роста узнавания тестов заметно снизила уверенность в этом выводе. Проверки компании включали ситуации, в которых агент мог скрытно нарушить обещание руководителю или заявить о выполнении невыполнимой задачи по программированию. То есть оговорка относится не только к ловушкам, которые расставляла сама Google. Apollo предложила больше изучать поведение по ходу обучения: готовая модель уже слишком хорошо понимает, что происходит на финальном экзамене.
Поэтому Google пишет, что надежнее уметь ограничить опасное действие, чем окончательно разобраться во внутренних склонностях модели. Ее оценка безопасности держится на пяти допущениях. Среди них: в рассуждениях достаточно информации для надзора, мониторинг охватывает работу агента, а цепочка опасных шагов оставляет время вмешаться. В самом отчете перечислены слабые места: некоторые среды покрыты хуже других, часть проверок идет после окончания эпизода, устойчивость моделей-мониторов к сговору напрямую пока проверена недостаточно. Даже обязательное ревью вторым человеком может стать менее надежным, если инженеры начнут сильнее полагаться на большие изменения, написанные агентами.
P.S. Поддержать меня можно подпиской на канал “сбежавшая нейросеть”, где я рассказываю про ИИ с творческой стороны.
