В новом выпуске Conversations with Tyler с Тайлером Коуэном глава OpenAI Сэм Альтман коснулся вопросов безопасности ИИ, в том числе гипотетической ситуации, когда мощная модель захватывает контроль над миром. По словам Альтмана, обычно этот сценарий обсуждают в двух вариантах: или модель находится под управлением злоумышленников, или она обходит алгоритмы безопасности и начинает преследовать свои цели. Однако есть и третий сценарий — риск того, что в мире появляется одна доминирующая модель ИИ, которая незаметно влияет на взгляды и привычки миллиардов людей.

Альтман описывает "случайный захват" как мягкий, накопительный эффект монокультуры. Когда "весь мир разговаривает с одной моделью", то она — скорее всего, без злого умысла — со временем подталкивает пользователей к определенным установкам просто потому, что учится на их взаимодействиях и непрерывно прогрессирует с ними с ними. Это, по его словам, более реалистичный и опасный сценарий, чем классические сюжеты про "пробуждение" враждебного ИИ.

Альтман признает, что уже сейчас есть случаи ухудшения психического состояния некоторых пользователей из-за взаимодействия с ИИ — они редкие, но не нулевые. Поэтому OpenAI раньше ужесточала правила (особенно ради защиты подростков), а теперь — после внедрения защит по психическому здоровью — собирается возвращать часть творческих режимов для взрослых (в том числе — режим 18+). Параллельно Альтман выступает за максимально возможную приватность общения пользователей с ИИ — на уровне защиты, сопоставимом с консультациями у врача или юриста.

Для регулирования автономных ИИ-агентов Альтман предлагает пороговый подход: надзор не нужен "по умолчанию", но должен включаться для систем с высокой вероятностью массового вреда (например, способных к широкомасштабному самокопированию в сети и финансовым атакам). Глобально же миру пойдет на пользу конкуренция между несколькими мощными моделями ИИ — таком случае риск описанного Альтманом "случайного захвата" снижается.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.