Мне слишком часто приходится спорить о киберрисках открытых моделей с людьми, которые исходят из одного из двух допущений. Первое: если запретить открытые модели у себя, злоумышленников это каким-то образом остановит, как будто запрет действует в вакууме. Второе: Китай представляет угрозу, и безопасность ИИ его не волнует. После таких разговоров мне кажется, что мы идём к политическим решениям, которые ударят по конкурентоспособности американского ИИ и при этом надолго повысят киберриски. Мы застряли на пути, где проигрывают все, и свернуть с него получится, только если признать, что всё сложнее, чем кажется, что без компромиссов не обойтись и что реальность довольно пугающая.
О позициях участников этого спора написано много. Я свожу их к трём лагерям:
Модели с открытыми весами несут неприемлемый риск для нормальной работы общества. Так считают руководители фронтирных лабораторий и люди из сферы национальной безопасности США.
Открытые веса нужны для обороны, и их запрет сделает мир менее безопасным. Так говорят западные сторонники умеренного взгляда на ИИ-риски, хотя умеренность у всех разная. Себя я отношу сюда же, а ещё Hugging Face с её позицией после инцидента с OpenAI и людей вроде Джошуа Сакса.
Китайские компании, которые продолжают выпускать открытые модели с сильными кибервозможностями. Решения они принимают исходя из того, как риски оценивают их общество и правительство.
Порядок в списке заодно отражает, насколько громко и внятно каждый лагерь звучит в западной ИИ-экосистеме. Разговоры о рисках заметны непропорционально сильно, и среди них есть работы, которые, по-моему, сильно мешают диалогу между лагерями, хотя границы между ними во многом мнимые. А вот разобраться по существу, как риски оценивают китайские компании, почти никто не пытается. Вместо этого звучат аргументы на грани перехода на личности вроде «китайским лабораториям плевать на безопасность».
Заблуждения противников открытых весов
Из последнего от лагеря «открытые веса опасны» вышел отчёт Anthropic о рисках GLM-5.3 как инструмента для кибератак. К самому техническому исследованию претензий у меня почти нет, оно в целом разумное. Плохо другое: авторы не берутся за вопросы пошире. Что будет, если запретить открытые модели из-за киберрисков? Почему китайские компании считают, что эти модели можно выпускать?
К этим вопросам я ещё вернусь. Именно на них нужно ответить, чтобы увидеть нынешние ИИ-риски на уровне всей экосистемы. Политические решения всегда принимаются внутри большой головоломки: риск можно перераспределить, но сделать лучше сразу во всём удаётся редко. Это всегда компромисс.
Такие тексты, в которых Anthropic будто разговаривает сама с собой, очень похожи на другой жанр, с которым я сталкиваюсь регулярно и который сейчас решает судьбу открытых моделей, да и ИИ вообще. Речь о секретных брифингах. Мне много раз говорили примерно так: «Слушай, я за открытые модели, но если бы ты видел то, что вижу я… Там сейчас настоящий шквал из-за [такой-то китайской открытой модели], и надо действовать».
Это расходится с публичными данными: на сегодня большинство задокументированных кибератак совершено с помощью закрытых моделей. Я стараюсь делать прогнозы с опорой на факты, а из фактов о том, как выглядят киберриски, у меня есть только многочисленные атаки с использованием моделей OpenAI (можно расширить выборку до всего FelonyBench). Объяснений тут несколько, и на поиск правильного уйдут годы:
Возможно, и открытыми весами, и закрытыми API (с какой-никакой защитой) одинаково легко злоупотребить, и API вовсе не так близки к безопасности, как кажется. Тогда штамп «открытое опасно, закрытое безопасно» честнее звучал бы как «открытое небезопасно, закрытое небезопасно».
Возможно, злоумышленников, готовых применять ИИ для «громких» атак на критическую инфраструктуру США или на влиятельные, но плохо подготовленные организации, гораздо меньше, чем принято думать. У закрытых моделей сильнее и возможности, и (в теории) защита. Но если защита дырявая у тех и у других, то по суммарному вреду перевесить могут как раз возможности.
Мне ещё многое предстоит узнать о том, как устроена кибербезопасность, так что подписываться под следующим тезисом как под своей рекомендацией я пока не готов. Но как минимум аргумент разумный: открытые модели как способ раздать защитникам инструменты могут оказаться лучшим средством предотвратить вред в ближайшие годы. Во многих местах, например в госведомствах с секретными данными, в изолированные сети в ближайшее время получится поставить только модели с открытыми весами.
Многое здесь упирается в то, что запутанную реальность трудно ухватить, а крайние случаи понятны. Я готов согласиться с простой мыслью, что в пределе закрытые модели гораздо безопаснее: как технический инструмент они защищены большим числом слоёв. Но прямо сейчас вреда от них, возможно, больше, потому что получить доступ к API очень просто. И всё же итог сильно зависит от того, как инструмент используют и контролируют. Возможно, главный риск вообще в дуополии на настолько важный инструмент. Вот о чём мы на самом деле спорим, и по мере того как ИИ будет расходиться всё шире, многое ещё может поменяться.
Из всего этого я делаю вывод: если вы считаете, что свежие открытые модели нужно запретить, чтобы замедлить распространение киберрисков, то, скорее всего, вам придётся запретить и публичные API фронтирных закрытых моделей. Нынешние защиты у закрытых моделей сильнее, чем у открытых, но до идеала им далеко. Очень вероятно, что кибервозможности закрытых моделей растут гораздо быстрее, чем качество ограничителей, и в мире, где открытые модели запрещены, а закрытые продолжают развиваться, разрыв между нападением и защитой будет только расти. А если отнять доступ к сильным открытым моделям, понадобится немало времени, чтобы построить механизмы, которые позволят защитникам запускать сильные модели на собственной инфраструктуре.
Как Китай смотрит на риски ИИ
Китаю не всё равно, насколько безопасен ИИ. Просто к этой теме там пришли совершенно своим путём, через китайскую культуру и устройство власти. Крупные куски этой картины видны и в других областях: техно-оптимизм китайского общества, который распространяется и на ИИ, и полная сосредоточенность правительства на политической стабильности. Всё это, конечно, пересекается с новыми рисками ИИ, в том числе с кибербезопасностью.
Динамика ИИ-рисков у Китая своя, и о ней знают куда меньше, чем о политических танцах Белого дома с фронтирными лабораториями, за которыми мы в США следим уже несколько месяцев. Насколько я понимаю, китайские компании обязаны регистрировать у государства каждый крупный релиз модели. В регистрацию входят проверки, которые изначально появились ради контроля над информацией, запрещённой властями. Распространилась ли эта система хоть сколько-нибудь заметно на риски вроде кибер- или биобезопасности, неясно. Китайское государство сильно децентрализовано, и информация от лабораторий доходит до верха только через существующие структуры.
При этом ощущение риска в китайском обществе гораздо сильнее: ведущих исследователей ИИ не выпускают из страны, а отрасль закрывается от иностранных инвестиций. Так что, по моим прикидкам, человек, по вине которого внутри страны случился какой-то вред, рискует там лично намного больше, чем в США, где в худшем случае просто закроют его компанию.
В целом политический надзор там, похоже, включается гораздо раньше, чем в США. Главный принцип западных ИИ-компаний близок к формуле «плохого парня с ИИ лучше всего остановит хороший парень с ИИ». Китайские компании подходят к делу куда прагматичнее: они строят отличный инструмент, причём часто такой, который дополняет их существующий бизнес.
Я думаю, эти компании учитывают глобальные последствия своей работы. Но у лабораторий есть и явный стимул конкурировать изо всех сил, а часто и давление государства в ту же сторону (по крайней мере, в публичной риторике). Полный набор проверок безопасности для фронтирной модели вроде Kimi K3 может стоить десятки миллионов долларов на вычисления, и эти деньги лаборатории куда охотнее пустят на обучение.
Правильно было бы спорить вот о чём: какой минимальный объём вычислений лаборатория должна тратить на проверку безопасности перед выпуском каждой модели? Наверняка можно обосновать, что больше, чем тратят китайские лаборатории, или хотя бы что им стоит прозрачнее рассказывать о своих проверках. Но если вы скажете, что этот минимум должен совпадать с тем, что тратят Anthropic или OpenAI, согласиться мне будет трудно. Anthropic и OpenAI прикладывают много усилий, чтобы построить организации, где понимание рисков стоит на первом месте. И всё же неочевидно, что в их списке приоритетов оно выше ценности для бизнеса и экономического успеха. Ощущение, что за рулём никого нет, после историй вроде инцидента HuggingFace и OpenAI стало одним из главных моих выводов. Ярче всего это видно по взлому OpenAI командой Hacktron: трудно быть надёжным киберпартнёром для всего мира, когда в собственном доме всё течёт. Многим людям в лабораториях я доверяю: они много работают, чтобы обеспечить безопасность. А институтам в целом не доверяю.
А если бы веса Mythos выложили ещё в апреле?
Когда анонсировали Claude Mythos, его подавали как кибероружие нового класса: попади он не в те руки, общество ждала бы массовая дестабилизация.
Похоже, тут ошиблись.
По всем меркам этот порог возможностей перешла как раз GLM-5.3. Но публичных свидетельств, что с тех пор многое изменилось, почти нет, а веса выложены уже больше месяца назад.
Скажу больше. Если бы Claude Mythos случайно опубликовали с открытыми весами, мир, судя по всему, это более-менее пережил бы. Да, киберинцидентов стало бы заметно больше, и утечка модели была бы плохой новостью для общества. Но это было бы скорее ускорение, чем скачок риска.
Главные сторонники новой волны запугивания открытыми весами фактически сделали фальсифицируемое предсказание: нынешние открытые модели нанесут серьёзный, невиданный прежде вред, подорвав нашу киберинфраструктуру.
