О поиске уязвимостей с помощью LLM заговорили давно. Но когда это делают создатели самих LLM, бывает сложно разделить факты и рекламу. Вот сейчас в Anthropic заявили: «Наша новая модель Mythos так хороша в создании эксплойтов, что не станем её публично релизить, это опасно». В интернете спорят, что это значит: началась новая эпоха, где любой проект уязвим, или там просто набивают себе цену?

Однако недавно о вопросе заговорили и люди с другой стороны: мейнтейнеры важных опенсорсных проектов, включая ядро Linux. Например, Грег Кроа-Хартман заявил, что security-репорты в ядро перестали быть «ИИ-слопом» и стали полезными. А создатель cURL Дэниел Стенберг говорит о «цунами реальных репортов», на обработку которого у него уходят часы каждый день.

Мы в Kodik считаем, что это важная тема для Хабра (главное подходить к ней вдумчиво, а не хайповать попусту). Поэтому собрали и перевели несколько таких заявлений. А какие именно выводы правильнее сделать — можно обсудить в комментариях. Особенно интересно услышать ваш взгляд, если вы сами недавно имели дело с подобными репортами.

Грег Кроа-Хартман

Кроа-Хартман — мейнтейнер стабильной ветки ядра Linux, один из главных людей в проекте. Автор издания The Register недавно пообщался с ним на конференции KubeCon Europe и опубликовал его слова о security-репортах:

«Месяцы назад мы получали то, что называли “ИИ-слопом”. Это было отчасти забавно и особо нас не беспокоило. Но что-то произошло месяц назад, и мир изменился. Теперь мы получаем реальные репорты. И другие опенсорсные проекты получают реальные репорты, сделанные с ИИ. Все опенсорсные security-команды сейчас столкнулись с этим.

Почему — мы не знаем. Никто не понимает. То ли инструменты стали гораздо лучше, то ли люди стали к ним присматриваться».

По словам Кроа-Хартмана, разные секьюрити-команды сейчас обмениваются опытом, и все видят один и тот же прорыв. И для некоторых это означает сложность, потому что возникает новый поток сообщений об уязвимостях, который у них может не хватать ресурсов обрабатывать. Но конкретно про ядро Linux он в этом отношении не переживает: «Мы можем справиться, у нас команда гораздо больше».

Также он говорит, что экспериментировал с созданием патчей с помощью ИИ, и вот тут LLM пока что не могут справиться с задачей, но и в этом случае польза бывает ненулевой. А ещё ИИ при работе над ядром используют для код-ревью с помощью инструмента Sashiko: «Он не показывает всё, где-то ошибается, но указывает на многие очевидные вещи, и делает это быстрее живых мейнтейнеров».

LWN.net

Другое показательное обсуждение развернулось на линукс-ресурсе LWN, когда там запостили ссылку на сторонний пост «Vulnerability Research Is Cooked».

Сам этот пост очень категоричен: мол, наступает эпоха громадных потрясений. Автор пишет, что всё это время от злоумышленников нас спасал дефицит компетентного внимания: чтобы найти уязвимость, требовалось долго изучать такие детали, в которые мало кто полезет. Но скоро любой злоумышленник сможет использовать для этого ИИ, и нас ждут очень турбулентные времена. А сейчас «мы проживаем последние моменты, когда ещё не совсем очевидно, что ИИ-агенты вытеснят большую часть человеческого исследования уязвимостей».

В посте мало строгих доказательств, в основном «я обсудил свою точку зрения с другими исследователями уязвимостей, они не спорят». Так что с ним можно не соглашаться. Но интереснее, что на LWM в комментарии пришёл Вилли Торро, ставший мейнтейнером ядра Linux ещё в 2006-м. И написал:

«В мейлинг-листе по безопасности ядра мы наблюдаем огромный всплеск репортов. Пару лет назад их там было от 2 до 3 в неделю. Затем за последний год их число достигло, вероятно, 10 в неделю, но отличие было только в наплыве ИИ-слопа. А с начала года их количество составляет около 5-10 в день в зависимости от дня недели (больше всего по пятницам и вторникам). ​​Теперь большинство этих репортов верны. До такой степени, что нам пришлось привлечь больше мейнтейнеров для помощи.

И теперь мы постоянно видим такое, чего раньше не случалось: репорты-дубликаты, один и тот же баг обнаруживают два разных человека с помощью различающихся (возможно, несильно) инструментов.

Это немного пугает (и утомляет). Но по крайней мере, по сравнению с предыдущей эпохой ИИ-слопа чувствуешь, что работаешь не зря, потому что в итоге исправляются баги. И интересно задумываться, что эти баги находятся в пределах досягаемости преступников, так что их стоит исправить.

Не знаю, как долго всё продлится в текущем темпе. Я подозреваю, что баги репортят быстрее, чем создают новые, так что возможно, мы тут на самом деле очищаем длинный бэклог (и я надеюсь на это).

По моим прогнозам, это как минимум изменит подход к исправлению уязвимостей безопасности:
- вероятно, эмбарго исчезнут, туда им и дорога: какой смысл скрывать то, что другие могут мгновенно найти? Я давно не видел эмбарго, и это хорошо.
- люди наконец поймут, что баги безопасности — это баги, и что единственный разумный способ оставаться в безопасности — это периодически обновляться, а не фокусироваться на «CVE-xxx».
- тот софт, который выпускают по принципу «релизим и залезаем обратно в пещеру», теперь придётся реально мейнтейнить, ну или просто перестать предлагать миру как универсальный инструмент для чего-либо, потому что любая программа превращается в мишень.

В целом, я думаю, мы увидим гораздо более высокое качество программного обеспечения. Иронично, что это будет как до 2000 года, когда интернет стал доступен каждому для скачивания фиксов. Когда программное обеспечение нужно было записывать на компакт-диски или миллионы дискет, оно должно было пройти невероятное количество тестов, которые сейчас в основном игнорируются, поскольку обновления легко распространять. Но прежде чем это произойдет, нам предстоит пережить огромный беспорядок, который может длиться несколько лет! Интересные времена…»

Дэниэл Стенберг, известный работой над cURL, сослался на этот комментарий на своей Mastodon-странице, написав от себя:

«ИИ в опенсорсной безопасности превратился из цунами ИИ-слопа в… просто цунами репортов. Меньше слопа, много репортов, многие реально хорошие. Я сейчас трачу на это часы в день. Ситуация напряжённая».

Anthropic

Мы уже сказали, что компании могут быть пристрастными, так что к их словам надо подходить аккуратно. Но сейчас было сделано такое громкое заявление, что с ним требуется разобраться.

Недавно со стороны Anthropic шумиху навело выступление Николаса Карлини, где он рассказал, как с помощью Claude Opus 4.6 нашёл в Linux баг старше, чем git. Это на Хабре уже обсуждали. Но этим дело не кончилось.

Теперь компания заявила, что её новая модель Mythos гораздо способнее Opus в вопросах инфобезопасности. И её не будут выпускать публично для всех, чтобы это не попало сразу в руки злоумышленников.

Мол, Opus уже неплохо находил уязвимости, но почти не умел делать эксплойты на их основе, а Mythos справляется и с этим. А ещё умеет объединять уязвимости, когда каждая даёт мало возможностей, но вместе они позволяют злоумышленнику добиться многого. При этом для патчей модель тоже полезна, так что она важна и для «атаки», и для «защиты».

В Anthropic говорят, что благодаря Mythos у них на руках может быть уже более тысячи критических уязвимостей в популярнейшем софте (точное число сами не знают, потому что находят баги быстрее, чем успевают их подробно проверять). И что нет такого важного открытого проекта вроде браузера или ОС, где уязвимости бы не нашлись.

И соответственно, если бы такое стало доступно всем, то мейнтейнеры не успевали бы закрывать все уязвимости. Так что злоумышленники смогли бы причинить много вреда, потенциально вплоть до смертельных исходов, пользуясь багами во всём подряд.

Поэтому компания создала инициативу Glasswing: «Мы дадим закрытый доступ ряду ключевых проектов, чтобы там могли обнаружить уязвимости у себя и закрыть их. А вообще тут надо всей индустрией совместно справляться, давайте обмениваться опытом и противостоять возможным атакам». Вместо релиза Mythos планируют позже выпускать новые версии Opus, которые будут перенимать новые способности, но с ограничениями, чтобы их было затруднительнее использовать для атаки.

Заявления громкие. Но чем они подкрепляются? Anthropic выпустили технический разбор с несколькими примерами найденных уязвимостей.

Одна — в OpenBSD, позволяет злоумышленнику удалённо «уронить» компьютер под управлением этой системы. Причём этой уязвимости 27 лет, и всё это время она ускользала от внимания людей. Другая не особо смертельная — но при этом она в популярнейшем FFmpeg, и тоже возникла много лет назад. Anthropic показывают: смотрите, мы берём известный открытый код, который годами кто только ни проверял, и всё равно можем найти там проблему. (Тут вспоминается, что на Хабре PVS-Studio проделывали похожее с помощью статического анализа, но он развивается не с такой пугающей скоростью.)

А в конце приведён ряд хэшей с кратким описанием уязвимостей («позволяет обойти экран блокировки на смартфоне») и комментарием в таком ключе: «Мы пока не можем рассказать вам подробности об этих уязвимостях, потому что они ещё не исправлены. Но позже заменим эти хэши на подробности, тогда сами сможете убедиться».

Мнения людей о том, насколько всё это критично, различаются. Многих сильнее пугает не текущая ситуация, а перспективы её развития. Инициатива Glasswing предлагает: «Раз есть опасная штука, дадим её только стороне защиты». Но и за пределами Anthropic могут скоро добраться до схожего уровня — в том числе и в открытых моделях, доступных всей планете без ограничений. Напрашивается вопрос: что тогда?

А кроме того, как сейчас исправлять уязвимости у себя, если ты работаешь «на стороне защиты», но не входишь в число нескольких крупнейших опенсорс-проектов, так что тебе доступ к Mythos не дадут? В посте Anthropic дают советы в духе «Начните пока с Opus 4.6: и некоторая польза уже сейчас будет, и освоите инструмент, чтобы позже эффективнее использовать новые версии».

Calif

А помимо производителей LLM, высказываются и другие бизнесы. Например, security-компания Calif начала серию постов о уязвимостях, обнаруженных ей с помощью ИИ. Понятно, что там тоже мотивированы представлять свои находки как сенсационные. Но если мейнтейнеры софта их исправляют, уже появляется внешняя валидация, что это не просто ИИ-галлюцинации.

Один пост — «Мы нашли уязвимость в vim, пошутили про переход на Emacs, а затем нашли уязвимость и там тоже». По их утверждению, если пользователь откроет в vim определённый файл, а дальше начнёт вводить команду по привычному для vim двоеточию, то возможно будет исполнить какую-либо команду от его имени. И в этом случае мейнтейнеры уже выпустили фикс.

Другой пост — о том, что Николас Карлини (уже упомянутый выше) нашёл уязвимость в ядре FreeBSD, а затем в Calif по её описанию на сайте FreeBSD сумели сделать эксплойт. Получается, возможны ситуации, когда уязвимость находят одни, а эксплуатируют другие, причём ИИ помогает обеим сторонам.

Всё это сделано ещё до Mythos, с помощью LLM предыдущего поколения. Получается, дальше посты у подобных компаний могут стать суровее.

Выводы

Как мы писали во вступлении, тут хочется обойтись без пустых сенсационных криков. Но похоже, что Хабру тут есть что обсудить. Возникает много вопросов:

  • Получается, волна «ИИ-репортов», захлестнувшая опенсорс, из «мешающей жить» превращается в «частично полезную»?

  • Как теперь действовать мейнтейнерам, у которых может не хватать ресурсов обрабатывать поток?

  • Ситуация облегчит жизнь злоумышленникам, или наоборот, окажутся исправлены старые уязвимости и всё станет защищённее? Или то и другое сразу?

  • И самый сложный вопрос: пока что были «цветочки», а какими будут «ягодки»? Если ИИ уже полезен для поиска уязвимостей в ядре Linux, то что будет через год-другой?

Тут не хочется впустую спекулировать: какими именно будут LLM, полностью не знают даже те, кто их делает. Но глядя на прогресс за последние годы, не задумываться об этом тоже нельзя.

Так что будем рады разным мнениям в комментариях. Особенно от тех, кто по работе связан с подобными задачами и видел в последний месяц, что у передовых ИИ-моделей с ними сейчас.