Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток Информационная безопасность доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 9
Столько букоф, а результат скажем так сомнительный. Много писать лень, но использовать обычные модели особенно от OpenAI и Anthropic даже не смешно. Для таких целей используются их cybersec модели, про Anthropic ничего не могу сказать у меня к ней нет доступа, а к Daybreak Red есть, она реально ищет и если находит то может написать эксплуатацию того что нашла. Именно они "охотник за zero-day уязвимостями" и тд и тп. Кстати и китайские не аблитерированные модели тоже толком ничего делать не будут, именно поэтому они и находили у вас только low/info в лучшем случае.
Скрытый текст
Минусовать не буду, все таки есть и полезные вещи в статье
Проблему специализированных моделей вы сами же и назвали - к ним нет доступа у большинства пользователей... Понятно что они будут лучше искать, но и использовать их могут единицы. В данном же случае я взял самые распространённые (не очень дорогие) модели и самые популярные фреймворки для AI-пентеста.
Извините, но исследование выглядит странным и не очень системным. Например, сравнение инструмента на базе фронтир-модели (Claude+Burp MCP) c инструментом использующим, мягко говоря, далеко не лучшую даже из локальных моделей Qwen 3.5-35b - а что, собственно, ожидалось? Почему не GLM 5.3, например?
У разных инструментов разные модели, у некоторых вообще указан только провайдер, часть моделей старые или lightweight. Также непонятно были ли отказы у фронтир моделей.
Автор не потрудился даже изучить документацию на инструменты. Тот же PentAGI официально поддерживает локальные модели и используемую автором Ollama https://pentagi.com/docs/deployment/local-models/ - при этом в выводах локально указан только Strix.
Итоговый вывод понятен, но не подтвержден исследованием. Предполагается, что квалифицированный пентестер найдет больше уязвимостей, но насколько больше и за какое время и деньги автор не уточняет - а это именно те, метрики, что используются в сравнении. Также было бы интересно посмотреть на сравнение с коммерческими инструментами для ИИ-пентеста, в том числе российскими (раз уж появился в сравнении эммм недешевый acuntetix).
Наверное, как обзор на инструменты статья полезная для многих, но говорить о том, что исследование системное не стоит.
Илья, добрый день!
В целом согласен с замечаниями, спасибо. Отвечая на вопросы:
1. Что касается моделей Claude - (Opus 4.6/4.8) эмпирически пришёл к ним как к самым удобным на момент исследования т.к. в них меньше ограничений по безопасности. если выбирать более мощные модели - постоянно идут блоки.
2. Почему Qwen 3.5-35b - подобные модели компании разворачивают локально у себя в инфре, их можно запускать вместе с strix и не боятся что данные улетят третьим лицам. Многим это важно
3. По PentAGI принимается, но всё равно слишком сырая, думаю с локальной моделью было бы ещё хуже...
4.сравнить с коммерческими инструментами для ИИ-пентеста самому было бы интересно)
* Accunetix добавил т.к. есть "возможность" использовать его без оплаты.
Очень интересное сравнение! Особенно важно, что все инструменты тестировались в одинаковых условиях, в режиме «чёрного ящика» и без дополнительных подсказок. На мой взгляд, при оценке AI-агентов для пентеста важно учитывать не только процент успешных проверок, но и количество ложноположительных результатов, воспроизводимость найденных уязвимостей и реальную стоимость тестирования. Интересно, как показали себя гибридные решения AI + DAST по сравнению с классическими сканерами и полностью автономными AI-агентами?
Очень полезное исследование — наконец-то кто-то не поленился сравнить маркетинг с реальностью xD Особенно понравилось, что вы включили критерий работоспособности из РФ — т.к. часто это может быть проблемой если мы говорим про использование подобных инструментов внутри компании.
Интересный момент с Claude + Burp MCP: он нашёл логические уязвимости (манипуляция купонами, отрицательное количество товара), которые в принципе обычно недоступны классическим сканерам. Не думали ли вы протестировать сценарий, где пентестер работает в паре с Claude в режиме диалога, а не просто запускает автоматический скан? Было бы интересно сравнить покрытие: автономный AI vs человек + AI в интерактивном режиме. Подозреваю, что именно этот формат может существенно сдвинуть цифну обнаруженных файндингов...
Ещё вопрос, а METATRON не рассматривали как инструмент?
За статью лайк, полезно !
Сыровато, так сравнения не делают, нельзя сравнивать инструменты запуская их на разных моделях, вплоть до промптов все должно быть одинаково. Например, opus 4.6 (не 4.8, потому что там guardrails ниже) выносит ваш owasp juice shop вперед ногами в очень короткое время - и тогда вопрос, зачем ему вообще этот харнес обвес вокруг? Я вам подскажу, берете китайскую модель, которую можно хостить локально или очень дешевую типа qwen3.8-27b, deepseek-4.1-flash (0731 хотя бы, потому что там на 50% меньше GPU надо чтобы захостить его локально), glm-5.3 flash и запускаете тесты снова. Иначе эта работа просто мусор. Нет смысла вкручивать туда фронтир модели, если в реальной жизни вы с этим не можете пойти к клиенту и обеспечить ему абсолютную сохранность ваших данных.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
AI-инструменты для пентеста: насколько они эффективны на самом деле?