никто и не говорил, мы проверили. LLM модели чаще всего сейчас достаточно универсальны, поэтому через Openrouter похожие задачи мы крутили почти на всех доступных. Вот добрались и до отечественных.
Мы постарались быть максимально объективными и сделали соответствующие оговорки (о том, что мы сравниваем модели в конкретных специфических задачах и условиях, для других задач данные LLM возможно давали бы совсем другой результат). Но результаты тестов, как по качеству, так и по цене - представлены. Выводы же ("провалил" и т.п.) может делать читатель. Писал не ChatGPT.
Существуют разные ограничения комплаенса. Часто они касаются отсутствия трансграничной передачи данных - и это как в случае Гигачата соблюдается. Использование локальных моделей конечно возможно, но они также значительно слабее фронтир-моделей.
Возможно чуть избыточно, но очень просто реализуемо и для человеческого восприятия очень хорошо. Как и менее красивые, но удобные для восприятия другими агентами md-файлы, или txt просто со списком IP-объектов для блокировки, которые удобно загружать в Ideco NGFW (хотя в принципе агент может делать это и автономно).
Взяли ее как эквивалент локально развернутой на приемлемой по цене железке LLM. Чтобы можно было понять возможность использования агентов без передачи информации во вне и в закрытом контуре.
В следующих статьях серии мы используем для сравнения и Claude Security Opus 4.8, специальную версию для ИБ задач.
В июне будет обновление до 21-ой версии. Но утверждение что "хоть какие-то обновления" не совсем верно. Во-первых сама 19-ая версия ФСТЭК вышла всего год назад. Во-вторых она получила за это время 18 минорных обновлений, которые включали в том числе и некоторую новую функциональность (в мае, например, интеграцию в FreeIPA).
Но да, Novum развивается такими темпами, что это может показаться прошлым веком. Очень скоро догоним.
Спасибо за подробный комментарий. Естественно что фронтир-модели сильнее. Смысл использования в эксперименте именно бесплатной модели был не в цене. Разово цена такого пентеста по токенам - не проблема. Но единичный пентест не имеет особенной практической ценности.
Мы исследуем эффективность AI-redteam команды использующей локальные LLM (т.к. часто в закрытых контурах применять облачные модели невозможно, как и отдавать им чувствительные данные). Поэтому бесплатная модель была взята, т.к. подобные по мощности можно использовать и локально.
Для теста мы специально использовали полностью бесплатную модель (даже в дневные лимиты в Openrouter не уперлись (320 запросов при лимите в 1000, если на счету больше 10$). Cloude Opus 4.8 дает лучший результат, но там стоило бы примерно 200$ за подробный пинтест одного ресурса.
Разумеется он может заполнять формы, проходить авторизацию (если дать реквизиты, брутфорс учетных данных делать не будет). Векторы атак разделяет, как может, в зависимости опять же от используемой LLM под капотом.
Тут дело в том что "нормально защищенная система" не статична. Сегодня нормально, завтра там что-нибудь навайбкодили, или просто в компонентах появилась пачка CVE. А агент ночью протестировал и возможно передал другим агентам на исправление - и тогда будет безопасно, на шаг впереди злоумышленников.
Ну факты в Firefox, в последних релизах Suricata и nginx (там возможно не Mythos, а другие модели, но дела это не меняет) говорят что AI-инструменты эффективны как минимум в поиске "хитрых" уявзимостей.
Как каталог (например корпоративный в локальном DNS) агентов и их навыков. Чем больше "зоопарк" агентов, тем больше это нужно. По аналогии с сервисами, для которых также удобно использовать DNS.
Абсолютная безопасность конечно не возможна в принципе. "Тогда это уже не замена одной упрощённой модели доверия другой, а эшелонированная система защиты информации." - да, но в ее центре именно идентификация, а не просто "правила файрвола", например.
Спасибо за обратную связь. Действительно taint tracking / information flow control подход более строгий, чем identity first, но и гораздо более дорогой в реализации. Он требует переписывания значительного числа и СЗИ и прикладного и системного софта, который не рассчитан на работу с окрашенными данными - возможно пока это утопия (впрочем, если агентское программирование выстрелит совсем круто, стоимость такого переписывания уменьшится на порядки и станет возможным).
Identity first же компромис на существующих технологиях, но способный существенно поднять уровень защиты. Решение первого кейса - не разовая, а непрерывная аутентификация (контроль сессии, с привязкой ее к нужным IP, физическому устройству, программной среде и т.п. дополнительным факторам). И это не теория, многое в Ideco Client у нас как раз реализовано, и "украсть" его сессию (при правильной настройке) не получится - необходимо корпоративное устройство (а скоро будет возможность привязки и к криптотокенам, причем не разовое, а постоянная проверка его наличия и валидности), нужная программная среда (HIP-профиль по многим факторам), многофакторная аутентификация и т.д.
Странные выводы. Мы объясняли, зачем в задачах ИБ нужна суверенная модель (для исключения трансграничной передачи данных).
Мы провели эксперименты со многими, в том чинлокальными моделями. Специальных иб-моделей нет (среди именно llm). Но работают многие хорошо.
никто и не говорил, мы проверили. LLM модели чаще всего сейчас достаточно универсальны, поэтому через Openrouter похожие задачи мы крутили почти на всех доступных. Вот добрались и до отечественных.
OWL Alpha через Openrouter кстати у нас тоже хорошо себя показала.
Надо будет Яндекс попробовать
Мы постарались быть максимально объективными и сделали соответствующие оговорки (о том, что мы сравниваем модели в конкретных специфических задачах и условиях, для других задач данные LLM возможно давали бы совсем другой результат).
Но результаты тестов, как по качеству, так и по цене - представлены. Выводы же ("провалил" и т.п.) может делать читатель.
Писал не ChatGPT.
специально для этого и провели сравнение. Чтобы не просто "иметь мнение", как по стоимости, так и по качеству.
Существуют разные ограничения комплаенса. Часто они касаются отсутствия трансграничной передачи данных - и это как в случае Гигачата соблюдается.
Использование локальных моделей конечно возможно, но они также значительно слабее фронтир-моделей.
Эта модель не брала такие задачи
Возможно чуть избыточно, но очень просто реализуемо и для человеческого восприятия очень хорошо. Как и менее красивые, но удобные для восприятия другими агентами md-файлы, или txt просто со списком IP-объектов для блокировки, которые удобно загружать в Ideco NGFW (хотя в принципе агент может делать это и автономно).
Взяли ее как эквивалент локально развернутой на приемлемой по цене железке LLM. Чтобы можно было понять возможность использования агентов без передачи информации во вне и в закрытом контуре.
В следующих статьях серии мы используем для сравнения и Claude Security Opus 4.8, специальную версию для ИБ задач.
https://claude.com/product/claude-security
В июне будет обновление до 21-ой версии.
Но утверждение что "хоть какие-то обновления" не совсем верно.
Во-первых сама 19-ая версия ФСТЭК вышла всего год назад. Во-вторых она получила за это время 18 минорных обновлений, которые включали в том числе и некоторую новую функциональность (в мае, например, интеграцию в FreeIPA).
Но да, Novum развивается такими темпами, что это может показаться прошлым веком. Очень скоро догоним.
Спасибо за подробный комментарий. Естественно что фронтир-модели сильнее.
Смысл использования в эксперименте именно бесплатной модели был не в цене.
Разово цена такого пентеста по токенам - не проблема.
Но единичный пентест не имеет особенной практической ценности.
Мы исследуем эффективность AI-redteam команды использующей локальные LLM (т.к. часто в закрытых контурах применять облачные модели невозможно, как и отдавать им чувствительные данные). Поэтому бесплатная модель была взята, т.к. подобные по мощности можно использовать и локально.
Для теста мы специально использовали полностью бесплатную модель (даже в дневные лимиты в Openrouter не уперлись (320 запросов при лимите в 1000, если на счету больше 10$).
Cloude Opus 4.8 дает лучший результат, но там стоило бы примерно 200$ за подробный пинтест одного ресурса.
Разумеется он может заполнять формы, проходить авторизацию (если дать реквизиты, брутфорс учетных данных делать не будет). Векторы атак разделяет, как может, в зависимости опять же от используемой LLM под капотом.
Тут дело в том что "нормально защищенная система" не статична. Сегодня нормально, завтра там что-нибудь навайбкодили, или просто в компонентах появилась пачка CVE.
А агент ночью протестировал и возможно передал другим агентам на исправление - и тогда будет безопасно, на шаг впереди злоумышленников.
Ну факты в Firefox, в последних релизах Suricata и nginx (там возможно не Mythos, а другие модели, но дела это не меняет) говорят что AI-инструменты эффективны как минимум в поиске "хитрых" уявзимостей.
читаем, там менее подробно показалось и без мыслей о том, что стоит изменять в ИБ-процессах.
Как каталог (например корпоративный в локальном DNS) агентов и их навыков.
Чем больше "зоопарк" агентов, тем больше это нужно.
По аналогии с сервисами, для которых также удобно использовать DNS.
Уязвимостям присвоены CVE:
CVE-2026-43284, CVE-2026-43500
спасибо, поправили, ошибка при копировании и вставке в редактор хабра
Абсолютная безопасность конечно не возможна в принципе.
"Тогда это уже не замена одной упрощённой модели доверия другой, а эшелонированная система защиты информации." - да, но в ее центре именно идентификация, а не просто "правила файрвола", например.
Спасибо за обратную связь. Действительно taint tracking / information flow control подход более строгий, чем identity first, но и гораздо более дорогой в реализации. Он требует переписывания значительного числа и СЗИ и прикладного и системного софта, который не рассчитан на работу с окрашенными данными - возможно пока это утопия (впрочем, если агентское программирование выстрелит совсем круто, стоимость такого переписывания уменьшится на порядки и станет возможным).
Identity first же компромис на существующих технологиях, но способный существенно поднять уровень защиты. Решение первого кейса - не разовая, а непрерывная аутентификация (контроль сессии, с привязкой ее к нужным IP, физическому устройству, программной среде и т.п. дополнительным факторам). И это не теория, многое в Ideco Client у нас как раз реализовано, и "украсть" его сессию (при правильной настройке) не получится - необходимо корпоративное устройство (а скоро будет возможность привязки и к криптотокенам, причем не разовое, а постоянная проверка его наличия и валидности), нужная программная среда (HIP-профиль по многим факторам), многофакторная аутентификация и т.д.