Pull to refresh
16K+
2
15
Rating
Send message

Как контроль Shadow AI связан с контролем ИИ‑агентов

Level of difficultyEasy
Reading time6 min
Reach and readers7.1K

«У нас ИИ нет, мы только планируем внедрение» – самый обманчивый ответ. На практике это почти всегда означает: инвентаризации нет, видимости нет, политик нет. При этом сотрудники уже используют публичные модели, IDE-агенты, локальные ассистенты и low-code инструменты с доступом к рабочим данным.

Классический Shadow AI – это использование сотрудниками ChatGPT, Claude или аналогичных сервисов без ведома ИТ и службы безопасности. Но большинство LLM Firewall видят только на уровне вызова «теневых» моделей (API-трафик к моделям) и почти не видят то, что происходит на локальных машинах.

При этом настоящий Shadow AI живет глубже: в MCP-инструментах, локальных desktop-агентах, встроенных в корпоративные приложения, в IDE разработчиков и на рабочих станциях сотрудников. Именно поэтому контроль Shadow AI сегодня невозможно рассматривать отдельно от runtime-контроля ИИ-агентов.

Читать далее

Зрелость внедрения ИИ и зрелость информационной безопасности ИИ

Level of difficultyEasy
Reading time13 min
Reach and readers8.2K

Две зрелости – внедрения ИИ и его защиты – почти никогда не совпадают, и именно зазор между ними даёт большинство инцидентов и претензий регулятора.

В статье приведём обе оси к единой шкале CMMI, покажем, как организации проходят узнаваемые состояния (от отрицания до бесконтрольных агентов), и свяжем всё это с Приказом ФСТЭК № 117 и российскими стандартами.

Читать далее

Как внедрять MLSecOps: пять этапов практического road-map

Level of difficultyMedium
Reading time8 min
Reach and readers8.1K

MLSecOps переносит принципы DevSecOps на ИИ-системы. Он делает безопасность измеримой, воспроизводимой и встроенной в разработку и эксплуатацию, а не «прикрученной» в конце. В этой статье мы описываем практический road-map из пяти этапов, который позволяет последовательно выстроить этот контур: от видимости и политик к управляемому доступу, контролю кода, runtime-защите и полноценным AI Security Operations.

Этапы нельзя перепрыгивать. Каждый последующий опирается на результаты предыдущего. Расскажем про конкретные шаги, типы инструментов и метрики, по которым можно понять, что система действительно работает.

Читать далее

MLSecOps от кода до продакшена: разные акценты для разных сценариев использования ИИ

Level of difficultyMedium
Reading time16 min
Reach and readers6.8K

В этой статье рассмотрим два сценария использования ИИ в разработке: в первом случае ИИ помогает разработчику писать код, во втором ИИ становится частью продукта и начинает работать с пользователями, данными, API, бизнес-логикой и внешними инструментами.

Разница между этими сценариями критична и если их смешивать, то легко построить либо избыточный и неудобный контроль, либо, наоборот, пропустить критичные угрозы.

В первом сценарии основные точки контроля должны находиться как можно ближе к разработчику, а во втором – должны быть ближе к ИИ-модели.

Читать далее

Мост между SAST и фаззингом: как из сработки SAST получить подтверждённую уязвимость

Level of difficultyHard
Reading time17 min
Reach and readers10K

Инструменты статического анализа (SAST) лишь подсвечивают вероятные уязвимости, генерируя гипотезы. Динамическое тестирование (DAST) и фаззинг, напротив, выявляют реальные сбои на работающем приложении и фиксируют вектор атаки, но не указывают на конкретную строку в исходниках. Традиционно эти два подхода существуют в изоляции, образуя методологический разрыв, преодолеть который способен только AppSec-эксперт путем кропотливого ручного триажа.

В этой статье мы расскажем про то, как в INFERA AI.SafeCode уменьшаем поток ложных срабатываний в целом, зачем для этого формируем единый реестр знаний о проекте, и как строим мост от SAST к автоматически подтверждаемой уязвимости.

Читать далее

От сотен алертов к доказанным уязвимостям: как эволюционирует DevSecOps при объединении 7 сканеров в единый пайплайн

Level of difficultyMedium
Reading time10 min
Reach and readers8.3K

Классический подход к Application Security сегодня переживает кризис, ситуацию усугубляет бум AI-помощников (GitHub Copilot, Cursor, Claude). Разработка ускорилась кратно, но вместе с ней масштабировалась и генерация небезопасного кода. Разработчик теперь может сгенерировать за час то, что раньше писал день, при этом уязвимости тоже начинают появляться с такой же скоростью. Если процесс безопасности остался прежним, AppSec быстро превращается в узкое место.

В этой статье мы разберем архитектуру и механику работы INFERA AI.SafeCode – платформы непрерывного анализа кода, которая отказывается от концепции «просто показать список подозрений» в пользу автоматического доказательства уязвимостей и MLSecOps-подхода.

Решение объединяет SAST, SCA, Secrets, DAST, Pentest, Code Fuzzing и API Fuzzing в единый DevSecOps / MLSecOps-контур.

Статья продуктовая, но мы ее публикуем на HABR не как рекламную, а как концептуальную. Хотим показать, как меняются подходы к безопасной разработке и насколько неэффективным становится «разрозненный» AppSec в эпоху ИИ и вайб-кодинга.

Читать далее

Vibe coding без иллюзий: как ИИ ускоряет разработку и ломает безопасность

Level of difficultyMedium
Reading time11 min
Reach and readers11K

Разработчики используют GitHub Copilot, Claude Code, Cursor, Codeium, Tabnine, локальные LLM и внутренние AI-агенты не только для генерации тестов или рефакторинга, но и для написания бизнес-логики, инфраструктурного кода, CI/CD-конфигураций, миграций БД и API-контрактов.

Vibe coding действительно ускоряет разработку, но с точки зрения информационной безопасности он меняет саму модель контроля. Организация начинает терять прозрачность в двух критичных точках: какие данные уходят в ИИ-модель, а также откуда взялся сгенерированный код, насколько он безопасен и кто фактически принял инженерное решение.

В этой статье разберём: что ломается в привычной модели DevSecOps при переходе к vibe coding; какие новые риски появляются у AI-сгенерированного кода; почему контролировать нужно не только код, но и все взаимодействия разработчиков и AI-агентов с LLM.

Читать далее

LLM/AI Firewall и Agent Runtime Security: как защитить корпоративных ИИ-агентов в 2026 году

Level of difficultyMedium
Reading time5 min
Reach and readers7K

В 2025–2026 годах компании массово переходят от простых чат-ботов к автономным ИИ-агентам. При этом агенты не просто отвечают, а выполняют реальные действия: работают с почтой, базами данных, API, кодом и даже запускают цепочки задач в мультиагентных системах.

Вместе с возможностями пришли новые риски. Классические средства защиты – WAF, DLP и даже первые поколения LLM Firewall оказались недостаточными. Появилось новое направление – Agent Runtime Security.

В этой статье разберём, почему так произошло, как эволюционировала защита ИИ систем и как с задачами справляется INFERA AI.Firewall, в котором уже реализованы ключевые элементы этой парадигмы.

Читать далее

ML Red Teaming для LLM: можно ли обойтись open source-инструментами?

Level of difficultyMedium
Reading time9 min
Reach and readers9.4K

В этой статье расскажем про основные классы атак и практическую структуру тестирования ИИ-моделей на уязвимости – от провоцирования галлюцинаций и многошаговых атак до проверки на утечку корпоративных данных. Отдельно объясняем, как правильно оценивать результаты сканирования ML Red Teaming, дадим рекомендации по выстраиванию защиты и безопасному использовании ИИ в корпоративной среде.

ML Red Teaming (AI Red Teaming) – это специализированная форма наступательного тестирования, при которой команда имитирует действия реальных злоумышленников против систем машинного обучения, больших языковых моделей, генеративного ИИ и агентных систем. В отличие от классического пентеста, здесь цель не просто «взломать», а найти уязвимости, присущие именно ИИ-компонентам, оценить риск и повысить реальную устойчивость используемой ИИ-модели.

Статья будет полезна специалистам по информационной безопасности, ML-инженерам, Red Team специалистам и разработчикам, которые занимаются тестированием и защитой LLM-приложений в корпоративной среде.

Читать далее

Влияние ИИ на кибербезопасность: MITRE ATLAS и новый ландшафт угроз

Level of difficultyMedium
Reading time10 min
Reach and readers7.7K

Сегодня искусственный интеллект кардинально меняет как подходы к защите, так и методы атак. С развитием технологий ИИ-модели могут обрабатывать и анализировать огромные объемы данных в реальном времени. Это активно использует не только бизнес, но и злоумышленники.

В статье рассмотрим современные методы атак на AI и ML-системы, расскажем про практическое применение MITRE ATLAS для моделирования угроз и выстраивания защиты через четыре системных элемента: AI Среда, AI Платформа, AI Модель и AI Данные.

Читать далее

AI/LLM Firewall на практике: сценарии атак и методы защиты

Level of difficultyMedium
Reading time10 min
Reach and readers12K

В данной статье расскажем о кейсах с наиболее интересными угрозами, связанными с применением LLM, проведем анализ вариантов применения AI/LLM Firewall, сопоставим их с актуальными тактиками и техниками из фреймворка MITRE ATLAS и списка рисков OWASP Top 10 for LLM. Разберем сценарии атак с детальными схемами и методами защиты на примере решения INFERA AI.Firewall.

Почему традиционных средств защиты недостаточно?

Современные системы на базе LLM представляют собой принципиально новую атакуемую поверхность. Как справедливо отмечается в отчете Cloud Security Alliance (CSA) на саммите RSAC 2025, «защита промптов – это лишь часть проблемы, а не её решение». Если традиционный межсетевой экран (WAF) защищает от эксплуатации веб-протоколов (HTTP-инъекции, XSS), то AI/LLM Firewall работает на уровне семантики – он понимает значение и контекст запроса, что никогда ранее не рассматривалось средствами защиты.

Более того, фреймворк MITRE ATLAS уже включает более 80 техник, направленных именно против ИИ-систем и не пересекающихся с угрозами для других систем. Игнорировать этот объем угроз – значит подвергать бизнес серьезному риску.

AI/LLM Firewall становится тем инструментом, который позволяет реализовать около 70% мер защиты, интегрируя их в существующие рабочие процессы центров безопасности SOC. Но, прежде чем говорить о защите, необходимо понять, от чего именно мы защищаемся.

Читать далее

Information

Rating
586-th
Works in
Registered
Activity