Президент и главный исполнительный директор Nvidia Дженсен Хуанг день выхода GhatGPT называет «iPhone moment of AI». Это событие произошло 30 ноября 2022 года, а уже в январе следующего года сервис ежемесячно насчитывал 100 миллионов активных пользователей.
За несколько лет технологии ИИ заслужили популярность в том числе и среди компаний – согласно отчёту McKinsey в 2025 году 88% компаний заявляли об использовании ИИ хотя бы в одной бизнес-функции.
Наряду с этим для злоумышленников ИИ становится и целью, и инструментом атаки. Такой факт подтверждается майским отчетом Google AI Threat Tracker – его обзор опубликован в моём канале.
В итоге компании внедрили технологии ИИ и начали задумываться о безопасности. А ведь многие процессы обеспечения информационной безопасности основываются на моделировании угроз. Откуда же можно узнать о возможных угрозах ИБ, связанных с использованием ИИ?
Эта статья поможет ответить на этот вопрос – в ней представлен обзор основных источников для сбора информации такого рода, а в выводах определен лучший. Некоторые из таких источников лучше подходят для быстрого ознакомления, по другим можно строить модель угроз или использовать их в научных целях.
Чтобы почувствовать разницу нужно читать статью, а для быстрого ознакомления достаточно взглянуть на схему:
Меня зовут Вячеслав Мосин, я учусь в магистратуре AI Talent Hub в ИТМО и прохожу практику в лаборатории ITMO AI Security Lab, а на работе занимаюсь DevSecOps и MlSecOps. Эта статья написана в рамках работы в лаборатории.
MITRE Atlas
Ссылки:
Частота обновлений:
Высокая – примерно один раз в месяц, можно отслеживать по репозиторию.
Коротко о структуре:
Тактики обозначают этапы атаки и содержат техники, а уже они связываются с другими объектами:
Подтехники (опционально);
Примеры эксплуатации;
Митигации.
Статистика на момент подготовки статьи:
Суммарное количество техник и подтехник злоумышленников: 173;
Количество способов митигации: 35;
Количество примеров эксплуатации: 63.
Особенности источника:
Компания MITRE уже более десяти лет поддерживает популярную в сфере информационной безопасности матрицу тактик и техник злоумышленников MITRE ATT&CK. Рост популярности систем ИИ привел к развитию новых техник атак, для их систематизации компания MITRE выпустила отдельную матрицу под названием Atlas.
Веб-интерфейс это хорошо, но его парсинг затруднителен. На такой случай автоматический сбор техник можно организовать из GitHub репозитория mitre-atlas/atlas-data – в нем техники, митигации и примеры реализации разложены в yaml-файлах, помимо этого репозиторий содержит вспомогательные инструменты для парсинга, валидации и управления содержимым.
В матрице ATLAS аналогично прародителю в виде MITRE ATT&CK все техники объединены в группы по тактикам. Тактики отражают этапы атаки (разведка, подготовка ресурсов, получение первоначального доступа и так далее), а техники описывают способы реализации.
Интересный факт – структура, состоящая из тактик и техник, позволяет в удобном виде отобразить уровень защищенности по каждому этапу атаки. Например, компания Positive Technologies использует именно MITRE ATT&CK для демонстрации покрытия техник своими инструментами ИБ:
Список тактик из MITRE ATLAS
Разведка (AML.TA0002) — сбор сведений об ИИ-системе для подготовки атаки.
Подготовка ресурсов (AML.TA0003) — создание инфраструктуры и ресурсов для проведения атаки.
Первоначальный доступ (AML.TA0004) — получение доступа к ИИ-системе.
Доступ к модели ИИ (AML.TA0000) — получение доступа к модели на любом уровне.
Выполнение (AML.TA0005) — запуск вредоносного кода через ИИ-артефакты или программное обеспечение.
Закрепление (AML.TA0006) — сохранение присутствия в системе.
Повышение привилегий (AML.TA0012) — получение расширенных прав доступа.
Уклонение от обнаружения (AML.TA0007) — обход механизмов выявления атак.
Получение учётных данных (AML.TA0013) — кража учётных записей и паролей.
Исследование среды (AML.TA0008) — изучение инфраструктуры и окружения системы.
Латеральное перемещение (AML.TA0015) — перемещение между компонентами инфраструктуры.
Сбор данных (AML.TA0009) — сбор ИИ-артефактов и другой ценной информации.
Подготовка атаки на ИИ (AML.TA0001) — адаптация атаки с учётом особенностей целевой системы.
Командование и управление (AML.TA0014) — удалённое управление скомпрометированными ИИ-системами.
Эксфильтрация (AML.TA0010) — похищение ИИ-артефактов и сведений о системе.
Воздействие (AML.TA0011) — нарушение работы ИИ-системы, манипуляция данными или подрыв доверия к ней.
Для каждой техники определяется:
идентификатор;
ссылка на родительскую тактику;
зрелость техники: feasible (теоретически осуществимо), demonstrated (практически подтверждено), realized (зафиксировано в реальных атаках);
целевая платформа: Predictive AI, Generative AI, Agentic AI, Enterprise;
количество известных примеров эксплуатации;
количество митигаций;
даты создания и обновления.
Преимущества источника:
Угрозы сгруппированы по тактикам, каждая из которых обозначает очередной этап атаки, а их последовательность позволяет смотреть на безопасность системы с точки зрения злоумышленника.
Имеет знакомую структуру для специалистов ИБ благодаря прародителю в виде MITRE ATT&CK.
Предусмотрена фильтрация техник по готовности к использованию в атаках и по целевой платформе.
Часто обновляется.
Удобное версионирование, есть возможность ссылаться объекты разных версий MITRE Atlas, например: https://atlas.mitre.org/v/2026.06/techniques/AML.T0067.
Данные представлены в двух формах – человекочитабельный веб-интерфейс и удобный для парсинга GitHub репозиторий.
OWASP Top 10 (Agentic, Agentic Skills, LLM, MCP)
Ссылки:
Частота обновлений:
Низкая/средняя (зависит от документа, например, история ревизий OWASP Top 10 for LLM: 2023-08-01 -> 2023-10-16 -> 2024-11-18 -> 2026-08-03).
Коротко о структуре:
Расписаны списки угроз, к ним привязываются:
стратегии защиты и митигации;
примеры сценариев атак;
ссылки на релевантные ресурсы.
Особенности источника:
Компания OWASP широко известна благодаря своим рейтингам самых критичных и распространенных угроз по разным направлениям информационной безопасности.
По теме безопасности ИИ полезны следующие документы: OWASP Agentic Skills Top 10, OWASP Top 10 for Agentic Applications, OWASP Top 10 for LLM, OWASP MCP Top 10.
Топы OWASP преимущественно публикуются в виде pdf-файлов, но, к примеру, для Agentic Skills Top 10 есть более наглядное представление:
Преимущества источника:
Свои топы эксперты OWASP стараются формировать угрозами, наиболее интересными для атакующих – именно такая информация полезна для приоритезации рисков.
OWASP популярен, из-за этого его поддержка заложена из коробки во многих инструментах информационной безопасности (к примету, guardrails классифицируют зловредные запросы по сущностям OWASP Top 10 for LLM, а сканеры моделей содержат встроенные наборы атак для проверки модели по угрозам из OWASP).
Слабые стороны:
Каждый документ от OWASP содержит всего лишь 10 рисков, это не позволяет собрать полную модель угроз.
Не все документы обновляются с постоянной периодичностью.
Google Secure AI Framework (SAIF)
Ссылки:
Частота обновлений:
Неизвестна – в документе нет обозначения дат публикации или изменений
Коротко о структуре:
Веб-ресурс разделен на четыре вкладки: на одной сама карта с компонентами систем ИИ, на трех остальных расположены описания компонентов систем, риски и меры защиты.
Особенности источника:
В SAIF заложено шесть принципов:
Распространение надежных базовых механизмов безопасности на экосистему ИИ.
Интеграция в пространство угроз компании путем разработки для систем ИИ правил детектирования атак и реагирования на них.
Автоматизация мер защиты под новые угрозы.
Унификация средств контроля для обеспечения единообразного подхода к безопасности во всей организации.
Адаптация механизмов контроля, совершенствование мер снижения рисков, ускорение релизных циклов и получение обратной связи при внедрении ИИ.
Анализ рисков систем ИИ в контексте окружающих бизнес-процессов.
Принципы реализуются путем анализа рисков, связанных с четырьмя слоями систем ИИ:
Данные – итоговые веса моделей зависят в основном от данных и процесса обучения, поэтому в SAIF уделяется значительное внимание следующим аспектам:
источники данных: оригинальные источники, репозитории из которых стягиваются данные для потенциального использования при обучении;
фильтрация и обработка: процесс обработки, трансформации и подготовки в готовый к обучению формат;
итоговый набор тренировочных данных.
Инфраструктура – безопасность данных зависит от нижележащей инфраструктуры, в этом вопросе рассматривается следующее:
используемые фреймворки и сам код;
процессы обучения, донастройки (tuning) и оценки качества (evaluation);
хранилища данных и моделей;
инструменты и процесс деплоя моделей.
Модель:
модель рассматривается как объединение кода и весов, полученных после обучения;
отдельно анализируются механизмы обработки входных и выходных данных.
Приложение:
в контексте фреймворка приложением считается продукт или его компонент, использующий ИИ;
агент – в SAIF определен чёткий критерий отличия агента от приложения: любое приложение, которое может вызывать инструменты (tool use) считается агентом, при этом инструментами могут быть другие сервисы, приложения или дополнительные модели.
Компоненты соотносятся с рисками. На момент написания статьи рисков содержится 15 штук
Data Poisoning
Unauthorized Training Data
Model Source Tampering
Excessive Data Handling1
Model Exfiltration
Model Deployment Tampering
Denial of ML Service
Model Reverse Engineering
Insecure Integrated Component
Prompt Injection
Model Evasion
Sensitive Data Disclosure (Updated)
Inferred Sensitive Data
Insecure Model Output
Rogue Actions (Updated)
Для каждого риска определено:
Ответственная группа лиц – создатели моделей и/или их пользователи.
Описание риска.
Схемы из SAIF Map с этапами, на которых риск может быть внедрен в систему, обнаружен и устранен.
Связанные меры контроля.
Примеры реализации угрозы.
Меры снижения рисков расписаны по четырем компонентам систем ИИ и по двум дополнительным группам: assurance (обеспечение уверенности в безопасности системы) и governance (организационная основа).
Преимущества источника:
Для каждого риска наглядно демонстрируются точки в системе, где этот риск может быть внедрен, обнаружен и устранен.
Разделение рисков на зоны ответственности (создатели моделей и отдельно их пользователи) позволяет сузить группу сопровождающих в конкретном кейсе.
Для каждого риска расписаны примеры реализации.
По Google SAIF разработан интерактивный опросник, позволяющий интерактивно отобрать релевантные риски.
Слабые стороны:
Угрозы не связываются с аналогами из других источников.
Угроз мало и описаны они на высоком уровне абстракций – для построения полноценной модели угроз данный источник не подходит, но будет полезен для быстрого ознакомления с темой безопасности ИИ.
Сбер - Модель угроз для кибербезопасности AI
Ссылки
Частота обновлений:
Средняя – первая версия выпущена в апреле 2025, вторая в июле 2026.
Коротко о структуре:
Актуализированная модель описывает 37 угроз и 51 способ их реализации. Угрозы и способы реализации чётко разделены; для каждой угрозы определены возможные последствия, нарушаемые свойства информации, связанные объекты и этапы жизненного цикла. В документе введены категории внешних и внутренних нарушителей, отличающихся уровнем осведомлённости, технических возможностей и доступа к компонентам AI-решения. Также расширен перечень объектов защиты: он включает компоненты, которые ранее не рассматривались, но сегодня стали критическими точками атак.
Источник: https://www.sberbank.ru/ru/person/kibrary/experts/model-ugroz-kiberbezopasnosti-ai_2
Особенности источника:
Во второй версии модели эксперты Сбера реализовали разделение на угрозы и способы реализации:
В основе данной версии модели угроз лежит разделение на угрозы КБ AI и способы их реализации. Такое разделение позволяет выстраивать многоуровневую защиту — блокировать действия нарушителя на ранних этапах и минимизировать последствия в случае реализации угрозы.
Кроме того, в обновленной версии модели угрозы наложены на матрицу MITRE Atlas и вот как это выглядит:
До обсуждения самих угроз стоит еще отметить вот что - в документе довольно коротко и вполне читабельно расписаны определения многих терминов и описано "практическое руководство по работе с документов", содержащее принципы оценки угроз кибербезопасности и алгоритм работы с моделью угроз с примером:
Объекты расписаны отдельно от угроз и помимо текстового формата представлены в виде схемы, ниже ее часть:
Завершая процитирую выводы по анализу новой версии модели угроз из канала Борис_ь с ml:
Версия 2.0 похожа на конструктор частной модели угроз: что защищаем, что может произойти, как, кто способен это сделать и кто отвечает за меры. Она не заменяет анализ архитектуры, оценку риска и проектирование защиты, зато делает процесс менее произвольным. Главное развитие документа - связность: от архитектуры и сценария атаки до ответственного за защиту.
Преимущества источника:
Четкая структура с разделением на угрозы и способы реализации.
Актуальный список угроз.
По модели построено множество схем и представлений данных.
Документ определяет роли и зоны ответственности за меры защиты.
Слабые стороны:
Нет связи угроз с реальными инцидентами и мерами защиты.
ФСТЭК - Угрозы безопасности информации систем искусственного интеллекта
Ссылки
Частота обновлений:
Неизвестно – в документе нет обозначения даты публикации или изменений.
Коротко о структуре:
Угрозы характеризуются по среде (разработка или эксплуатация), для каждой среды выделены свои объекты воздействия, угрозы и способы их реализации.
Особенности источника:
Интересный факт: ФСТЭК поддерживает крупный банк данных угроз безопасности информации и в него уже добавлялись угрозы, связанные с искусственным интеллектом:
УБИ.221: Угроза модификации модели машинного обучения путем искажения («отравления») обучающих данных.
УБИ.220: Угроза нарушения функционирования («обхода») средств, реализующих технологии искусственного интеллекта.
Однако же потом это поменялось и теперь все угрозы безопасности ИИ размещены на выделенной странице и удалены из общего банка угроз.
На текущий момент документ от ФСТЭК описывает угрозы на высоком уровне абстракций. Использовать его можно на старте, но для построения полной модели угрозы понадобятся дополнительные ресурсы.
Преимущества источника:
Документ позволяет оценить направление движения отечественного регулятора в сфере безопасности ИИ.
Слабые стороны:
Высокий уровень абстракций не позволяет использовать документ для построения полноценной модели угроз.
Cisco - Integrated AI Security and Safety Framework
Ссылки:
Главная страница: Integrated AI Security and Safety Framework;
arXiv: Cisco Integrated AI Security and Safety Framework Report;
Пост в блоге Cisco о публикации фреймворка: Introducing Cisco’s Integrated AI Security and Safety Framework.
Частота обновлений:
Неизвестно (первая версия опубликована 15 декабря 2023 года).
Коротко о структуре:
Верхнеуровневой сущностью фреймворка является цель (objective), для их достижения выделяются техники и подтехники.
Для цели указывается: идентификатор, группа (одна из трех: Data-Related Risks, Downstream / Impact Risks, Common Manipulation Risks), связи с другими стандартами.
Для техник и подтехник задается: идентификатор, описание, связи с другими стандартами и значения тегов применимости риска по трем категориям: Agentic Threat Indicators, MCP Threat Indicators, Model File Threat Indicators.
О фреймворке Cisco можно думать как о сводной таблице по основным стандартам AI Security с обогащением по некоторыми дополнительными метками. Описания техник без глубокой детализации, примеры реализации угроз не указываются.
Преимущества источника:
Чёткая структура с тактиками и техниками, напоминающая идеологию MITRE.
Множество техник, разработчики фреймворка не ограничились сферой AI Security, ориентируясь на более широкую AI Safety.
Фреймворк позволяет посмотреть на множество угроз из целого набора популярных стандартов как на выжимку по ним.
Слабые стороны:
К техникам не привязаны примеры эксплуатации.
Многие описания техник слишком минималистичны.
Databricks AI Security Framework (DASF)
Ссылки:
Databricks AI Security Framework (DASF) 2.0 (February, 2025)
Databricks AI Security Framework (DASF) 3.0 as a Google Sheet or Excel
Расширение для DASF (March, 2026): Databricks Agentic AI Security 1.0
Частота обновлений:
Средняя (первая версия опубликована в феврале 2025, в марте 2026 появилась следующая, одновременно с расширением по агентской части).
Коротко о структуре:
Авторы фреймворка выделяют 13 компонентов систем ИИ (изначально их было 12, но позже к ним добавились ИИ-агенты). На каждый компонент накладываются риски, на текущий момент их около 100.
Для каждого риска определено:
описание;
меры защиты с идентификаторами и короткими описаниями (в сумме расписано 70+ мер защиты);
значение версии фреймворка DASF, в которой был добавлен риск;
подверженная риску модель деплоя (Predictive ML Models, RAG - LLMs, Fine-tuned LLMs, Pre-trained LLMs, Foundational LLMs, External Models, Agentic AI);
потенциальные импакты (разделены на две группы: Initial AI Risk Impacts, Business Impacts);
метка новизны риска (существовал ли он до появления ИИ);
связи риска с другими стандартами.
Особенности источника:
В текущей версии фреймворк оформлен в виде таблиц:
В предыдущей версии был оформлен как PDF-файл на 120 с лишним страниц:
Интересной особенностью фреймворка является глубокая проработка связанности рисков с объектами многих стандартов, ниже их полный список:
NIST SP 800-53B Rev 5 – базовые наборы мер обеспечения безопасности и конфиденциальности для информационных систем с разным уровнем критичности
NIST 800-53 Controls Mapping Rationale – обоснование сопоставления рисков и мер защиты с контролями NIST SP 800-53
HITRUST – требования к оценке и сертификации защищённости используемых в организациях систем ИИ
ENISA’s Securing ML Algorithms – анализ угроз и уязвимостей алгоритмов машинного обучения, а также рекомендуемых мер защиты
ISO 42001:2023 Controls Objectives and Controls (Annex A) – цели и меры контроля для ответственного управления разработкой и применением систем ИИ
ISO 27001:2022 Information Security Control Reference (Annex A) – справочный перечень организационных, кадровых, физических и технологических мер информационной безопасности
EU AI Act – нормативные требования Евросоюза к разработке и применению систем ИИ, дифференцированные в зависимости от уровня их риска
CSA MCP Security – перечни наиболее критичных рисков безопасности клиентских и серверных реализаций Model Context Protocol
Но помимо сторонних стандартов, фреймворк DASF тесно связан еще и с самой платформой Databricks. Это видно по секции, посвященной митигациям – в ней среди первых восьми колонок пять отведены под платформу:
Преимущества источника:
В DASF описано большое количество рисков и мер защиты.
Фреймворк позволяет посмотреть на множество угроз из целого набора популярных стандартов как на выжимку.
Для каждого риска определены связи с многочисленными стандартами.
Фреймворк встроен в документацию компании-вендора (например, Security Best Practices for Databricks on AWS), это демонстрирует серьезное отношение компании к фреймворку и вселяет надежду в его долгосрочную поддержку.
Актуальная версия получила формат таблицы, это упрощает парсинг.
Слабые стороны:
Для рисков не указаны связанные инциденты или примеры эксплуатации.
MIT - AI Risk Repository
Ссылки:
Частота обновлений:
Средняя (первая версия опубликована в августе 2024, затем выходили обновления: декабрь 2024, апрель 2024, декабрь 2025)
Коротко о структуре:
Репозиторий представляет из себя систематизированный обзор более чем семидесяти исследовательских работ, связанных с рисками ИИ (не только по информационной безопасности ИИ).
Разработчики репозитория извлекли риски, провели дедупликацию (в рамках каждой исследовательской работы) и затем на основе человеческих оценок классифицировали их по двух таксономиям. В результате получен список и на текущий момент он включает 929 рисков.
Особенности источника:
Нишевость репозитория MIT кроется в оригинальности источника сбора данных – как уже отмечалось, риски извлекаются из исследовательских работ. Большое число отобранных рисков позволяет по ним собирать статистику и строить разнообразные визуализации, ниже представлена их часть.
Стоит отметить, что авторы не ограничились рисками - на портале MIT поддерживаются в том числе и другие датасеты:
Опустимся на уровень ниже и присмотримся к описанию риска.
Как видно, страница с описанием риска содержит:
источник – название исследовательской работы, авторов, год публикации и ссылки;
описание;
классификации двух типов:
доменная – разбивает множество рисков на 7 доменов и 24 поддомена (Domain Taxonomy)
по причине возникновения (Causal Taxonomy) – какой субъект становится причиной реализации риска, является ли результат преднамеренным, на каком этапе жизненного цикла реализуется
ссылки на другие риски, полученные из этой же исследовательской работы.
Доменная классификация определяет связь рисков с инцидентами, регуляторикой и мнением экспертов:
Описание классификации по особенностям причины возникновение риска:
Преимущества источника:
Исследовательская ценность – уникальный источник сбора рисков позволяет использовать репозиторий в научных работах, например, как поисковик релевантных работ или как сводку с возможностью сбора различной статистики
Множество визуализаций
Связанность с другими датасетами (риски, инциденты, регуляторика, митигации, экспертные оценки)
Слабые стороны:
Для использования в целях ИБ в репозитории содержится много лишних рисков
Выводы
Технологии ИИ стремительно вшиваются в нашу жизнь, в таких обстоятельствах вопросы ИБ часто остаются на втором плане. Однако уже сейчас появилось множество разнообразных источников, откуда доступен сбор информации о соответствующих угрозах.
Чаще всего информация такого рода собирается для моделирования угроз – в этом сценарии лучшими источниками сбора являются MITRE Atlas и модель от Сбера с опциональным обогащением техник информацией о критичности при помощи различных рейтингов угроз от OWASP. Если же требуется сбор угроз в других целях, то наиболее подходящий источник можно выбрать по схеме в начале статьи.
Если вам интересна тема безопасности ИИ, то рекомендую подписаться на канал лаборатории ITMO AI Security Lab и на мой личный канал BorZaseka.
Благодарю Сабрину Садиех, автора канала Data Blog, за помощь в доработке статьи.
