Всего за несколько лет технологии ИИ заслужили популярность среди компаний – согласно отчёту McKinsey в 2025 году 88% компаний заявляли об использовании ИИ хотя бы в одной бизнес-функции.

Наряду с этим для злоумышленников ИИ становится и целью, и инструментом атаки. Такой факт подтверждается майским отчетом Google AI Threat Tracker – его обзор опубликован в моём канале.

В итоге компании внедрили технологии ИИ и начали задумываться о безопасности. А ведь многие процессы обеспечения информационной безопасности основываются на моделировании угроз. Откуда же можно узнать о возможных угрозах информационной безопасности, связанных с использованием ИИ?

Эта статья поможет ответить на этот вопрос – в ней представлен обзор основных источников для сбора информации такого рода, а в выводах определены лучшие.

В предыдущей статье "Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок" был представлен обзор основных статических сканеров артефактов ML-моделей. В выводах сканер ModelAudit был выделен как наиболее зрелое решение среди проанализированных конкурентов по следующим критериям:

- количество поддерживаемых к сканированию форматов хранения моделей;
- количество проверок под каждый формат моделей;
- результаты моих попыток обхода сканеров;
- наличие и качество документации.

Но, как известно, количество не всегда отражает качество. Для оценки возможностей сканера в более приближенных к реальности условиях я провел множество экспериментов и хочу поделиться двумя наиболее интересными:

- сканирование подмножества моделей из Hugging Face, сериализованных в виде наиболее опасных форматов хранения моделей;
- сканирование таких моделей из Hugging Face, помеченных самими авторами как зловредные (в названии или описании), с последующим сравнением сработок ModelAudit с результатами проверок встроенных в Hugging Face инструментов.

Не у всех нас имеется достаточное количество ресурсов (вычислительных, умственных и других) для проектирования и обучения моделей машинного обучения с нуля. Поэтому кажется логичным взять уже готовые модели — к счастью, за нас многое уже сделано. Для понимания масштаба: на одном только HF уже доступно для скачивания более двух миллионов моделей.

Не все они были загружены авторитетными компаниями или экспертами, не все имеют десятки тысяч скачиваний в сутки. Даже изначально легитимные открытые репозитории могут оказаться источником риска. Компания Mitiga недавно поделилась статистикой о проценте репозиториев в мире AI/ML, содержащих уязвимости критического или высокого уровня опасности в GitHub Actions Workflows.

В этой статье я расскажу о том, какие существуют инструменты для проверки ML-моделей, как они сканируют артефакты различных ML-фреймворков, о том, какой еще функционал заложен в них. А в финале несколькими способами попробуем обойти проверки рассматриваемых инструментов.

Появление новых технологий часто открывает новые пространства для злоумышленников - возникают новые вектора атак, а технологии защиты зачастую не поспевают за ними.

В таких условиях коммерческие институты инициируют разработку фреймворков, стандартов и продуктов новых классов. Еще эффективнее идет развитие, когда коммерческий блок объединяет усилия с регуляторами, сейчас такое содействие организовывается, например, в рамках консорциума "Исследований безопасности технологий ИИ".

Результаты такой совместной работы мы сможем оценить в будущем, а сейчас я хочу поделиться своим анализом существующих на данный момент документов, регламентирующих тему безопасности ИИ в России.

Немного обо мне: меня зовут Слава, я являюсь студентом магистратуры AI Talent Hub в ИТМО, прохожу практику в лаборатории ITMO AI Security Lab и уже несколько лет работаю в сфере ИБ.