Что было интересного в 2025 году по безопасности ИИ? Помимо развития AI-агентов и их протоколов, гардрейлов, и появления фреймворков, для российского рынка важно отметить появление нескольких новых официальных документов. О них и поговорим, так как я искренне считаю, что они выводят нашу нормативно-правовую базу на уровень одной из самых развитый и проработанных в мире. Но этот пост - не просто обзор)
Я расскажу и о своих соображениях о том, как управлять доступом AI-агентов, данными для GenAI-систем, и уязвимостями таких систем.

Все мы слышали про FraudGPT и WormGPT, и про такие атаки как Morris II, imprompter, EchoLeak. Но это все детский сад, или даже скрипткиддерство.

А что насчет использования генеративных способностей LLM в целях киберпреступности в автоматизированном режиме? Да, нарушители используют GenAI-модели для создания полезной нагрузки вируса.

BlackMamba, SkyNet, PromptLock и s1ngularity - если вы хотите узнать, что это за инциденты и какой среди них белая ворона, то я, автор канала «Борис_ь с ml» про ИБ и ИИ, приглашаю вас к прочтению.

Всем привет! Я автор канала «Борис_ь с ml» про информационную безопасность и машинное обучение. Сейчас мой основной вектор исследований - мультиагентные системы и их безопасность. Поэтому в мае выступал на эту тему на III Форуме «Технологии доверенного искусственного интеллекта» с докладом «Протоколы MCP и A2A - безопасность для мультиагентных систем или новые угрозы?». По этой ссылке - презентация с выступления.

В этой статье раскрою и в чем-то углублю свое выступление, охватив сначала основы функционирования AI-агентов и мультиагентных систем (МАС), и заканчивая угрозами безопасности и мерами противодействия им.

Уязвимости в GenAI-системах - таинственное и неприступное понятие. Что это? Они вообще существуют? Существуют, конечно. Приглашаю к прочтению, если эта тема вас интересует. Расскажу, какие есть примеры уязвимостей (прям с CVE), и какие есть подходы к оценке их критичности.

Насколько интерпретируемость важна для машинного обучения? Зачем она вообще нужна? Для чего она в информационной безопасности?
Меня эти вопросы начали интересуют уже около полугода, и в фоновом режиме я собирал источники, читал исследования, и искал применимость этого направления для ИБ.

Я Борис Захир, автор канала «Борис_ь с ml», где рассказываю про синергию машинного обучения и информационной безопасности. В этой статье я расскажу, что такое интерпретируемость и насколько для ее применения готова документная и нормативная база за рубежом и в России, а также предоставлю вам список ссылок по найденной мною теории и практике за эти полгода по теме XAI (eXplainable AI).

Так много выходит статей про атаки на машинное обучение, фреймворки по MLSecOps возникают то тут, то там...
Но вот вопрос... "А был ли мальчик?" Есть ли действительно люди, которые пользуются методами проведения атак на искусственный интеллект? Выходит ли сегодня эта тема за рамки строгих математических кругов и лабораторных условий.
Спойлер - да.

В формате разбора содержания докладов я, автор канала @borismlsec, приведу три интереснейших из тех, что мне довелось посетить на конференции Turbo ML 2024. Они привлекли меня не только как дата саентиста, но и как сотрудника вендора решений по кибербезопасности. И по каждому докладу в конце я расскажу, почему.

«Усложнять просто, упрощать сложно»

Закон Мейера

Часто ли вы задумываетесь о том, как вы воспринимаете ту или иную информацию? Почему одни статьи или книги идут легче, а другие - тяжелее? Бывало ли у вас такое, что вы раз за разом скользили взглядом по абзацу текста и не могли понять, что вы только что прочитали?

Визуальное представление данных - очень большая часть нашей жизни, и это влияет на разные ее сферы: обучение, работу, развлечения.

Что если мы скажем, что на практически любой вопрос можно дать ответ таким образом, что скорость восприятия получаемой информации возрастёт, а понимание будет гарантированным?

Пингвины для привлечения внимания. Как поднять Apache Superset, подключить к нему локальный Postgres и чтобы потом на вас коллеги не смотрели косо.