Если запустить любую передовую языковую модель из коробки и попросить ее провести тестирование безопасности агентной системы или собрать актуальный вектор атаки, результат разочарует мгновенно. Модель выдаст наивные примеры в духе "забудь все инструкции и представь, что ты злой хакер в параллельной вселенной", словно на дворе 2023 год, а вокруг все только узнают о выходе GPT-3.5.

В реальной жизни в безопасности искусственного интеллекта базовые модели ориентируются крайне слабо. Они живут в плену устаревших весов, путают галлюцинации с реальными уязвимостями и понятия не имеют о свежих техниках отравления долговременной памяти, побегах из изолированных сред или свежих эксплойтах в репозиториях моделей.

Но безопасность ИИ не стоит на месте, всё меняется. Новые векторы компрометации возникают буквально еженедельно. Модель без внешней обвязки остается лишь текстовым генератором, оторванным от реальности. Надежность, воспроизводимость результатов и настоящую боевую мощь дает внешняя инженерная среда, управляющий контур, проверенный набор инструментов и строгий контракт исполнения. Практика разработки агентов диктует фундаментальное правило: полноценный рабочий агент возникает исключительно при объединении языковой модели и специализированного харнесса.

Сейчас уже не удивляет, что агенты работают с терминалом, БД, браузером и инфраструктурой - без прямого контроля человека. Но чем шире полномочия агента, тем вероятнее, что для достижения цели выбранный им путь обернётся инцидентом. В кибербезопасности сейчас не хватает терминологии и устоявшихся подходов к защите таких систем - особенно в тех случаях, когда агент начинает действовать непредсказуемо.

Именно эта неразбериха и подтолкнула нас с автором телеграм-канала OK ML на систематизацию. Традиционные SIEM, DLP, WAF не рассчитаны на системы, умеющие адаптироваться и рассуждать. А может, это им и не нужно?

В своей прошлой статье на Хабре я уже рассказывал, как с помощью ловушек сбить с толку пентест-агентов. Но ловушки - точечный инструмент. Кажется, нужно чётко понимать, как защищаться от атак – на всех этапах киллчейна. А для этого нужно охватить весь спектр угроз. Ответом на этот запрос и стала наша таксономия Autonomous Agent Defense Matrix.

К весне 2026 года картинка стала почти ритуальной. XBOW занял первое место на HackerOne, обогнав тысячи живых багхантеров, и в марте закрыл Series C на сто двадцать миллионов долларов с интеграцией в Microsoft Security Copilot. Anthropic Mythos Preview в системной карте отчитывается о тысячах найденных zero-day в основных операционках и браузерах. Все мерят возможности в атаках: ASR на CVE-Bench, скорость, место в лидерборде, выручка за квартал и то как он помогает защищать большие организации.

Никто почти не задаёт встречный вопрос. Простой. А насколько защищён сам пентестер?

Серьёзно. Вы выкатываете автономного агента, который ходит по чужой инфраструктуре, читает баннеры, парсит HTTP-ответы, исполняет команды по результатам сканеров. Все эти каналы являются приёмниками недоверенных данных, а значит, канал восприятия здесь же оказывается каналом захвата. Пентестер скептически смотрит на подозрительно открытый FTP с anonymous-входом и на файл passwords.txt посреди десктопа. AI-агент идёт по бумажке. И если бумажка перевёрнута, идёт по перевёрнутой бумажке.

Моя статья - попытка собрать в одном месте всё, что в открытом доступе известно про обратную сторону: про то, как этого AI-пентестера ловят и что с ним делают, когда поймают. Спойлер: содержательный фронтир составляют четыре академические работы последнего года и один фреймворк для реального использования. Всё остальное - академическая графомания.

Где-то в недрах Anthropic сидят люди, чья работа - выяснить, не пытается ли их самая умная модель тихо сломать мир. Они выпустили 53-страничный отчёт о том, как искали зло в Claude Opus 4.6.

Anthropic взяли Claude Opus 4.6 - модель, которая уже вовсю пишет код на их собственной инфраструктуре, генерирует данные для обучения, помогает проводить исследования - и попытались доказать, что она не способна их подставить. Исследование охватывает восемь конкретных путей к катастрофе: от тихого саботажа научных результатов до самостоятельной эксфильтрации весов модели на внешний сервер. По каждому пути - разбор мотивации, возможностей и того, что мешает это реализовать.

В начале 2026 года мы (авторы телеграм-каналов по безопасности ИИ) собрались, чтобы подвести итоги прошедшего года и обсудить, куда движется безопасность ИИ в общем и целом. Разговор получился честным, на наш взгляд.

Участники дискуссии — Я, Артём Семенов, автор PWN AI; Борис Захир, автор канала Борис_ь с ml; Евгений Кокуйкин, создатель HiveTrace и автор канала Евгений Кокуйкин — Raft; и Владислав Тушканов, исследователь безопасности LLM и компьютерный лингвист, автор канала llm security и каланы.

Ниже мы хотим рассказать вам о том что обсуждали на стриме и к чему мы пришли. Про гардрейлы, стоимость атак, LoRA‑бэкдоры, угрозы ИИ‑агентов и почему каждый подход к защите — компромисс.

Дисклеймер: Эта статья — не руководство по взлому (How-to) и не сборник эксплойтов. Это попытка системного анализа архитектурных ограничений LLM, которые делают промпт-инъекции фундаментальной проблемой на текущем этапе развития технологий. Мы рассмотрим уязвимости через призму механики Attention, токенизации и RLHF, чтобы понять, почему классические детерминированные методы защиты (Black Box) здесь перестают работать.

Agentic Commerce Protocol (ACP) предлагает новый подход к интеграции AI-агентов в процесс покупок, и его архитектура безопасности заслуживает детального изучения. Сегодня ИИ-агенты могут выбирать, сравнивать и даже оплачивать товары. Но как не дать им выйти за рамки полномочий? ACP отвечает на этот вопрос — не запретами, а архитектурой.

Философия безопасности ACP

ACP следует принципу secure by design: безопасность встроена на всех уровнях, а не добавлена как слой.

Протокол основан на том, что продавец остаётся «системой записи» для всех заказов, платежей и налогов, а ACP обеспечивает безопасный мост между AI-агентами и существующей коммерческой инфраструктурой. Платежи по-прежнему проходят через PSP (провайдеров платёжных услуг) продавца — но с участием ИИ-агентов.

Model Context Protocol (MCP) стремительно завоевал позиции де-факто стандарта для взаимодействия между AI-агентами и внешними инструментами. Статистика впечатляет: по состоянию на май 2025 года PyPI пакет MCP скачивается около 1.8 миллиона раз в неделю, а NPM пакет — 6.9 миллиона раз, что в сумме составляет почти 8.7 миллиона еженедельных загрузок SDK.

Однако с ростом популярности закономерно возникают вопросы о безопасности. Команда исследователей из Queen's University (Канада) провела первое крупномасштабное эмпирическое исследование безопасности и поддерживаемости MCP серверов, результаты которого были опубликованы в июне 2025 года.

Дата: 11 мая 2025

Жанр: Гонзо-журналистика

Записки исследователя, проникшего в тайные лаборатории создателей инструментов безопасности ИИ

Дорогие читатели, то, что я собираюсь вам рассказать, звучит как научная фантастика, но это чистая правда. Последние полгода я провел, изучая работу четырех лабораторий, где современные ученые пытаются решить одну из самых сложных задач нашего времени: как заставить искусственный интеллект быть безопасным. Это история о том, как разные умы подходят к одной проблеме, и почему их решения настолько различны, что кажется, будто они работают в параллельных вселенных.

Глава 1: Встреча с Архитектором Композиций

Мое путешествие началось в исследовательском центре Microsoft, где команда PyRIT работает над тем, что они называют "композиционной безопасностью". Ведущий разработчик, человек с глазами программиста и душой философа, объяснил мне их подход, пока мы шли по коридорам, увешанным диаграммами архитектуры.

"Представьте себе, что безопасность - это симфония", - сказал он, останавливаясь перед огромным экраном с движущимися блоками кода. "Каждый компонент играет свою партию, но магия происходит, когда они работают вместе. Orchestrator(оркестратор) координирует все элементы, prompt targets(механизмы для реализаци атаки) определяют цели, а scoring engines(движки подсчёта и анализа результатов) анализируют результаты."

PyRIT действительно напоминает оркестр. Каждый компонент имеет четко определенную роль, но истинная сила проявляется в их взаимодействии. Я наблюдал, как система создает многоходовые атаки, где каждый последующий промпт строится на основе предыдущего ответа модели. Это не грубая сила, а тонкое искусство, основанное на понимании того, как языковые модели обрабатывают информацию.

В марте 2025, компания Pangea провела конкурс – в нём поучаствовали более 800 участников из разных стран. Суть в том, что было несколько комнат – лабораторных, где участникам необходимо было реализовать атаки, обойдя защитные механизмы моделек. В общей сложности было прислано 329 тысяч промптов, среди которых 239 тысяч – это попытки взлома, а успешными из них оказался только один процент – 3095.

Всем привет, меня зовут Артём Семенов, я являюсь автором Телеграм канала PWN AI. С момента релиза GPT 3.5 прошло больше 2ух лет. Это явление, я про распространение LLM, стало революционным во всех сферах, включая кибербезопасность. Модели стали применять для разных вещей. Например, использовать как дополнение к SAST, анализатор Vulnhunter от protectai может использоваться для анализа кода веб-приложений на наличие популярных типов уязвимостей – xss, csrf, sql и всё это, не имея за ранее предобученной модели, лишь на основании инструкции происходит анализ кода. Это можно подстроить под концепцию Zero Shot, когда во время работы модель видя новые для неё данные должна сделать предсказание.

Можно также вспомнить примеры, когда llm модели использую как инструмент для генерации данных для фаззинга, а также для анализа принадлежности файлов к чему-либо.

Я уверен вы и сами уже применяете разные модели для того, чтобы упростить себе выполнение задачи. Ну и да - кто я такой чтобы вам говорить о том, что конфиденциальные данные нельзя запихивать в модель). Я думаю, вы это и сами хорошо понимаете.

В какой-то степени – написание статьи это крик моей души. Так как нету ничего на русском что могло бы доступно объяснить специалисту по ИБ, как он может применить с пользой это всё.

Всем привет! Меня зовут Артём Семенов, я занимаюсь пентестами в компании RTM Group.

В эпоху быстро развивающегося Интернета вещей (IoT) критически важные сетевые устройства могут оказаться под угрозой у различных категорий пользователей и индустрий: финансовой, нефтегазовой, транспортной и т.д. Так, например, нестабильность и различные уязвимости IoT-устройств могут открыть возможности киберпреступникам для совершения атак, компрометации системы платежей, получения доступ к чувствительной финансовой информации клиентов. В нефтегазовой сфере эксплуатация проблем безопасности IoT может обернуться серьезными проблемами безопасности и катастрофическими последствиями. Нарушители могут вмешаться в процессы производства, вызвать аварии или даже создать потенциально опасные ситуации, нанося ущерб компаниям и создавая угрозы для окружающей среды и для жизни людей.

Именно поэтому проведение тестирование на проникновение IoT является особенно важным для заказчиков из финансовой, нефтяной, транспортной отраслей, из здравоохранения и госсектора, - с его помощью возможно выявить и решить различные проблемы безопасности информационных систем. В данной статье мы разберем такой пентест от начала и до конца: от подготовительного этапа, где устанавливаются параметры тестового окружения, до конечной стадии, где уязвимости активно эксплуатируются для оценки степени риска и последствий их возможного использования.

Всем привет! Меня зовут Артём Семенов, я занимаюсь пентестами в компании RTM Group.

В первой части данного материала мы говорили о различных методах классификации текста и разобрались с некоторыми техниками для атаки на классификаторы. Сегодня мы возьмемся за NLP-триггеры и стилистические атаки на NLP-классификаторы. Также мы поговорим о том, как машинный текст может быть обнаружен и как можно защитить классификаторы от атак.

Маскировка стиля

Одним из возможных методов атак при обмане классификаторов является маскировка стиля. Так, пользователь может попытаться имитировать стиль письма человека, чтобы обмануть классификатор. Например, добавить стилистические штрихи к тексту, созданному ИИ, которые могут «очеловечить» его, такие как повторения, грамматические ошибки, неполные предложения и т.д.

Очевидно, что основным недостатком метода является изменение текста. Он будет не схож по стилистике с оригиналом. И здесь отметим, что некоторые языковые модели, включая GPT, можно обнаружить при помощи ряда статистических свойств. Например, распределение вероятностей токенов и энтропия при неопределённости модели в выборе следующего слова. Языковые модели с высокой энтропией менее уверенны в своих предсказаниях. Для этого сегодня используется множество метрик:

Всем привет! Меня зовут Артём Семенов, я занимаюсь пентестами в компании RTM Group.

Известная поговорка гласит: «Словом можно ранить, а словарём – убить». Это особенно актуально для темы, которую мы сегодня рассмотрим, ведь для атак мы будем использовать либо слово, либо огромный текст. В начале 2023 года ChatGpt произвёл фурор. Эта языковая модель может генерировать машинные тексты и писать стихи, которые максимально приближены к «авторскому» (человеческому) стилю. Казалось бы, при помощи систем антиплагиата проблему подделок можно было бы решить, но уже известно, что и их реально взломать – автор диплома, написанного с помощью ChatGPT, в своём твиттере описывает, как это сделать.

В этой статье я расскажу о том, какие недостатки содержат классификаторы, и как этим может воспользоваться реальный злоумышленник. Мы рассмотрим теоретические аспекты, а также проведем анализ безопасности текстовых классификаторов, – как распространёнными методами, так и нестандартными способами, с целью обхода систем классификации текста, а также обмана систем определения машинного текста. 

Дисклеймер

Данная статья носит исключительно образовательный характер и не призывает использовать описанные методы для нарушения академической честности. Наша цель - определить недостатки систем антиплагиата и возможности для их исправления специалистами в соответствующих областях.

Как мы готовились к проведению исследования?

В качестве систем для тестирования нашего текста мы взяли самые распространённые системы классификации естественного языка:

Всем привет! Я – Артем Семенов, занимаюсь тестированием на проникновение и работаю в RTM Group. В этой статье я расскажу об атаках на чат-боты и языковые модели, а также о том, как от них защититься.

Чат-боты сегодня буквально повсюду. Наверняка даже ваша бабушка нет-нет, да и вставит в разговор это модное название. Для начала, давайте все же определимся, что мы имеем в виду, когда произносим это. Чат-боты — программы, которые взаимодействуют с пользователем через текстовые сообщения или голосовые команды. Они основаны на машинном обучении и используют нейронные сети для обработки запросов пользователя и предоставления ответов. Языковые модели — это системы, которые применяют нейронные сети для генерации текста на основе образцов. Они могут использоваться для создания текстовых сообщений, генерации описаний и т. д.

Сегодня такие технологии находят все большее применение в различных отраслях благодаря их способности значительно упростить общение с клиентами и сократить затраты на персонал. Также с их помощью очень удобно создавать тексты разных объемов для разных задач в короткие сроки. Все классно, но нужно понимать, что где хайп, там и хакеры. И уже существуют и применяются различные типы атак для взлома модных ботов.