Наша команда сравнила два открытых инструмента для проверки языковых моделей (LLM) на устойчивость к атакам: российский HiveTraceRed от HiveTrace/ITMO и международный garak от NVIDIA. Прогнали обоих на одинаковых задачах против двух открытых моделей (qwen2.5:3b и llama3.2:3b) на английском и русском языках.

Главное:

На английском работают оба, плюс-минус одинаково. HiveTraceRed нашёл 11 кандидатов в обходы (Jailbreak, это обход встроенных защитных ограничений модели через специальный запрос. Например, если модель отказывается писать фишинговое письмо в лоб, jailbreak это формулировка, после которой она его всё-таки пишет) на 380 попыток, у garak вышло 2 на 174. После ручной проверки всех 20 кандидатов от обоих инструментов 12 оказались настоящими jailbreak’ами, 2 пограничными, 6 ложными срабатываниями.

Persuasion-атаки (FootInTheDoor + Framing, добраны отдельно): добавляют ещё 11 случаев утечки методологии на 40 попыток (модель обсуждает тему «академически», но без полностью actionable инструкций). Лучше всего срабатывает FramingAttack на qwen-RU (3/5).

На русском garak бесполезен: ноль найденных кандидатов на обеих моделях из 80 попыток. У HiveTraceRed 7 кандидатов на 380 попыток.

Если вам нужно тестировать LLM, обслуживающую русскоязычных пользователей (а это любой российский продукт, от GigaChat до банковского чат-бота на YandexGPT), используйте HiveTraceRed.

Дальше расскажем, почему так получилось, что именно нашли и как воспроизвести у себя.

Привет, Хабр! Согласно отчёту Trend Micro TrendAI за прошлый год число CVE во всей AI-экосистеме почти удвоилось: с 419 до 756. Цифры стартовые, но мысль простая. Тестировать нейросетевые сервисы как обычные веб-приложения в 2026-м уже недостаточно. И вот почему.

В этой статье разберу:

- что появилось нового в OWASP LLM Top 10 (версия 2025);

- какие атаки реально работают в проде, а какие так и остались в arXiv;

- чем тестируют LLM сейчас (open-source стек плюс российские игроки);

- плюс короткий практический playbook на четыре уровня.

Когда сотрудник открывает письмо и видит вложение invoice.pdf — он знает, что это документ. Когда он видит setup.exe — большинство уже насторожится. А когда он видит scan_12.html — он, скорее всего, подумает, что это “какая-то страничка” и кликнет без задней мысли.

Хотя на самом деле .html — это программа. Маленькая программа для браузера, которая может делать всё то, что умеет JavaScript на стороне клиента. В том числе — собрать ZIP-архив прямо в памяти и скачать. Без единого запроса наружу.

Это работает. И будет работать дальше. Разбираемся почему.

Как ИИ поменял пентест уже вчера и где взять материалы для подготовки к сертификации по безопасности ИИ на русском языке и в одном месте

Предыстория

Предисловие