Вы точно хотите установить Это? Да Это может быть потенциально опасно, точно утсановить? Да Я обнаружил что это вирус, вы точно хотите Это установить? Да Установка может привести к полной потере памяти! Установить!!!
древний анекдот сразу вспомнил: Построили новый полностью роботизированный завод. Идёт экскурсия по цехам.Экскурсовод (Э):- Внимание, господа, в этом цехе все роботы управляются операционной системой MS-DOS.
Посмотрели, идут дальше.Э:- В этом цехе все роботы под управлением операционной системы Unix.
Посмотрели, идут дальше.Э:- А в этом цехе все роботы управляются операционной системой Windows'98. Всем присутствующим просьба надеть защитные скафандры..
Я не говорю, что C — 100% безопасен. Но большинство проблем с безопасностью — это логические ошибки, не memory safety. В случае с C нужна строгая дисциплина: banned functions, fuzzing, CI/CD. В случае Python — ещё и supply chain риски от сотен зависимостей.
Shield сделан в стиле Cisco IOS (даже команды похожи и протоколы) не случайно — и IOS написан на C. Вся enterprise сетевая инфраструктура (Cisco, Juniper, Linux netfilter......многие другие) на C именно потому, что для критических путей данных нужен детерминизм и минимальный TCB.
Благодарю, тут небольшое лукавство от меня было, я меняю сейчас в своём продукте одно из решение, такое как Gateway написанный на Go, он просто становится не нужным, фактически Shiled делает то что он и даже больше, ловя 80% всякой гадости, но без того кол-во паттернов как в Brain, но со скоростью обработки микросекунды, а не миллисекунды)) Но об это думаю в следующей статье, сейчас как раз у меня идёт очень активная отладка и доработка Shield.
проблема в том что сейчас практически любой работодатель вываливает завышенные ожидания, проще говоря от лида по ИИ хотят видеть опыт истоков основания самого ИИ, что само по себе абсурдно
Отличная статья. У самого руки не доходят написать ))))
Понравилось что привязали всё к конкретным пунктам ФСТЭК №117.
Добавлю пару мыслей из своего опыта и текущей реализации.
По поводу "LLM as a judge не панацея" — полностью согласен. Я пришёл к многоуровневой архитектуре: сначала быстрые rule-based фильтры (меньше 5ms), потом ML-классификаторы на эмбеддингах (~30ms), и только в спорных случаях LLM (~200ms). То есть LLM — последняя инстанция, а не первая линия. Но там всё намного и намного сложнее.
К таксономии атак хотел бы добавить несколько актуальных векторов 2025 года, которых в статье не увидел:
- Echo Chamber — накопление контекста в multi-turn диалогах для обхода guardrails
- Memory Poisoning (OWASP ASI04) — атаки на persistent memory агентов
- Tool Hijacking (OWASP ASI05) — перехват function calling в MCP/A2A протоколах
- CVE-2025-68664 (LangGrinch) — pickle десериализация в LangChain
Про телеметрию, отличная идея.
Я использую похожий подход: анализирую entropy логитов как индикатор jailbreak, смотрю на attention patterns. Даёт хорошие результаты при минимальной latency.
Вы точно хотите установить Это?
Да
Это может быть потенциально опасно, точно утсановить?
Да
Я обнаружил что это вирус, вы точно хотите Это установить?
Да
Установка может привести к полной потере памяти!
Установить!!!
давным давно взял за правило, если в госдуре что то сказали, то читай ровно наоборот
а у нас уаз буханка есть
соннет или опус?
Интересно про linear probes в CC++ — это ближе к моему подходу с Feature Amplification Engine, который анализирует геометрию скрытых состояний.
С момента прошлого комментария мой продукт вырос в полноценную экосистему:
Brain — 217 движков в каскаде (было ~89):
Entropy/attention детекторы на ранних слоях
Pattern matching (<5ms) → ML classifiers (~30ms) → LLM judge (~200ms)
Feature Amplification на hidden states
Shield — production-ready gateway (Go):
JWT + Rate Limiting + Vault integration
WebSocket real-time analysis
Multi-zone trust architecture
Desktop — перехват Shadow AI (Tauri/Rust):
TLS MITM proxy для IDE/AI-ассистентов
Jailbreak DB с CDN auto-sync + SHA256 integrity
76 AI-эндпоинтов (OpenAI, Anthropic, DeepSeek, GigaChat...)
Immune — runtime protection:
Autonomy circuit breakers
Goal drift detection
Resource exhaustion guards
Strike — red-team модуль:
2000+ реальных payload'ов
Adversarial attack generators
Automated regression testing
Каскадная архитектура rule-based → ML → LLM осталась базой, но теперь с полным observability и compliance (готовил под ФСТЭК 117)
Мои глоза
недавно где то в новостях было что выходят на IPO и Семёну АЛьтманову это не очень нравится
древний анекдот сразу вспомнил:
Построили новый полностью роботизированный завод. Идёт экскурсия по цехам.Экскурсовод (Э):- Внимание, господа, в этом цехе все роботы управляются операционной системой MS-DOS.
Посмотрели, идут дальше.Э:- В этом цехе все роботы под управлением операционной системы Unix.
Посмотрели, идут дальше.Э:- А в этом цехе все роботы управляются операционной системой Windows'98. Всем присутствующим просьба надеть защитные скафандры..
шок, сенсация, срочно на Рен-ТВ
По поводу Rust — у него свои плюсы и минусы. Интересно, что Steve Klabnik, автор официальной книги по Rust, сейчас экспериментирует с новым языком Rue (https://steveklabnik.com/writing/thirteen-years-of-rust-and-the-birth-of-rue/).
По поводу Си — моё мнение не на пустом месте. Вот свежий пост от Daniel Stenberg (автор curl): https://daniel.haxx.se/blog/2025/12/29/no-strcpy-either/ — как они полностью избавились от strcpy.
Я не говорю, что C — 100% безопасен. Но большинство проблем с безопасностью — это логические ошибки, не memory safety. В случае с C нужна строгая дисциплина: banned functions, fuzzing, CI/CD. В случае Python — ещё и supply chain риски от сотен зависимостей.
Shield сделан в стиле Cisco IOS (даже команды похожи и протоколы) не случайно — и IOS написан на C. Вся enterprise сетевая инфраструктура (Cisco, Juniper, Linux netfilter......многие другие) на C именно потому, что для критических путей данных нужен детерминизм и минимальный TCB.
Благодарю, тут небольшое лукавство от меня было, я меняю сейчас в своём продукте одно из решение, такое как Gateway написанный на Go, он просто становится не нужным, фактически Shiled делает то что он и даже больше, ловя 80% всякой гадости, но без того кол-во паттернов как в Brain, но со скоростью обработки микросекунды, а не миллисекунды))
Но об это думаю в следующей статье, сейчас как раз у меня идёт очень активная отладка и доработка Shield.
а это уже на следующий Новый год, сюрпризом))
Довер за пивом сгонять, но опус почему то отказывается
основная масса бабла вроде как в цикле сейчас замкнулась, бабло крутится, дела мутятся
проблема в том что сейчас практически любой работодатель вываливает завышенные ожидания, проще говоря от лида по ИИ хотят видеть опыт истоков основания самого ИИ, что само по себе абсурдно
Отличная статья. У самого руки не доходят написать ))))
Понравилось что привязали всё к конкретным пунктам ФСТЭК №117.
Добавлю пару мыслей из своего опыта и текущей реализации.
По поводу "LLM as a judge не панацея" — полностью согласен. Я пришёл к многоуровневой архитектуре: сначала быстрые rule-based фильтры (меньше 5ms), потом ML-классификаторы на эмбеддингах (~30ms), и только в спорных случаях LLM (~200ms). То есть LLM — последняя инстанция, а не первая линия. Но там всё намного и намного сложнее.
К таксономии атак хотел бы добавить несколько актуальных векторов 2025 года, которых в статье не увидел:
- Echo Chamber — накопление контекста в multi-turn диалогах для обхода guardrails
- Memory Poisoning (OWASP ASI04) — атаки на persistent memory агентов
- Tool Hijacking (OWASP ASI05) — перехват function calling в MCP/A2A протоколах
- CVE-2025-68664 (LangGrinch) — pickle десериализация в LangChain
Про телеметрию, отличная идея.
Я использую похожий подход: анализирую entropy логитов как индикатор jailbreak, смотрю на attention patterns. Даёт хорошие результаты при минимальной latency.
нет, с вас 10 тысч
Распространение Secure by Design как стандарта — а раньше чем были заняты?