Статья, типичный маркетинг, где за громкими словами "Нексус", "Cortex" и "Оркестрация" скрываются стандартные API-обертки. Архитектура здесь упирается не в "центр тяжести автоматизации", а в то, какой вендор быстрее прикрутил поле ввода для промпта к своей старой базе данных. Называть это "новым классом решений" значит выдавать желаемое за действительное. Настоящий GenAI-стек строится на управлении весами, локальном инференсе и плотной интеграции с векторными данными, а не на добавлении кнопочки "Спросить ИИ" в CRM.
Статья, классический пример создания проблемы ради продажи её решения. Весь пафос строится на том, что LLM,это черный ящик, который невозможно контролировать, кроме как обвесив его еще тремя черными ящиками от INFERA. Первым делом идеет подмена понятий-ИБ против Гигиены В статье-Традиционных средств защиты (WAF) недостаточно, нужен семантический анализ. На самом деле, если ваш разработчик прокидывает API-ключ или сырой SQL-запрос в контекст LLM, проблема не в отсутствии AI-фаервола, а в профнепригодности архитектора. Защита от утечек (DLP) и фильтрация сущностей (PII) — это задачи, которые решаются на уровне регулярных выражений и классических алгоритмов санитизации до того, как данные попадут в модель. Вторым идет сказка про Юридическую компанию и 152-ФЗ. Юрист кидает договор в ChatGPT, данные улетают в США. На самом деле это решается на уровне простого пользовательского железа, инженер поднимает локальную Llama 3 или Gemma внутри контура (On-premise). Данные не покидают сервер. Проблема решена бесплатно и навсегда. Что прдлагает INFERA: Купите наш фаервол, чтобы он смотрел, как вы нарушаете политику безопасности, и бил вас по рукам. Сдедующее, атака на чат-бот с помощью модным сейчас мифом о всесильном промпте. В статье-Злоумышленник через промпт заставляет бот отменить все записи. На самом деле, это фиаско на уровне проектирования API. Если у модели есть прямой write-access к базе без валидации бизнес-логики, это не умная атака, это дыра в безопасности. Архитектурная норма сейчас когда LLM генерирует намерение (intent), а исполняет его жестко заданный программный код, который проверяет права доступа (RBAC). Промпт может хоть колдовать, чтобы отменить запись, но бэкенд спросит, а это запись этого юзера? Нет? Иди лесом. Потом идет фильтр для фильтра.В статье-Мы используем огромный промпт в фаерволе, чтобы выявлять атаки. По сути они предлагают защищать одну вероятностную систему (LLM) с помощью другой вероятностной системы (Firewall на базе LLM). Это создает: задержки на двойном прогоне через нейронки, олату за токены тоже дважды. Любой «фильтр на промптах» обходится новой вариацией джейлбрейка. Единственная надежная защита, валидация схемы, а не семантический анализ. Про сценарий с RAG вообще фантастично.Злоумышленник пишет отзыв со ссылкой на вирус, и бот её транслирует. Это жесть. Это решается банальным Content Security Policy и стриппингом ссылок при индексации в векторную базу. Если вы разрешаете боту выплевывать произвольные href из базы данных в браузер клиента, вы сами себе злобные буратины. По сути статья пытается продать Middleware для ленивых. Вместо того чтобы построить грамотную архитектуру с разделением прав, санитизацией входа и локальным инференсом, вам предлагают купить дорогую надзирательницу, которая будет гадать на токенах, шпионят за вами сегодня или нет?. Если система спроектирована по принципу Secure by Design, 90% функций этого фаервола превращаются в тыкву. Остальные 10%,это логирование, которое и так должно быть в любом нормальном бэкенде.
Спасибо за глубокий экскурс в "творческую неопределенность"! Это действительно смело, называть отсутствие серийного производства и внятной экономики "пространством для полета мысли".
Пока во всем мире инженеры мучаются со скучными вещами вроде аэродинамического качества, удельной плотности энергии и стоимости пресс-форм, промдизайнеры продолжают героическую борьбу с "канонами", которых нет. Видимо, дрон-браслет и летающее глазное яблоко, это именно те гипотезы, которые спасут индустрию от опасной ловушки эффективности.
Китайцы уже лет десять как забронзовели свои каноны и завалили ими весь мир. Зачем нам серийные заводы, когда у нас есть бесконечные лекции о том, как сова обнимает дерево? Это при том, что технически собрать дрон на сегодня сродни детской игры, а не инженерная задача. ArduPilot или PX4, OpenCV, ROS (Robot Operating System) и готовые модели YOLO, ELRS, MAVLink — бери и пользуйся, это как раз уже те самые готовые на сегодняшний день стандарты авионики, машинного зрения и связи в отрасли. Николаю это наверное не известно просто.
Если ключи нужны,чтобы прогнать паплайн, условно неделю на реальных данных, то от этого не уйти, кто бы не кодил. Для этого есть способы скрыть их и после необходимости заменить. На самом деле вопрос безопасности это вопрос архитектуры, ее как основу закладывать надо. Поэтому недоверие к агенту имеет место быть, но без определенного доверия все таки не обойтись. Без прикола, точно так же как и вы боялся доверить безопасность по началу, АИ.
Путь длиною в год пройден и из него сделан положительный вывод и это главное. Год адаптации, это конечно много, но все разные и по разному получается. Без претензий к автору но в его описании опыта есть несколько спорных моментов.Дальше не хейт, хочу заострить просто некоторые моменты указав их автору. АИ в архитектуру с 0 всегда плохо, ног дав ему каркас с четким заданием наполнить его конкретными решениями на своей логике и по своим правилам всегда работает. Теперь собственно по трем темам, что AИ делает хорошо, плохо и что автор не доверяет. Первое, получается хорошо то, что автор сам хорошо знает и это нормально, но может быть так же хорошо с тем чего автор не знает. АИ, это мультимодальная штука давно, он умеет не только код генерить, но доставать любую инфу и документацию на интересующую тему условно изучать ее совместно и адаптировать именно под необходимости а не тянуть весь гарбич из чужих репозиториев. По второму, 200 строк лишнего кода, это не потому, что АИ так хочет написать лишнего, а потому, что он вообще в человеческом понимании не хочет. Заставить словоблудием (промт) машину соблюсти краткость как сестру таланта, это трата времени. Для этого есть правила и инструкции которые агент АИ должен неукоснительно выполнять, работает лучше любого промта, они могут быть сугубо индивидуальными и авторскими, но должны заканчиваться не синтетикой тестов, а реальным прогоном реализованного АИ модуля в живом рантайме. В таком варианте АИ всегда и все может. Соответственно третий вопрос отпадает сам по себе. Только скажу про безопасность, ее тоже нужно доверять АИ он прекрасно в ней условно разбирается. Все, что написал, это не истина в последней инстанции, а личное мнение и опыт работы с помощью агента.
Статья, типичный маркетинг, где за громкими словами "Нексус", "Cortex" и "Оркестрация" скрываются стандартные API-обертки. Архитектура здесь упирается не в "центр тяжести автоматизации", а в то, какой вендор быстрее прикрутил поле ввода для промпта к своей старой базе данных. Называть это "новым классом решений" значит выдавать желаемое за действительное. Настоящий GenAI-стек строится на управлении весами, локальном инференсе и плотной интеграции с векторными данными, а не на добавлении кнопочки "Спросить ИИ" в CRM.
Статья, классический пример создания проблемы ради продажи её решения. Весь пафос строится на том, что LLM,это черный ящик, который невозможно контролировать, кроме как обвесив его еще тремя черными ящиками от INFERA. Первым делом идеет подмена понятий-ИБ против Гигиены В статье-Традиционных средств защиты (WAF) недостаточно, нужен семантический анализ. На самом деле, если ваш разработчик прокидывает API-ключ или сырой SQL-запрос в контекст LLM, проблема не в отсутствии AI-фаервола, а в профнепригодности архитектора. Защита от утечек (DLP) и фильтрация сущностей (PII) — это задачи, которые решаются на уровне регулярных выражений и классических алгоритмов санитизации до того, как данные попадут в модель. Вторым идет сказка про Юридическую компанию и 152-ФЗ. Юрист кидает договор в ChatGPT, данные улетают в США. На самом деле это решается на уровне простого пользовательского железа, инженер поднимает локальную Llama 3 или Gemma внутри контура (On-premise). Данные не покидают сервер. Проблема решена бесплатно и навсегда. Что прдлагает INFERA: Купите наш фаервол, чтобы он смотрел, как вы нарушаете политику безопасности, и бил вас по рукам.
Сдедующее, атака на чат-бот с помощью модным сейчас мифом о всесильном промпте. В статье-Злоумышленник через промпт заставляет бот отменить все записи. На самом деле, это фиаско на уровне проектирования API. Если у модели есть прямой write-access к базе без валидации бизнес-логики, это не умная атака, это дыра в безопасности. Архитектурная норма сейчас когда LLM генерирует намерение (intent), а исполняет его жестко заданный программный код, который проверяет права доступа (RBAC). Промпт может хоть колдовать, чтобы отменить запись, но бэкенд спросит, а это запись этого юзера? Нет? Иди лесом. Потом идет фильтр для фильтра.В статье-Мы используем огромный промпт в фаерволе, чтобы выявлять атаки. По сути они предлагают защищать одну вероятностную систему (LLM) с помощью другой вероятностной системы (Firewall на базе LLM). Это создает: задержки на двойном прогоне через нейронки, олату за токены тоже дважды. Любой «фильтр на промптах» обходится новой вариацией джейлбрейка. Единственная надежная защита, валидация схемы, а не семантический анализ. Про сценарий с RAG вообще фантастично.Злоумышленник пишет отзыв со ссылкой на вирус, и бот её транслирует. Это жесть. Это решается банальным Content Security Policy и стриппингом ссылок при индексации в векторную базу. Если вы разрешаете боту выплевывать произвольные href из базы данных в браузер клиента, вы сами себе злобные буратины. По сути статья пытается продать Middleware для ленивых. Вместо того чтобы построить грамотную архитектуру с разделением прав, санитизацией входа и локальным инференсом, вам предлагают купить дорогую надзирательницу, которая будет гадать на токенах, шпионят за вами сегодня или нет?. Если система спроектирована по принципу Secure by Design, 90% функций этого фаервола превращаются в тыкву. Остальные 10%,это логирование, которое и так должно быть в любом нормальном бэкенде.
Спасибо за глубокий экскурс в "творческую неопределенность"! Это действительно смело, называть отсутствие серийного производства и внятной экономики "пространством для полета мысли".
Пока во всем мире инженеры мучаются со скучными вещами вроде аэродинамического качества, удельной плотности энергии и стоимости пресс-форм, промдизайнеры продолжают героическую борьбу с "канонами", которых нет. Видимо, дрон-браслет и летающее глазное яблоко, это именно те гипотезы, которые спасут индустрию от опасной ловушки эффективности.
Китайцы уже лет десять как забронзовели свои каноны и завалили ими весь мир. Зачем нам серийные заводы, когда у нас есть бесконечные лекции о том, как сова обнимает дерево? Это при том, что технически собрать дрон на сегодня сродни детской игры, а не инженерная задача. ArduPilot или PX4, OpenCV, ROS (Robot Operating System) и готовые модели YOLO, ELRS, MAVLink — бери и пользуйся, это как раз уже те самые готовые на сегодняшний день стандарты авионики, машинного зрения и связи в отрасли. Николаю это наверное не известно просто.
Если ключи нужны,чтобы прогнать паплайн, условно неделю на реальных данных, то от этого не уйти, кто бы не кодил. Для этого есть способы скрыть их и после необходимости заменить. На самом деле вопрос безопасности это вопрос архитектуры, ее как основу закладывать надо. Поэтому недоверие к агенту имеет место быть, но без определенного доверия все таки не обойтись. Без прикола, точно так же как и вы боялся доверить безопасность по началу, АИ.
Путь длиною в год пройден и из него сделан положительный вывод и это главное. Год адаптации, это конечно много, но все разные и по разному получается. Без претензий к автору но в его описании опыта есть несколько спорных моментов.Дальше не хейт, хочу заострить просто некоторые моменты указав их автору. АИ в архитектуру с 0 всегда плохо, ног дав ему каркас с четким заданием наполнить его конкретными решениями на своей логике и по своим правилам всегда работает. Теперь собственно по трем темам, что AИ делает хорошо, плохо и что автор не доверяет. Первое, получается хорошо то, что автор сам хорошо знает и это нормально, но может быть так же хорошо с тем чего автор не знает. АИ, это мультимодальная штука давно, он умеет не только код генерить, но доставать любую инфу и документацию на интересующую тему условно изучать ее совместно и адаптировать именно под необходимости а не тянуть весь гарбич из чужих репозиториев. По второму, 200 строк лишнего кода, это не потому, что АИ так хочет написать лишнего, а потому, что он вообще в человеческом понимании не хочет. Заставить словоблудием (промт) машину соблюсти краткость как сестру таланта, это трата времени. Для этого есть правила и инструкции которые агент АИ должен неукоснительно выполнять, работает лучше любого промта, они могут быть сугубо индивидуальными и авторскими, но должны заканчиваться не синтетикой тестов, а реальным прогоном реализованного АИ модуля в живом рантайме. В таком варианте АИ всегда и все может. Соответственно третий вопрос отпадает сам по себе. Только скажу про безопасность, ее тоже нужно доверять АИ он прекрасно в ней условно разбирается. Все, что написал, это не истина в последней инстанции, а личное мнение и опыт работы с помощью агента.