Банк хочет пользоваться GPT и Claude, но не может отправить им номер карты клиента. Мы решили это в шлюзе ZuBrIQ: до модели УНП, карты, счета и ФИО доходят синтетикой — правдоподобной, с верными контрольными суммами, — а в ответе подменяются обратно. В том числе в стриме, где синтетический номер может разорваться между двумя чанками. Рассказываю, как это устроено и где мы ошибались.
Зачем это нужно
В первой статье цикла речь шла о шлюзе к моделям, во второй — о своей модели на V100, запросы к которой не покидают Беларусь. Но своя 27B не всегда заменяет флагман. Когда нужен именно GPT или Claude, запрос уходит за границу, и вместе с ним — всё, что пользователь вставил в чат.
Поэтому у нас три уровня защиты данных:
Контур РБ — модель
zubrна наших GPU в Минске, данные никуда не уходят.ZDR — внешние модели только у провайдеров, которые не хранят запросы.
Маскирование — для всех остальных: персональные данные заменяются до отправки.
Эта статья про третий уровень.
Почему синтетика, а не [MASKED]
Простое решение — заменить номер на [CARD]. Но модель тогда теряет смысл. Два одинаковых [CARD] в тексте для неё неразличимы: она не поймёт, что карты разные, не сверит суммы, не составит платёжку. Поэтому мы подставляем синтетику того же типа и формата:
Тип | Оригинал | Что видит модель |
|---|---|---|
УНП РБ | 192628898 | 732432413 |
ИНН РФ | 7707083893 | 5294583921 |
Карта | 4539 1488 0343 6467 | 4276 4422 1150 9083 |
IBAN | BY07MTBK… | BY68BLBB… |
ФИО | Иванов Иван | Егоров Игорь |
Синтетика проходит те же проверки, что оригинал: у УНП верное контрольное число, у карты — алгоритм Луна, у IBAN — mod-97. Модель видит обычный документ и работает с ним как с обычным.
Пары «оригинал ↔ синтетика» хранятся в Redis с TTL в час. Один и тот же УНП у одного пользователя всегда превращается в одну и ту же синтетику. Так связность сохраняется и внутри диалога, и между диалогами: модель видит, что в трёх сообщениях речь об одном контрагенте.
Где это живёт
Маскирование — это callback-плагин для LiteLLM, класс CustomLogger с тремя хуками:
клиент ──► LiteLLM ──► async_pre_call_hook маскировка входа ──► модель │ клиент ◄── LiteLLM ◄── async_post_call_success_hook обычный ответ ◄──┤ клиент ◄── LiteLLM ◄── async_post_call_streaming_ стрим, по чанкам ◄──┘ iterator_hook │ Redis: пары «оригинал ↔ синтетика» на пользователя
Подключается одной строкой в конфиге прокси:
litellm_settings: callbacks: ["cis_gateway.masker.cis_bank_masker"]
Рехидратация привязана к пользователю: user_id ключа, его алиас или поле user запроса. Чужую синтетику в ответе шлюз не восстановит.
Детекторы: контрольные суммы и контекст
Регулярка «9 цифр» ловит что угодно: УНП, БИК, номер заказа. Поэтому каждое совпадение проходит валидатор:
УНП РБ — 9 цифр, контрольное число: сумма первых восьми разрядов с весами 29, 23, 19, 17, 13, 7, 5, 3 по модулю 11;
карты — алгоритм Луна плюс BIN бренда: МИР, Белкарт, Visa, Mastercard, UnionPay;
ИНН РФ — 10 и 12 знаков, контрольная сумма по алгоритму ФНС;
счёт РФ — 20 цифр, ключ вместе с БИК, циклические веса 7, 1, 3;
IBAN — mod-97 для BY, KZ, RU;
телефоны — +375, +7 с валидацией длины.
_UNP_ALPHABET = "0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ" _UNP_WEIGHTS = (29, 23, 19, 17, 13, 7, 5, 3) def _unp_control(number: str) -> int: return sum( w * _UNP_ALPHABET.index(ch) for w, ch in zip(_UNP_WEIGHTS, number[:8]) ) % 11
Контрольной суммы мало, если формат совпадает. УНП и БИК — оба 9 цифр, и случайное число проходит mod 11 примерно в одном случае из десяти. Поэтому УНП и БИК мы различаем по контексту: слово «УНП» или «БИК» рядом с числом.
Совпадения разных детекторов пересекаются: 20-значный счёт содержит внутри себя «карту» из 16 цифр. Перекрытия разрешаются по приоритету типа — от специфичного к общему: IBAN → счёт → БИК → карта → ИНН → паспорт → ФИО. При равном приоритете побеждает более длинное совпадение. Так один фрагмент никогда не маскируется дважды.
Номер с неверной контрольной суммой — например, с опечаткой — мы не трогаем. Иначе шлюз «чинил» бы легитимные данные, и модель отвечала бы не про тот номер.
Стрим: синтетика рвётся между чанками
С обычным ответом всё просто: нашли синтетику — заменили на оригинал. Со стримом сложнее: модель отдаёт текст кусками, и 7324 может прийти в одном чанке, а 32413 — в следующем. Замена по каждому чанку отдельно такой номер не найдёт, и клиент увидит синтетику.
Решение — придерживать хвост буфера, если он может быть началом одного из синтетических токенов этого пользователя:
def stream_chunk(self, user_id: str, chunk: str, state: dict) -> str: buffer = state.get("buffer", "") + chunk tokens = self._cache.synthetic_tokens(user_id) max_len = max((len(t) for t in tokens), default=0) hold = 0 for candidate_len in range(min(len(buffer), max_len), 0, -1): if any(t.startswith(buffer[-candidate_len:]) for t in tokens): hold = candidate_len break emit = buffer[: len(buffer) - hold] if hold else buffer state["buffer"] = buffer[len(buffer) - hold :] if hold else "" return self.rehydrate_text(emit, user_id) if emit else ""
Держим ровно столько, сколько нужно: если хвост 73 — начало синтетики 732432413, он ждёт следующего чанка. Если хвост ничему не соответствует, уходит сразу. Задержка для пользователя — один-два чанка, и только когда в ответе действительно что-то похожее на его данные. В конце стрима остаток буфера отдаётся отдельным финальным чанком.
ФИО: эвристика, на которой мы ошиблись дважды
У ФИО нет контрольной суммы, поэтому мы ищем их по контексту — словам, после которых обычно идёт имя: «Уважаемый», «господин», «клиент», «ФИО». Это вероятностная эвристика, и на ней мы ошиблись дважды.
Первая ошибка — узкий контекст. Детектор не знал корпоративных ролей. Фраза «директор Иванов Пётр Сергеевич» уходила к модели открытым текстом. Мы расширили список: директор, бухгалтер, представитель, учредитель, собственник, предприниматель, ИП, гражданин, доверенность. И добавили тест на 11 таких формулировок — на старом детекторе падали все.
Вторая ошибка — синтетика совпадала с оригиналом. Генератор берёт фамилии из тех же частотных списков, что встречаются в реальных документах. На «Козлов Андрей Павлович» мог прийти «Козлов Игорь Сергеевич»: замена формально работала, а фамилия уходила к модели настоящая. Ловил это тест «оригинала в запросе не осталось» — и падал случайно, раз в несколько прогонов. Теперь генератор пересдаёт фамилию, имя или отчество, если оно совпало хоть с одним словом оригинала.
Вывод: для юридически значимых сценариев ФИО лучше закрывать списком сущностей, а не только эвристикой. Эвристику можно выключить переменной CIS_GATEWAY_MASK_NAMES=false.
Fail-closed по умолчанию
Если модуль маскирования падает — недоступен Redis, исключение в детекторе, — запрос отклоняется:
AI Gateway: ошибка модуля безопасности (ConnectionError); запрос отклонён (fail-closed)
Лучше пользователь получит ошибку, чем номер карты уйдёт к модели. Режим CIS_GATEWAY_FAIL_MODE=open есть, но только для отладки.
События для SIEM
Каждое срабатывание пишет JSON-событие в лог:
{"event": "ai_gateway.pii_detected", "user_id": "user-42", "model": "gpt-4o-mini", "detected_entities": {"unnp": 1, "name": 1}, "action": "SYNTHETIC_MASKING", "is_modified": true, "request_id": "req-1"}
Сами данные в событие не попадают — только их типы и количество. Дальше stdout контейнера уходит в SIEM: Fluent Bit, Wazuh, ELK или Splunk.
Для разбора инцидентов есть отдельная админка с доступом по токену: «что у пользователя на что поменялось» за последний час. Без токена она отвечает 401 на любой запрос.
Второй слой: Presidio
Наш слой закрывает реквизиты с контрольными суммами. Адреса, e-mail и даты лучше ловит NLP. Для них можно включить Microsoft Presidio вторым слоем — LiteLLM умеет это штатно:
litellm_settings: guardrails: - presidio: presidio_analyzer_api_base: http://presidio:3000 pii_entities_config: EMAIL_ADDRESS: "MASK" LOCATION: "MASK"
Порядок важен: сначала наш слой, потом Presidio. Presidio видит реквизиты уже синтетикой и не ломает пары для рехидратации.
Отступление: сам шлюз тоже атакуют
Шлюз, через который идут все запросы, — это ещё и место, где лежат все ключи провайдеров. 21 октября 2026 на PyPI и в Docker-образах около двух часов лежала скомпрометированная LiteLLM 1.107.0 — с инфостилером, который забирал ключи прокси. Для LiteLLM это уже второй такой случай в 2026 году.
У нас зависимость была описана диапазоном litellm>=1.44,<2, то есть любая сборка подтянула бы свежую версию. Мы закрепили точную версию из прода и держим зеркало образа в своём registry. Правило простое: у компонента, через который идут все секреты, не должно быть плавающих версий.
Ограничения
ФИО — эвристика, а не гарантия.
Номера с ошибкой в контрольной сумме не маскируются намеренно.
Буквенные УНП, адреса и свободный текст о человеке («мой сосед с третьего этажа») наш слой не закрывает — для них нужен второй слой или своя модель в контуре.
Маскирование работает с текстом. Картинки и файлы — отдельная задача.
Что в итоге
До внешней модели доходят не данные, а их правдоподобные двойники с верными контрольными суммами, и модель работает с документом как обычно.
Ответ восстанавливается и в обычном режиме, и в стриме, даже если синтетика разорвана между чанками.
По умолчанию fail-closed: лучше ошибка, чем утечка.
Маскирование включено в ZuBrIQ Gateway — для внешних моделей через тот же OpenAI-совместимый API https://api.zubriq.ai/v1. Если вам нужно, чтобы данные вообще не покидали страну, — модель zubr в контуре РБ. В следующей статье цикла — как мы научили ассистента отвечать по законодательству Беларуси со ссылкой на статью кодекса, а не пересказом. Делитесь в комментариях, как вы закрываете персональные данные перед внешними LLM.

