Как я настроил локальный ИИ‑контур без облаков и защитил данные от утечек

Проблема

В 2023 году Samsung зафиксировала утечку служебного кода через ChatGPT: сотрудники вставляли внутренние документы в промпт. После этого компания ограничила использование внешних LLM.

IBM Cost of a Data Breach 2024 оценивает среднюю стоимость утечки в 4.88 млн долларов. В России штрафы за утечку персональных данных переведены в оборотную модель (ст. 13.11 КоАП в редакции 420-ФЗ).

Илья Чиркин, обучивший ИИ более 300 человек, формулирует барьер так: «Сразу надо определить, какие данные можно отдавать ИИ, а какие нет».

Локальный контур снимает сам вопрос: данные не покидают периметр. Ниже — архитектура, честная экономика и границы применимости.

Архитектура

Слой 1. Модели (Ollama)

Модель	Параметры	Лицензия	Роль
llama3.2	3B	Llama 3.2 Community	быстрые диалоги
qwen3:8b	8B	Apache 2.0	анализ документов
phi4:14b	14B	MIT	логика, код, юр. тексты
tinyllama	1.1B	Apache 2.0	классификация, edge

Важно: Llama распространяется по собственной лицензии Meta, не Apache/MIT. Перед коммерческим внедрением условия читает юрист заказчика.

Слой 2. Оркестрация

Flask API на 127.0.0.1 маршрутизирует запросы по типу задачи: классификация уходит на tinyllama, извлечение полей из договора — на phi4, черновик ответа — на qwen3. Логика роутинга в коде, а не в промптах.

Слой 3. Изоляция

Публикация портов только на loopback:

services:
  ollama:
    image: ollama/ollama:latest
    ports:
      - "127.0.0.1:11434:11434"
    volumes:
      - ./models:/root/.ollama
    restart: unless-stopped

network_mode: host не используется — он снимает изоляцию портов контейнера.

Слой 4. Доступ

Tailscale (WireGuard, P2P): рабочие места видят сервис по MagicDNS, в интернет не опубликован ни один порт.

Безопасность

Столп	Реализация
Zero‑knowledge	шифрование на клиенте, ключи у пользователя
Изоляция периметра	nftables policy drop, UFW deny incoming
Self‑healing	cron 5 минут, авто‑рестарт сервисов
Audit	journald, GPG‑шифрование бэкапов
Reproducibility	Docker, Ansible, Git
No lock‑in	open‑source, без облачных SDK
Defense in depth	сеть, хост, приложение, данные

Стек: CrowdSec (детект атак), Wazuh (HIDS, file integrity), Suricata (IDS), nftables, Prometheus + Grafana на 127.0.0.1:3000.

Фрагмент политики firewall (листинг для чтения):

table inet filter {
  chain input {
    type filter hook input priority 0; policy drop;
    iif "lo" accept
    ct state established,related accept
    ip saddr 100.64.0.0/10 tcp dport 22 accept
  }
}

Бэкапы: 2 раза в сутки, GPG‑ключ (не passphrase в файле), ротация 7 дней.

Производительность

Замеры делаются на железе заказчика. Порядок величин на одной RTX 3060 12GB: модель 3B отвечает десятками токенов в секунду, 14B в квантовании — единицы. На CPU скорость падает на порядок. Один GPU не обслуживает 100 параллельных пользователей: очередь и деградация latency закладываются в расчёт заранее.

Сценарии применения (модельные расчёты, не реальные клиенты)

Ниже — расчётные сценарии для оценки применимости. Это не отчёты о внедрениях: цифры получены из хронометража типовых операций.

Юридический отдел. Извлечение сторон, сумм, сроков и штрафных условий из договора. Узкая задача, где 14B‑модель локально закрывает потребность без передачи документа наружу.
Финансовый контроль. Первичная классификация обращений и сверка реквизитов (ИНН, КПП, счёт) до участия человека. Персональные данные остаются в контуре.
Ритейл. Черновик ответа на жалобу по шаблону на кассовом узле. Работает без интернета, персональные данные не выгружаются.

Общее у трёх сценариев: задача узкая и проверяемая. Там, где нужен frontier‑level reasoning, локальные 8–14B проигрывают облачным флагманам, и это надо признавать до старта проекта.

Экономика

Подписочная модель: порядка 30 долларов на пользователя в месяц. 100 сотрудников, 24 месяца — около 72 000 долларов, сверяется по прайсу вендора.

Локальный контур, ориентир в рублях:

Статья	Сумма
Сервер с GPU 24 GB	250–350 тыс. руб.
Внедрение и настройка	100–150 тыс. руб.
Поддержка, 24 месяца	100–150 тыс. руб.

Экономия возникает не всегда. Она есть там, где задача узкая и модель подобрана под неё, и исчезает там, где приходится докупать GPU под пиковую нагрузку или качество модели не дотягивает до задачи.

Границы применимости

Локальное развёртывание — техническая мера, а не сертификат соответствия. Соответствие 152-ФЗ складывается из технических мер, организационно‑распорядительных документов, модели угроз и работы с оператором. Один только перенос модели на своё железо соответствие не даёт.

Влияние на оборотный капитал

СБП B2B — не просто «быстрый перевод». Это инструмент управления денежным потоком.

По данным НСПК (26.10.2026), ключевые метрики:

Время от подтверждения перевода до поступления денег: сокращается с дней до часов
Время от поступления оплаты до передачи заказа в работу: сокращается на 50–80%
DSO (срок погашения дебиторки): сокращается на 20% при постоплате
Доля автоматически связанных платежей: > 90% при интеграции

Для компании это означает: деньги быстрее возвращаются в работу, меньше нужно держать в резерве, реже привлекать краткосрочные кредиты.

Что дальше

Код и методология аудита доступны на GitHub: github.com/Vebinter

Вопрос к читателям

А как вы решаете проблему утечек данных через облачные LLM? Используете локальные модели, или нашли другой подход? Делитесь в комментариях — соберём коллективный опыт.

Если есть вопросы по архитектуре (Ollama, nftables, Tailscale, GPG-бэкапы) — отвечу в комментариях.

Донаты

Если статья была полезна — можно поддержать:

• YooMoney: 4100119621488233

• WebMoney: 379661831157

Источники:

IBM Cost of a Data Breach Report 2024
ст. 13.11 КоАП РФ в редакции 420-ФЗ
И. Чиркин, t‑j.ru, 27.10.2026
НСПК, sbp.nspk.ru, 28.10.2026 (интеграция СБП по API)
Computerra о Mistral Large 4, 30.10.2026

Автор: Олег Беляев, DevOps/SRE, Екатеринбург.