Почему одной LLM недостаточно

Рассмотрим условную закупку на 50 млн ₽. Наивный AI-процесс выглядит так: загрузили документацию, спросили «выгодно ли участвовать?», получили связный текст и итоговую рекомендацию.

Проблема в том, что ответ может соединять три разных класса информации: факты из документа, оценки компании и допущения самой модели. Внешне все три типа выглядят одинаково уверенно. Если не зафиксировать их происхождение, итоговое решение становится непроверяемым.

Практически полезнее разделить систему на несколько операций: извлечение требований, валидация источников, детерминированный расчёт, анализ движения денежных средств, проверка рисков и утверждение решения ответственным сотрудником.

Учебный пример: прибыль и кассовый разрыв — разные проверки

Возьмём сопоставимые суммы без НДС:

Показатель

₽

Цена контракта

50 000 000

Стоимость товара

46 000 000

Логистика

3 000 000

Стоимость финансирования

1 400 000

Комиссии

100 000

Результат до налогов

−500 000

Арифметика тривиальна, но именно поэтому её полезно вынести из языковой модели в проверяемый расчёт. AI должен помогать добывать данные и находить пробелы; деньги должны считаться формулами, которые можно протестировать.

Дополнительно рассмотрим платёжный график. Если товар и перевозка оплачиваются до поступления денег заказчика, временная потребность в средствах может приблизиться к 49 млн ₽. Эта сумма не равна убытку. Это требование к ликвидности в определённый период. Чтобы получить реальный максимальный разрыв, нужен календарь дат с остатками и подтверждёнными обязательствами.

Контракт данных вместо ответа «всё выгодно»

Для прототипа достаточно явного контракта на извлечённые факты:

{
  "field": "delivery_deadline",
  "value": null,
  "status": "UNKNOWN",
  "source": null,
  "confidence_note": "Не найдено подтверждённого срока в доступном корпусе"
}

Для найденного условия source должен содержать идентификатор документа и точное место — страницу, раздел или структурированный локатор. Значение UNKNOWN нельзя автоматически заменять «типичным сроком» из похожих закупок.

Проверка объёма корпуса документации нужна до расчёта. Если к закупке приложено восемь файлов, а парсер обработал шесть, система должна показать неполноту, даже если уже нашла несколько важных условий.

Где заканчивается язык и начинается вычисление

Разделение может выглядеть так:

  1. Document ingestion. Проверить наличие файлов, типы, ошибки извлечения, версии и дубликаты.

  2. Fact extraction. Выделить цену, количество, условия поставки, даты, правила приёмки, ограничения и обеспечить локаторы.

  3. Validation. Сопоставить выводы с источниками, не создавать неизвестные данные из воздуха, отправить сомнительные случаи на пересмотр.

  4. Financial calculator. Считать затраты, экономику и платёжный календарь по подтверждённым данным и явным допущениям.

  5. Risk review. Прогнать стресс-сценарии и показать, при каких изменениях результат становится неприемлемым.

  6. Decision gate. Требовать подтверждение ответственного сотрудника для решения об участии и принятия финансовых обязательств.

Важно: это логические роли, а не обязательно шесть микросервисов или шесть отдельных LLM-агентов. Для первого этапа один сервис извлечения и обычный расчётный модуль зачастую практичнее.

Как сделать финансовый результат проверяемым

На уровне расчётов полезно иметь функцию с явными входами и неизменяемыми результатами.

package finance

type Estimate struct {
    Revenue       int64 // рубли, в единой базе
    Goods         int64
    Logistics     int64
    FinancingCost int64
    Fees          int64
}

func (e Estimate) Contribution() int64 {
    return e.Revenue - e.Goods - e.Logistics - e.FinancingCost - e.Fees
}

Для сценария выше результат Contribution() равен -500000. Здесь он назван вкладом по учтённым статьям, а не полной чистой прибылью: налоги, постоянные расходы и непредусмотренные затраты в этой учебной модели отсутствуют.

Следующий уровень — платёжный календарь. Для каждой даты фиксируются подтверждённые поступления, обязательные платежи и остаток. Если в каком-то сценарии остаток опускается ниже допустимого порога, система должна показать нехватку ликвидности отдельно от рентабельности.

При этом возвратное обеспечение нельзя механически записывать в расходы; его нужно отражать в движении денежных средств и блокировках ликвидности, а комиссии и проценты учитывать по их экономической сущности.

Проверка на нестандартных условиях

Второй учебный пример — обычный заказ на 200 000 ₽. Товар стоит 164 000 ₽, первая доставка — 12 000 ₽. До прочих расходов остаётся 24 000 ₽. Клиент просит разделить поставку на две, появляется второй рейс за 12 000 ₽ — остаётся 12 000 ₽.

Это хороший регрессионный тест: архитектура должна заметить изменение обязательств, пересчитать маршрут и стоимость, показать разницу и запретить автоматическую отправку клиенту неподтверждённого обещания.

Для AI-компонента стоит тестировать не только точность извлечения, но и частоту ложных утверждений, корректность локаторов, полноту документации, обработку неизвестных и фактическое время экономии с учётом ручной проверки.

Как не превратить AI в ещё один слой бюрократии

На старте я бы использовал три режима: помощник предлагает решение, человек проверяет; затем ограниченные низкорисковые действия с понятными критериями; и только после измерений — более самостоятельные операции с аудитом и возможностью остановки.

Международный NIST AI Risk Management Framework описывает четыре взаимосвязанные функции управления рисками: GOVERN, MAP, MEASURE, MANAGE. Для небольшой системы это полезный каркас: кто отвечает, как определён контекст, как измеряются ошибки и что делать с отклонениями.

Рамка не подменяет инженерное тестирование. Она помогает не забыть, что у AI-автоматизации есть жизненный цикл, качество и владелец риска.

Вывод

Лучший результат AI-системы в некоторых закупках — не ответ «участвуем», а честное «данных недостаточно» или «с подтверждёнными затратами экономика отрицательная».

Когда LLM выделяет факты и объясняет контекст, обычный код считает деньги, а человек подтверждает решение, получается воспроизводимый процесс. Когда всё отдаётся единственному промпту, получается связный текст, которому легко поверить и трудно провести аудит.

Тема для обсуждения: где вы проводите границу между рекомендацией AI и обязательным человеческим подтверждением в коммерческих или финансовых процессах?

Источник методологии: https://www.nist.gov/itl/ai-risk-management-framework