В комментариях мне возразили: проверять ИИ бессмысленно, модель меняется каждый год, и любой стандарт устареет раньше, чем его утвердят. Если речь о том, чтобы один раз сертифицировать модель и дальше ей доверять, с этим я согласен. Но проверять можно результат на своей задаче, и здесь смена модели мешает меньше, чем кажется.

Пример из метрологии. Часы за триста с лишним лет прошли путь от маятника до атомных. Определение секунды за это время меняли несколько раз: сначала через продолжительность суток, потом через продолжительность года, с 1967 года через излучение атома цезия-133. При каждой замене новое определение подбирали так, чтобы секунда осталась той же величиной, просто стала точнее.

Модель ИИ в этой картине похожа на часы: она будет меняться. Постоянным можно сделать то, что мы проверяем. Это работает для задач, у которых есть проверяемый правильный ответ. Например, сумма в счёте или дата в договоре.

В метрологии для такой проверки есть понятие стандартного образца. Это объект с заранее установленным значением, по которому проверяют прибор. Для ИИ стандартными образцами будут реальные документы из вашей работы, для которых правильный ответ уже проверен человеком.

Как я бы это устроил:

1. Собрать набор реальных входов. Обязательно с трудными случаями, на которых модель чаще ошибается: таблицы, плохие сканы.

2. Подобрать размер набора под нужную уверенность. Если на 30 документах ошибок нет, реальная доля ошибок всё равно может доходить примерно до 9,5%. На 300 документах без ошибок она будет около 1%.

3. Прогонять набор при каждой смене модели или промпта.

4. Обновлять набор, когда меняются формы документов или сама задача. Стандартный образец устаревает вместе с задачей, смена модели на него не влияет.

Проверять можно и в рабочем потоке. В аналитических лабораториях для этого шифруют контрольные пробы: аналитик не знает, какая проба контрольная, а контролёр знает и записывает результат в журнал. С ИИ можно делать так же, только результат по контрольной задаче нельзя пускать дальше в работу. Иначе тестовый счёт однажды попадёт в бухгалтерию.

У подхода есть предел. Для стратегии или свободного текста правильного ответа заранее нет, и стандартный образец собрать не получится. Там проверять приходится сами ограничения: что агенту разрешено делать и можно ли откатить его действия. Об этом напишу отдельно.