Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM. Часть 4. Тестирование

[Ariless]

Находка с initdb вместо pg_ctl reload - это Tool-Function hallucination: модель выбирает инструмент из правильной смысловой зоны, но с другим контрактом безопасности.

Тестировала AI-эндпоинт symptom checker - похожий паттерн. Golden dataset даёт чистый прогон, провалы появляются на граничных входах: неполные данные, конфликтующие симптомы. Метрики зелёные, поведение неожиданное.

[makarsuperstar]

Хорошо, что я не один! Спасибо за комментарий!