Комментарии 2
Находка с initdb вместо pg_ctl reload - это Tool-Function hallucination: модель выбирает инструмент из правильной смысловой зоны, но с другим контрактом безопасности.
Тестировала AI-эндпоинт symptom checker - похожий паттерн. Golden dataset даёт чистый прогон, провалы появляются на граничных входах: неполные данные, конфликтующие симптомы. Метрики зелёные, поведение неожиданное.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM. Часть 4. Тестирование