Комментарии 4
"Представьте: вы ведете автомобиль, а на приборной панели нет ни спидометра, ни датчика топлива, ни каких-либо показателей вообще. Ни-че-го. В принципе ехать можно, но вы не знаете, какая у вас скорость, сколько бензина и есть ли с авто какие-то проблемы. " Странная приведена аналогия для человека со статусом "инженер". Общеизвестно, что опытному водителю для мониторинга скорости и текущего технического состояния автомобиля, совершенно не требуются приборы. Включая туда и указатель заполненности бака(какового и нет на уйме мотоциклов). Да и на одометр в реальной жизни никто не смотрит, ориентируются в пробеге по дорожным знакам. Фактически единственный серьезно нужный для авто-мото прибор - это тахометр.
Поэтому и пишу - "ехать можно", чтобы автомобиль в принципе двигался - эти приборы не нужны. По факту ехать будет, мягко говоря, неудобно, особенно в случае, если водитель условно собирается этот автомобиль оценивать по каким-либо критериям (по тому же расходу топлива, или проверить стабильность оборотов - не на слух)
Тахометр вообще не нужен - есть же звук мотора! (сарказм).
У вас LLM как был черным ящиком, так и остался таковым тогда как оценивать качество запросов имеет смысл только при наличии возможности их повторного воспроизведения.
Больше никаких «черных ящиков»: мониторим и оцениваем качество LLM-приложений с Langfuse