Комментарии 7
"Self-host LLM в production включает: Eval pipeline: без систематической оценки качества вы не поймёте, когда модель деградировала." - почему обученная модель должна деградировать на собственном сервере и не должна на внешнем? Она же self-hosted, не self-tuned или self-trained. А security почему только к self-host относится? Как раз для внешних сервисов это критичней
В моем понимании self-hosted, строго говоря, не исключает self tuned. На небольших дата-сетах Supervised Fine-Tuning (SFT) модели вполне возможен силами небольшой команды на небольшом наборе данных (например, данные контакт центра). Спасибо за вопрос и комментарий.
Но если говорить про наш опыт, я имел ввиду скорее бенчмарки и "деградациию" против других моделей или той же модели в другой квантизации, которые выходят чуть не каждый день. Сожалею, если запутал.

Compute crunch пришёл: как считать экономику LLM в 2026