Pull to refresh

Comments 7

UFO landed and left these words here

Спасибо за комментарий, а можете чуть развернуть?

UFO landed and left these words here

Плохой спамер — возможно он перестанет спамить ответами от LLM?

"Self-host LLM в production включает: Eval pipeline: без систематической оценки качества вы не поймёте, когда модель деградировала." - почему обученная модель должна деградировать на собственном сервере и не должна на внешнем? Она же self-hosted, не self-tuned или self-trained. А security почему только к self-host относится? Как раз для внешних сервисов это критичней

В моем понимании self-hosted, строго говоря, не исключает self tuned. На небольших дата-сетах Supervised Fine-Tuning (SFT) модели вполне возможен силами небольшой команды на небольшом наборе данных (например, данные контакт центра). Спасибо за вопрос и комментарий.
Но если говорить про наш опыт, я имел ввиду скорее бенчмарки и "деградациию" против других моделей или той же модели в другой квантизации, которые выходят чуть не каждый день. Сожалею, если запутал.

Sign up to leave a comment.

Articles