Обновить

Compute crunch пришёл: как считать экономику LLM в 2026

Уровень сложностиСредний
Время на прочтение9 мин
Охват и читатели8.7K
Всего голосов 6: ↑5 и ↓1+7
Комментарии7

Комментарии 7

НЛО прилетело и опубликовало эту надпись здесь

Спасибо за комментарий, а можете чуть развернуть?

НЛО прилетело и опубликовало эту надпись здесь

Плохой спамер — возможно он перестанет спамить ответами от LLM?

"Self-host LLM в production включает: Eval pipeline: без систематической оценки качества вы не поймёте, когда модель деградировала." - почему обученная модель должна деградировать на собственном сервере и не должна на внешнем? Она же self-hosted, не self-tuned или self-trained. А security почему только к self-host относится? Как раз для внешних сервисов это критичней

В моем понимании self-hosted, строго говоря, не исключает self tuned. На небольших дата-сетах Supervised Fine-Tuning (SFT) модели вполне возможен силами небольшой команды на небольшом наборе данных (например, данные контакт центра). Спасибо за вопрос и комментарий.
Но если говорить про наш опыт, я имел ввиду скорее бенчмарки и "деградациию" против других моделей или той же модели в другой квантизации, которые выходят чуть не каждый день. Сожалею, если запутал.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации