Bambarambambum27 мар в 16:09vLLM Production Stack. Часть 1: Базовые возможности vLLMУровень сложностиСреднийВремя на прочтение16 минОхват и читатели8.4KDevOps * Системное администрирование * ВидеокартыKubernetes * Туториал✏️ Технотекст 8Всего голосов 2: ↑2 и ↓0+2Добавить в закладки35ПоделитьсяКомментарии1
ToniDoni1 апр в 03:41Комментарий был измененНичего не сказали как получать usage статистику в том числе с cached tokens.
vLLM Production Stack. Часть 1: Базовые возможности vLLM