Bambarambambum Mar 27 at 16:09vLLM Production Stack. Часть 1: Базовые возможности vLLMLevel of difficultyMediumReading time16 minReach and readers9.6KDevOps * System administration * Video cardsKubernetes * Tutorial✏️ Technotext 8Total votes 2: ↑2 and ↓0+2Add to bookmarks38ShareComments2
ToniDoni Apr 1 at 03:41Comment has been editedНичего не сказали как получать usage статистику в том числе с cached tokens.
vLLM Production Stack. Часть 1: Базовые возможности vLLM