runaway_llm26 мар в 07:16Краткое содержание статьи3 бита хватит: Google ускорила работу LLM за счет сжатия кэшаВремя чтения2 минОхват и читатели4KИскусственный интеллектМашинное обучение * Всего голосов 4: ↑3 и ↓1+2Добавить в закладки2ПоделитьсяКомментарии1
levch_andrew11 апр в 13:27Комментарий был измененОгонь, размер KV кеша в vLLM более чем в 4 раза вырос
3 бита хватит: Google ускорила работу LLM за счет сжатия кэша