Обновить
0

Пользователь

Отправить сообщение

Ждем, чтобы unsloth выпустил новые кванты)

Чисто технически, кэш на это присутствует, но в данном случае это сработает, если это будет единственным запросом. Модель знает историю чата, только потому что туда заносится вся история чата с контекстом и поэтому этот контекст постоянно увеличивается. Есть интсрументы по типу LMCache но данная статья направлена на обучение моделей с уже квантованием, если я правильно понял

Изучал это исследование, отличный подход для сжатия памяти, но это не значит, что вычислений станет меньше, просто станет ещё более доступным

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность