Локальный запуск GLM-5.1

[ampir-nn]

Какой смысл в запуске UD-IQ2_M - для чего это ???

[zarxis]

Видимо - для ценителей острых ощущений пониже спины...

[DSoap]

Добрый день, не известно какая скорость в токенах на допустим любой rtx с 24 гб и 256gb оперативы?

[Qwertcoser]

Здравствуйте, должно быть ~0,5 - 1,5 токена в секунду

[edyapd]

Две 3090, остальное на CPU

[denis_iii]

GLM для удержания контекста имеет плотную формулу голов. Отсюда - большое потребление памяти необходимое для K-V кеша, и второе - это большое падение скорости при увеличении контекста (даже после 30-60К). Поэтому в гибридном (локальном) референсе почти не применима.

[NTDim1973]

Как будто для кодинга qwen 80b для локали лучше будет glm в такой квантизации и среде ? Не сравнивали ?

[SlavaVSLK]

Пока ответит - уже новая версия выйдет 🤣

[dkeiz]

не рассматривали reap варианты?