Локальный запуск GLM-5.1

[ampir-nn]

Какой смысл в запуске UD-IQ2_M - для чего это ???

[zarxis]

Видимо - для ценителей острых ощущений пониже спины...

[DSoap]

Добрый день, не известно какая скорость в токенах на допустим любой rtx с 24 гб и 256gb оперативы?

[Qwertcoser]

Здравствуйте, должно быть ~0,5 - 1,5 токена в секунду

[edyapd]

Две 3090, остальное на CPU

[denis_iii]

GLM для удержания контекста имеет плотную формулу голов. Отсюда - большое потребление памяти необходимое для K-V кеша, и второе - это большое падение скорости при увеличении контекста (даже после 30-60К). Поэтому в гибридном (локальном) референсе почти не применима.

[sergeym69]

2шт RTX3090 + 220Gb RAM DDR5 6000 + i7 = 4.2 tok/s на UD-IQ3_XXS

Брать IQ2 НЕТ никакого смысла, увеличения скорости нет, а если отключен mmap в параметрах llama.cpp то на Linux можно запускать модель размером больше RAM.

[NTDim1973]

Как будто для кодинга qwen 80b для локали лучше будет glm в такой квантизации и среде ? Не сравнивали ?

[dibu28]

Похоже быстрее будет несколько раз спросить Qwen и поправить ошибки если будут чем один ответ дождаться от glm.

Если делать такой бенчмарк(сравнение), то ещё с учётом скорости ответов надо.

[SlavaVSLK]

Пока ответит - уже новая версия выйдет 🤣

[dkeiz]

не рассматривали reap варианты?

[BelerafonL]

MiniMax 2.7 229b в квантовании Q6 божественна и летает на схожем железе как в статье. Уверен и качество будет лучше чем UD-IQ2 GLM.

[zarxis]

протестировал GLM-5.1-UD-Q3_K_XL на виртуалке с одним выделенным сокетом Xeon Gold 5218 (отключил многопоточность и NUMA) c ОЗУ 360 gb DDR4, использовал 14 ядер из 16 (с 16 ядрами ~1.1 т/с)

в принципе, в сложных сценариях разработки или составления архитектуры его можно юзать - составил промтп, вкинул и пошел заниматься другими делами, через часик уже и ответ готовый будет

[Banakhovich]

UD-Q4_K_XL на epyc 7k62 512ram ddr4(3200) + rtx5090 7,5 т/с