"https://github.com/hasso5703/qwen3.8-27b-in-16gb" - если я правильно понимаю, здесь автор сделал специальный квант модели (3.7 bpw - наверно, что-то близкое к IQ3_XXS от Bartowski) и сборку llama.cpp, а также подобрал параметры (Q8/Q4 KV, без Vision и MTP) чтобы уместить 27B в 16Gb VRAM, пусть и в агрессивном кванте. По-моему, вышло круто, сложно сделать лучше.
Ninfer - система запуска, затачиваемая под конкретную модель в конкретном кванте (чаще 4-битном) на конкретной видеокарте (изначально 5090, но есть форки и для 4090, 3090). Нет, если нет версии под конкретную видеокарту, скорее всего не получится.
"объективно оптимальные параметры в любом общем случае" "которые позволяют достичь максимального показателя tok/sec" - думаю, только если мы совсем не упираемся в возможности железа, что происходит, мягко говоря, редко. И то, например, чем сильнее квантована модель, тем выше скорость, но ниже качество. По-моему, тут всегда компромисс. А на проф. оборудовании начинаются игры с возможностью параллельного запуска.
Изначально два комплекта F5-6400J3239F48GX2-RM5RK - один брал при покупке компа, еще один вот последний урвал недавно. Один комплект работал при своих родных 6400, два комплекта изначально тоже загрузились с XMP с 6400, с UCLK:MCLK = 1:2, но на TestMem5 Absolut уже на 15-й минуте вылезла бага. Полез в биос, уменьшил множитель сначала с 64 до 62 (тоже тест не прошло, на 11:58 fail), затем до 60, fail, но плата переключила режим на 1:1. Когда вручную задал UCLK=MEMCLK/2, тест прошло. Далее попробовал все-таки добиться режима 1:1, увеличив напряжение до VCORE SOC = 1.20В, и это сработало. Дальше решил не мучить.
Когда тестил и писал, нормальной реализации Freetoken для Qwen3.8-Flash‑Next еще не появилось. Обязательно протестирую, спасибо!
"https://github.com/hasso5703/qwen3.8-27b-in-16gb" - если я правильно понимаю, здесь автор сделал специальный квант модели (3.7 bpw - наверно, что-то близкое к IQ3_XXS от Bartowski) и сборку llama.cpp, а также подобрал параметры (Q8/Q4 KV, без Vision и MTP) чтобы уместить 27B в 16Gb VRAM, пусть и в агрессивном кванте. По-моему, вышло круто, сложно сделать лучше.
Ninfer - система запуска, затачиваемая под конкретную модель в конкретном кванте (чаще 4-битном) на конкретной видеокарте (изначально 5090, но есть форки и для 4090, 3090). Нет, если нет версии под конкретную видеокарту, скорее всего не получится.
"объективно оптимальные параметры в любом общем случае" "которые позволяют достичь максимального показателя tok/sec" - думаю, только если мы совсем не упираемся в возможности железа, что происходит, мягко говоря, редко. И то, например, чем сильнее квантована модель, тем выше скорость, но ниже качество. По-моему, тут всегда компромисс. А на проф. оборудовании начинаются игры с возможностью параллельного запуска.
Изначально два комплекта F5-6400J3239F48GX2-RM5RK - один брал при покупке компа, еще один вот последний урвал недавно. Один комплект работал при своих родных 6400, два комплекта изначально тоже загрузились с XMP с 6400, с UCLK:MCLK = 1:2, но на TestMem5 Absolut уже на 15-й минуте вылезла бага. Полез в биос, уменьшил множитель сначала с 64 до 62 (тоже тест не прошло, на 11:58 fail), затем до 60, fail, но плата переключила режим на 1:1. Когда вручную задал UCLK=MEMCLK/2, тест прошло. Далее попробовал все-таки добиться режима 1:1, увеличив напряжение до VCORE SOC = 1.20В, и это сработало. Дальше решил не мучить.