Comments 11
Qwen3.8-27B - это самый важный открытый релиз года, если у вас есть компьютер, и если у вас его нет. Я отношусь ко второй группе, и это моя собственная вина.
Отлично. Теперь есть доказательство, что Мак не комп))
а они собираются выпустить микстуред модель на ядре 3.8?
на моём компе qwen3.6-35b-A3 даёт 30 ток.сек... 3.8-27b - только 7 ((
прикрутить mtp или dflash, получается от +50% до x4. Зачем вам MoE, когда есть mtp, который тот же мое, только модель активируется вся.
mtp и тем более dflash это дополнительные гигабайты vram, учитывая что у него на денсе модели только 7 т/с, то у него есть (очень вероятно) и другая проблема - это ограничение vram. А moe модель можно выгрузить в оперативку и получить те же 30 токенов в секунду, а с денсе моделью такое не прокатит, просадка будет сильно хуже.
С такими обьемами за железом никогда не угнаться.Маки даже новые тут не приносят ни скорости ни комфорта.Поэтому совет про закупку памяти заранее не работает И это при том что Apple подняла стоимость.
Сможете запустить ее?
вполне -
На P104-100 в режиме -sm tensor + MTP получается около 18-20 токенов в секунду. На двух картах Q2, на трех Q4 и контекст 120K. Кодить, конечно, тоскливо, но можно если очень хочется. Ценник на эти карты гуманнее некуда, полный бак заправить дороже чем три штуки купить. =)
Согласен, две P100 выдают от 30 в начале и до 20 в течении долгих бесед. С агентами вполне можно работать.
Контекст до 128К. Дальше сжатие срабатывает.
Qwen3.8-27B: лучший локальный LLM, который вы, вероятно, не сможете запустить