Qwen3.8-27B: лучший локальный LLM, который вы, вероятно, не сможете запустить

[jshapen]

Qwen3.8-27B - это самый важный открытый релиз года, если у вас есть компьютер, и если у вас его нет. Я отношусь ко второй группе, и это моя собственная вина.

Отлично. Теперь есть доказательство, что Мак не комп))

[st---v]

а они собираются выпустить микстуред модель на ядре 3.8?
на моём компе qwen3.6-35b-A3 даёт 30 ток.сек... 3.8-27b - только 7 ((

[dkeiz]

прикрутить mtp или dflash, получается от +50% до x4. Зачем вам MoE, когда есть mtp, который тот же мое, только модель активируется вся.

[krendelbok]

https://huggingface.co/bartowski/Ornith-1.5-35B-A3B-GGUF

[undersunich]

С такими обьемами за железом никогда не угнаться.Маки даже новые тут не приносят ни скорости ни комфорта.Поэтому совет про закупку памяти заранее не работает И это при том что Apple подняла стоимость.

[alex09102026]

Сможете запустить ее?

вполне -

[c46fd3da]

На P104-100 в режиме -sm tensor + MTP получается около 18-20 токенов в секунду. На двух картах Q2, на трех Q4 и контекст 120K. Кодить, конечно, тоскливо, но можно если очень хочется. Ценник на эти карты гуманнее некуда, полный бак заправить дороже чем три штуки купить. =)

[An_Sm_ru]

Согласен, две P100 выдают от 30 в начале и до 20 в течении долгих бесед. С агентами вполне можно работать.

Контекст до 128К. Дальше сжатие срабатывает.

[n0isy]

Печально это всё, господа. Сначала резиновые (бу) карты 10ти летней давности. Потом похоже по паспорту будем закупаться. Корпы отнимают владение (переходите на облака)

NVIDIA P104-100 — это специализированная видеокарта для майнинга, выпущенная 12 декабря 2017 года.

[c46fd3da]

Так NVIDIA RTX PRO 4000 (blackwell) на Qwen3.8-27B всего 50 ток/сек выдает. Если сравнить разницу в цене с разницей в производительности, сразу потеплеет на душе. А еще есть P102-100 и Mi50. Тоже, правда, жутко древние, зато массово доступные.