Обновить

Orange Pi представила мини-ПК на базе процессора Huawei Ascend 310

Время чтения2 мин
Охват и читатели7.3K
Всего голосов 4: ↑4 и ↓0+8
Комментарии7

Комментарии 7

DGX Spark на минималках?

Очень медленная память, увы. У меня AMD Ryzen ai 395 max+ с 128ГБ унифицированной памятью XDDR6 8000МГц и то не очень быстро....

Ваш райзен работает с моделями исключительно через GPU, никак не используя NPU модуль. И с заморочками размещения модели в памяти. Не всегда модель размещается в части памяти, выделенной для GPU, несмотря на ее объем. Вы точно увереня, что модель в области видеопамяти, когда у вас "не быстро"?

Не всегда в видеопамяти? Так это же настраивается. Я сделал 124ГБ видеопамяти, причем она же и как ОЗУ может использоваться. 4ГБ резерв ОЗУ. NPU используется и модели есть для этого из популярных

Я разместил модель Qwen3 235b Q3 , 18 токенов в секунду, весьма неплохо

Расскажите подробней про свой райзен. Как выбирали и сравнивали с ноутами с нвидиа, под какие задачи используете? Есть ли смысл в локальных больших моделях или толку от них мало в сравнении с топовыми?

Сам вот думаю или как у вас брать или ASUS ROG Zephyrus G14 GA403WW-QS100 AMD Ryzen AI 9 HX 370 /32GB/1024GB SSD/NVIDIA GeForce RTX 5080 16GB.

Есть смысл в больших моделях если они с архитектурой MoE

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации