Комментарии 7
Очень медленная память, увы. У меня AMD Ryzen ai 395 max+ с 128ГБ унифицированной памятью XDDR6 8000МГц и то не очень быстро....
Ваш райзен работает с моделями исключительно через GPU, никак не используя NPU модуль. И с заморочками размещения модели в памяти. Не всегда модель размещается в части памяти, выделенной для GPU, несмотря на ее объем. Вы точно увереня, что модель в области видеопамяти, когда у вас "не быстро"?
Не всегда в видеопамяти? Так это же настраивается. Я сделал 124ГБ видеопамяти, причем она же и как ОЗУ может использоваться. 4ГБ резерв ОЗУ. NPU используется и модели есть для этого из популярных
Я разместил модель Qwen3 235b Q3 , 18 токенов в секунду, весьма неплохо
Расскажите подробней про свой райзен. Как выбирали и сравнивали с ноутами с нвидиа, под какие задачи используете? Есть ли смысл в локальных больших моделях или толку от них мало в сравнении с топовыми?
Сам вот думаю или как у вас брать или ASUS ROG Zephyrus G14 GA403WW-QS100 AMD Ryzen AI 9 HX 370 /32GB/1024GB SSD/NVIDIA GeForce RTX 5080 16GB.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Orange Pi представила мини-ПК на базе процессора Huawei Ascend 310