Спасибо за совет, скорей всего так и сделаю. Просто изначально AMD позиционирует NPU "модуль" для работы с AI. Поэтому и хотелось проверить на что он способен и поделиться своим мнением. Единственный наверно плюс данного подхода - что процессор благодаря NPU не греется совсем. Стабильные 60-70 градусов. Если же использовать iGPU то там совершенно другая температура будет (мне кажется)
На linux официальной поддержке именно режима гибрид - работает одновременно и NPU и iGPU - нет. Как в документации Ryzen AI Software 1.8.0 так и FLM указано, что на linux поддерживается только NPU. А это по факту 2 сервиса которые вообще умеют работать с NPU на AMD (как я знаю). По поводу драйверов, спасибо за ссылки, думаю пригодятся если кто то тоже захочет попробовать NPU.
Не проверял, т.к. в тесте очень сильно зависит частота RAM памяти для iGPU. А у меня стоят плашки по 4800 mhz В дальнейшем как будет время обязательно протестирую. Или как в flm добавят поддержку iGPU для linux.
Все взаимодействие с локальной llm сейчас на уровне собственных наработок и идей. Чаще всего это какие то рутинные задачи, например: поиск и фильтрация туров и мониторинг вариантов подешевле. Или локальный бот который будет вести новостной Тг канал (анализируя статьи из интернета, подбор интересных, компоновка и сжатие до 2-3 интересных предложений)
На самом деле, большую часть информации перед покупкой подчерпнул из иностранных источников. И как верно было подмечено, многие берут более продвинутые чипы, например: Ryzen AI Max+ 395 и запускают модели на Windows используя NPU + iGPU или только iGPU что позволяет в сумме добиться на той же qwen 3.6 35b a3b средних значений в 60 ток\с (что примерно = 3090) Сам по себе подход AMD на текущий момент очень сырой и с NPU и с iGPU в Ryzen AI. Возможно в дальнейшем будут работать над драйверами, поддержкой более масштабных моделей и скоростью работы и получится что то стоющее.
Спасибо за совет, скорей всего так и сделаю. Просто изначально AMD позиционирует NPU "модуль" для работы с AI. Поэтому и хотелось проверить на что он способен и поделиться своим мнением. Единственный наверно плюс данного подхода - что процессор благодаря NPU не греется совсем. Стабильные 60-70 градусов. Если же использовать iGPU то там совершенно другая температура будет (мне кажется)
На linux официальной поддержке именно режима гибрид - работает одновременно и NPU и iGPU - нет. Как в документации Ryzen AI Software 1.8.0 так и FLM указано, что на linux поддерживается только NPU.
А это по факту 2 сервиса которые вообще умеют работать с NPU на AMD (как я знаю).
По поводу драйверов, спасибо за ссылки, думаю пригодятся если кто то тоже захочет попробовать NPU.
Не проверял, т.к. в тесте очень сильно зависит частота RAM памяти для iGPU. А у меня стоят плашки по 4800 mhz
В дальнейшем как будет время обязательно протестирую. Или как в flm добавят поддержку iGPU для linux.
Просто взял данные из популярных моделей которыми сам пользуюсь (не по api, а как чатом)
Все взаимодействие с локальной llm сейчас на уровне собственных наработок и идей. Чаще всего это какие то рутинные задачи, например: поиск и фильтрация туров и мониторинг вариантов подешевле. Или локальный бот который будет вести новостной Тг канал (анализируя статьи из интернета, подбор интересных, компоновка и сжатие до 2-3 интересных предложений)
На самом деле, большую часть информации перед покупкой подчерпнул из иностранных источников. И как верно было подмечено, многие берут более продвинутые чипы, например: Ryzen AI Max+ 395 и запускают модели на Windows используя NPU + iGPU или только iGPU что позволяет в сумме добиться на той же qwen 3.6 35b a3b средних значений в 60 ток\с (что примерно = 3090)
Сам по себе подход AMD на текущий момент очень сырой и с NPU и с iGPU в Ryzen AI. Возможно в дальнейшем будут работать над драйверами, поддержкой более масштабных моделей и скоростью работы и получится что то стоющее.