Делюсь своим опытом запуска. Ноут на intel core ultra 5 225H + 32gb (из них выделил на встройку 22gb) lpddr5 = 16 t/s . Это без оптимизации под open vino (жду не дождусь). Оптимизированный Qwen3-Coder-30B-A3B-Instruct-int4-ov выдает в среднем 20 t/s. Контекст в обоих случаях плачевный- 4 и 8К соответственно.
Информация
В рейтинге
Не участвует
Зарегистрирован
Активность
Специализация
Инженер по ручному тестированию, Инженер по обеспечению качества
Делюсь своим опытом запуска. Ноут на intel core ultra 5 225H + 32gb (из них выделил на встройку 22gb) lpddr5 = 16 t/s . Это без оптимизации под open vino (жду не дождусь). Оптимизированный Qwen3-Coder-30B-A3B-Instruct-int4-ov выдает в среднем 20 t/s. Контекст в обоих случаях плачевный- 4 и 8К соответственно.