Делюсь своим опытом запуска. Ноут на intel core ultra 5 225H + 32gb (из них выделил на встройку 22gb) lpddr5 = 16 t/s . Это без оптимизации под open vino (жду не дождусь). Оптимизированный Qwen3-Coder-30B-A3B-Instruct-int4-ov выдает в среднем 20 t/s. Контекст в обоих случаях плачевный- 4 и 8К соответственно.
Information
Rating
Does not participate
Registered
Activity
Specialization
Инженер по ручному тестированию, Инженер по обеспечению качества
Делюсь своим опытом запуска. Ноут на intel core ultra 5 225H + 32gb (из них выделил на встройку 22gb) lpddr5 = 16 t/s . Это без оптимизации под open vino (жду не дождусь). Оптимизированный Qwen3-Coder-30B-A3B-Instruct-int4-ov выдает в среднем 20 t/s. Контекст в обоих случаях плачевный- 4 и 8К соответственно.