А gpt-oss-20b юзал? У меня тоже 8врам и 32 ддр5, 33 токена/с выдает, вроде как по тестам и 4.1 жпт делает, по качеству ± qwen 30 coder. Интересно эти конфиги протестить, но пока не дошли до этого руки, если сможешь - с удовольствием жду результатов.
Ну не знаю, насчёт 5090, но у меня 2 системы на 5060ti и Ryzen 5 ноутбучный с графикой выделенной из DDR5 на 16 Гб, и оба работают с gpt-oss-20gb и qwen-coder-30b. Конечно с разной производительностью (30т/с и 11т/с), но вполне корректно и по делу.
А gpt-oss-20b юзал? У меня тоже 8врам и 32 ддр5, 33 токена/с выдает, вроде как по тестам и 4.1 жпт делает, по качеству ± qwen 30 coder. Интересно эти конфиги протестить, но пока не дошли до этого руки, если сможешь - с удовольствием жду результатов.
Ну не знаю, насчёт 5090, но у меня 2 системы на 5060ti и Ryzen 5 ноутбучный с графикой выделенной из DDR5 на 16 Гб, и оба работают с gpt-oss-20gb и qwen-coder-30b. Конечно с разной производительностью (30т/с и 11т/с), но вполне корректно и по делу.