Как я приручил 30-миллиардник на RTX 3090: Тестируем Nemotron-Cascade-2 в домашнем сетапе

Попробуйте этот стэк. Настройка среды под запуск 1ой командной

https://github.com/workhubonline-soft/aistack

Самая стабильная система для запуска llm это linux. Моё субъективное мнение из двухлетнего опыта