Запускаем GPT-OSS-120B на 6 Гб GPU и ускоряем до 30 t/s. Вам нужна RAM, а не VRAM. Параметр -cmoe для ускорения MoE LLM

Можно ли так развернуть 120b на vllm? cpu inference не особо быстрый и не запускается с 120b