Свой инференс для 25 разработчиков: 452:1, KV‑пул и почему это не экономит денег

[dtarasov7]

модель для 24-гигабайтных карт на 96 GB 

А почему вообще запускали такие модели ? Для чего берегли VRAM ?

[Tialian]

Сначала был другой сервер и другие мощности, хотелось оценить насколько производительней текущая конфигурация, чем была