Comments 3
модель для 24-гигабайтных карт на 96 GB
А почему вообще запускали такие модели ? Для чего берегли VRAM ?
Сначала был другой сервер и другие мощности, хотелось оценить насколько производительней текущая конфигурация, чем была
написали бы что за двенадцать друзей оушена лютых галерщика жруг столько токенов? по-моему нормальному человеку $20-вой подписки - много. и я уж молчу насколько fable/opus разрывающе круче всех этих квенов
Sign up to leave a comment.
Свой инференс для 25 разработчиков: 452:1, KV‑пул и почему это не экономит денег