Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 3
модель для 24-гигабайтных карт на 96 GB
А почему вообще запускали такие модели ? Для чего берегли VRAM ?
Сначала был другой сервер и другие мощности, хотелось оценить насколько производительней текущая конфигурация, чем была
написали бы что за двенадцать друзей оушена лютых галерщика жруг столько токенов? по-моему нормальному человеку $20-вой подписки - много. и я уж молчу насколько fable/opus разрывающе круче всех этих квенов
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Свой инференс для 25 разработчиков: 452:1, KV‑пул и почему это не экономит денег