Здравствуйте! Спасибо за вопрос. Да, по техническим характеристикам энергопотребление у RTX PRO 6000 BSE выше в 1.5 раза, чем у H100 NVL. Однако на тех нагрузках, которые представлены в статье, среднее потребление оказалось выше всего на 15% относительно H100 NVL.
Здравствуйте! Спасибо за вопрос. В серверном сценарии для нас целевая метрика - latency, а throughput мы оцениваем только в offline сценарии. При высоких значениях max_concurrency throughput в server сценарии по сути приближается к offline сценарию, поэтому отдельно его там не рассматриваем.
Здравствуйте! Спасибо за вопрос. Да, по техническим характеристикам энергопотребление у RTX PRO 6000 BSE выше в 1.5 раза, чем у H100 NVL. Однако на тех нагрузках, которые представлены в статье, среднее потребление оказалось выше всего на 15% относительно H100 NVL.
Здравствуйте! Спасибо за вопрос. В серверном сценарии для нас целевая метрика - latency, а throughput мы оцениваем только в offline сценарии. При высоких значениях max_concurrency throughput в server сценарии по сути приближается к offline сценарию, поэтому отдельно его там не рассматриваем.
Здравствуйте, Антон! Спасибо за предложение, ответил в ЛС