Comments 27
а вот было бы интересно сравнить цена/стоимость серверных GPU с теми же самыми GeForce RTX 3080 и 3090 на десктопе (ну для варианта с 12GB памяти)...
Плюсую.
Результаты RTX 3080 и 3090 были-бы очень органичны в табличках (но включая и 24 Гб), их прям хочется увидеть рядом.
Причем ведь достаточно логичный подход - локально поэкспериментировать на "кошечках", а сетку для production тренировать на арендованном DGX A100.
У нас в самосборном сервере и A6000, и 3080 одновременно стоят. Но сравнивать довольно сложно: A6000 имеет 48 гигов на борту, нейросетки, которые на нём гоняются, в 3080 просто не влезают.
Я в начале года написал такую статью на Хабре, там я попытался сравнить — 1080 Ti, Titan X (Maxwell), 3090 и A100 — https://habr.com/ru/post/530986/
Сравнение не такое подробное, но независимое, без "коммерческой тайны"
Вопрос задачи...
Для многопоточного инференса если сетка в 16gb помещается из таблицы явно видно что лидер A4000 в силу однослотовости. Сравнивая что с A100 что с 3090. Я в ASUS ESCR4000-E10 могу вставить 8мь A4000 которые дадут результат на инференсе приблизительно как 4xA100. А по цене будут чуть больше одной.
А мне вот интересно узнать, почему на серверах нельзя юзать 3080 и 3090?
Отсутствие официальной поддержки виртуализации (SR-IOV).
Повышенное энергопотребление по сравнению с Quadro/Tesla
NVENC в GeForce ограничен 3 потоками
Меньший объём памяти и её скорость
Система охлаждения - карт которые занимают не более 2 слотов и могут охлаждаться стоя вплотную хорошо если 2-3 модели есть, и те постоянно в дефиците
Производитель строго следит за соблюдением ограничений: санкции за нарушение применяются не только к провайдеру, но и клиенту, который арендует сервер с десктопным железом или устанавливает на нем ПО NVIDIA.
Дико плюсую.
Производитель "следит", а за майнингом он тоже конечно же "следит".
Давайте просто пожалуйста называть вещи своими именами.
Скорее всего при покупке большого числа карт напрямую, просто монополист принуждает подписывать какие-то условия и все.
Но эти условия это конечно "коммерческая тайна".
Карты, которые можно поставить в серверы всегда были в несколько раз дороже аналогичных по производительности игровых карт (это только сейчас из-за всем известных событий сложилась аномальная ситуация, в которой игровые карты стоят почти столько же).
AMD игровые карты ставить в датацентры не запрещает. Видимо, поэтому, например, в Google Stadia были поставлены RX Vega.
По мой же причине, почему подключение интернета для юридических лиц стоит на порядок дороже, чем для физических.
да есть уже решения для охлаждения горячих 3080 и 3090 в серверных стойках
Водянка, сэр?
Давайте не будем поддерживать миф о "горячести" 3090.
Они довольно "холодные", если сбрасывать тепло наружу корпуса и нормально организовать поток воздуха.
Я в начале года постил на Хабре сравнение — https://habr.com/ru/post/530986/
-- Вы продаёте видеокарты?
-- Нет, просто показываю.
(картинку сами нарисуйте)
Производитель строго следит за соблюдением ограничений: санкции за нарушение применяются не только к провайдеру, но и клиенту, который арендует сервер с десктопным железом или устанавливает на нем ПО NVIDIA.
А можно тут теперь поподробнее.
То есть я правильно понял, что вы даете NVIDIA условный root доступ для аудита каждой виртуалки или bare metal инстанса вашего клиента?
Иначе тогда как они это "проверяют"? А ваши клиенты согласны с этим?
Речь в статье про bare metal, root доступа к серверу нет ни у нас, ни у nvidia.
Речь про ограничения на ПО:
https://www.nvidia.com/content/DriverDownload-March2009/licence.php?lang=us&type=GeForce
No Datacenter Deployment. The SOFTWARE is not licensed for datacenter deployment, except that blockchain processing in a datacenter is permitted.
Блокчейн процессинг, сэр
Тест на выбывание: выбираем лучшие из девяти новых GPU