Комментарии 10
чтоже будет дальше? автор поставит в сервер третью видеокарту? интрига!
А вот надо до конца читать статью, тогда бы интриги не было.
да её и так нет, было бы интересно почитать про особенности применение "бытовых" видеокарт в серверном оборудовании, имерсионке там вот это всё, но в статье этого тоже нет, зато много nvidia-smi, ведь терминалы должны приводить в трепет, а прочитать ключи запуска oolama могут исключительно одарённые особи
А там нет никакого rocket science. В предыдущей статье было фото сетапа, тут он похожий, только материнки разные. Бытовые видеокарты, райзеры + продувка мощными "дуйками" через корпус. Тут даже водянку смысла нет использовать и единственное что 5090 чего то не хотят вставать на те же конфигурации, что и 4090. Иммерсивка у нас не используется, а водянку тут ставить вопрос то больше не в перегреве, а в питании. То что термопрокладки требуют замены постоянной и термопаста и что Nvidia пожлопились на датчики и на нормальные коннекторы - ну это и так известно еще с 4090. А по производительности даже на "сырых" пока еще дровах и бета-версиях фреймворков прирост ощутимый есть по крайней мере в инференсе, ну и 64 гига в паре лучше чем 48 и дешевле почти в три раза чем A100.
конечно не рокетсаенс, но про разворот разъемов питания можно было бы сказать, для будущих поколений пихающих бытовые карты в форм-фактор сервера
а вот с имерсинкой вполне себе и рокетсаенс
или вы просто сунули две карты в большой конклютер и называете это сервером?
Core i9-14900KF
Ах ну конечно же, господи
По этому давайте я вам расскажу действительно интересную историю. Так вот если вы попробуете запихать "бытовые\игровые" карты в сервер настоящий, ну тот который стоечный, вы с удивлением обнаружите, что подать питание на карту не представляется никакой возможности в силу того, что разъем питания аккурат упирается в стенку корпуса. И это не чуто какое, а трезвый расчёт. Еще со времен 1080тиай и уиндоус сервер 2013, считалось что считать вам на "бытовых" картах в сервере это гнусно, а главно приносит мало прибыли, и из уиндоус сервер 2013 убрали возможность установки "бытовых" драйверов, а разъемы питания на "промышленных" картах переместились как раз туда, где легко и не принужденно можно подать на них питание. Посыл был такой, что сервера это не в игрушки играть, а хайкомпуте не для игрушек. Башляйте сюда пожалуйста ценник х10.
Ситуация с драйверами всё таки изменилась и в следующую версию уиндоус сервера можно было ставить куду под бытовые карты, но осадочек остался.
Но вот с тех самых пор, разъёмы питания на "проф" и "игровых" картах плотно заняли свои позиции. И если вдуг заказчик захотел "бытовухи" в "сервера", это всегда чуть более интересно, чем запустить оламу на конклютере
Реклама прямо в тексте раздражает, но если уж без этого никак то раскройте нам почему там первая ваша платформа "не тянет"? Просто интересно, разобрались или нет...
Не разобрались, пару суток переставляли все что только можно коллеги. По одиночке 5090 работали, 4090 в паре работали, а вот вместе нет. Грешили на блок питания, настройки BIOS, райзеры, сами карты, в итоге собрали на другой платформе, так как спрос на эти карты большой и мне для тестов тоже дали всего на 1.5 дня сервер. Я же сам подробно могу только со стороны софта рассказать, так как там еще и с VLLM проблемы на дуале потом у клиентов вылезли, например.
P.S. Это корпоративный блог, поэтому я бы рад постить без рекламы, но :)
А как же дум или квейк в 8к ?)
Больше 5090 — больше проблем? Тестируем связку из двух GPU NVIDIA