Всё началось с желания автономно заниматься исследованиями в области искусственного интеллекта и запускать свои эксперименты без ограничений облачных сервисов или недостаточных ресурсов рабочих кластеров. Наука и исследования давно стали для меня не только профессией, но и хобби: запускать эксперименты, сравнивать модели, тестировать свежие идеи - всё это требует собственной инфраструктуры. Именно поэтому я решил собрать GPU‑сервер «под себя» для полноценного AI‑ресёрча.
До этого опыта самостоятельной сборки серьёзного железа у меня не было, но огромное влияние оказал мой научный руководитель - делился опытом и давал ценные советы, за что я ему очень благодарен. Его помощь стала критически важной частью этого пути: без него, возможно, не вышло бы довести этот сервер до ума.
При изучении чужого опыта обнаружил, что в интернете мало конкретных материалов по домашним мульти‑GPU сборкам под задачи ресёрча(не майнинга). Хотелось найти готовое решение: закрытый корпус, много дисков и места под несколько видеокарт, но воспроизводимых и дешёвых схем сборки или даже фотографий я почти не встретил. В итоге корпус подбирал на ощупь (это уже третий корпус), много часов ушло просто на поиски нужных комплектующих. Я даже консультировался с инженерами из бигтеха, но многие детали им тоже были неочевидны.
Многое шло не по плану: были ограничения по бюджету и эксперименты с охлаждением (процессорный кулер я менял четыре раза). Честно говоря, затраты всякий раз выходили больше, чем планировал - то более длинные провода, то вентиляторы, то ещё какая‑нибудь мелочь.
Главные инсайты для меня за время сборки:
Найти корпус под много десктопных карт - тот еще квест;
Материнскую плату, которой можно доверять искать очень тяжело(я так и не нашёл);
Продавцы на авито предлагают чудесные цены на новое железо.
Теперь расскажу, как именно я подошёл к процессу сборки - от выбора корпуса до конфигурации внутренних компонентов, охлаждения и питания всего этого сервера.
UPD: Не стоит питать кулеры из данной статьи через ARCTIC Case Fan Hub, как здесь это описано. Этот хаб не предназначен для этого. Недавно он сгорел. Решение этой проблемы уже придумано, статья будет обновлена, как я поставлю новой вид питания
Корпус, в который точно всё влезет
На старте проекта бюджет был сильно ограничен, поэтому первую итерацию серверной сборки я делал в Ginzu GL180 — неплохой, дешёвый корпус, который отлично заходит для минимального сетапа, но быстро становится тесным, если хочется расширяться.
Следом попробовал Procase 4u: корпус попросторнее, но и там быстро упёрся в лимит — места для многогпу‑сборки не хватало.
Финальная (и самая удачная!) версия - двухэтажный китайский корпус, который нашёл на AliExpress (ссылка). Внутри оказалось более чем достаточно пространства под все мои хотелки: видеокарты, диски и хорошую вентиляцию. В комплекте идут съёмные перегородки и внушительный запас места под стандартные комплектующие.
Базовые внутренности
На фото кл��чевой этап сборки: установка двухпроцессорной серверной материнской платы Huananzhi X99-F8D Dual Plus. Почему именно два процессора? Больше ядер — больше операций предобработки данных, что критично для экспериментов, в том числе параллельных. В этой плате — 2 сокета, 8 слотов под оперативную память, 6 слотов PCIe для видеокарт, 3 M.2 NVMe и 10 SATA‑разъёмов.
Оперативная память реализована в виде 8 модулей Atermiter по 16 ГБ. Установлены два процессора Intel Xeon E5-2699A v4 — самые мощные для сокета LGA2011-3 (22 ядра на каждом). Да, иногда хочется «эпик», но стоимость AMD EPYC несравнимо выше, а производительности этих Xeon хватает, чтобы не страдать из‑за CPU‑болтнека (по крайней мере, за несколько недель использования ощутимых фризов не было).
В качестве электропитания выбраны два блока GamerStorm (DeepCool) PQ1200G WH по 1200W — такой объём питает все внутренние компоненты.
Охлаждение
В серверном корпусе с двумя процессорами возникла неожиданная проблема: высота башенного кулера может быть не больше 5 см, так как прямо над процессорами находятся другие компоненты, и выдув наверх невозможен, а подходящих кулеров с боковым обдувом для такого сокета я не нашёл вообще.
Поэтому единственным адекватным вариантом стало водяное охлаждение. Я выбрал две модели: ExeGate BlackWater-240V2.PWM и ExeGate BlackWater-120V2.PWM. Почему разный размер? Начинал с двухюнитового радиатора, примерялся к корпусу — оказалось, что большой радиатор частично мешает воздушным потокам внутри, поэтому на второй процессор пришлось взять версию с меньшим радиатором. Оставил обе водянки: оба варианта отлично справляются со своей задачей.
Результат оказался выше ожиданий: под пиковой нагрузкой температура процессоров не превышала 55°.
Для внутреннего охлаждения корпуса я решил не экономить и выбрал сверхмощные кулеры Arctic S12038-8K. Они способны вращаться на скорости до 8000 оборотов в минуту - этого вполне хватает, чтобы эффективно выдувать горячий воздух из корпуса даже при максимальной нагрузке всех компонентов.
Одна из неожиданных проблем при монтаже: кулеры оказались шире стандартных, и классические болты для крепления оказались короткими. Решили зафиксировать вентиляторы на обычные пластиковые стяжки. Такой лайфхак оказался рабочим: лишних вибраций или дребезжания не появилось, крепление вроде надёжное, а установка заняла буквально пару минут.
Установка охлаждения
На данном этапе установлены три мощных кулера с радиатором водяного охлаждения. Питание материнской платы, процессоров и части видеокарт обеспечивает чёрный бпшник. Также на фото появились два накопителя с пассивными радиаторами.
Были установлены два SSD M.2 Samsung 990 Pro по 4 ТБ - они нужны для операционной системы, хранения моделей и кода. Чтобы избежать перегрева, оба диска посажены в радиаторы Coolleo SSD-V2 (HR-10) с двумя тепловыми трубками.
Добавили вторую тройку кулеров сверху - в сумме теперь шесть мощных вентиляторов обеспечивают активную продувку всего корпуса. На процессоры установили помпы, а для максимальной теплопроводности вместо обычной термопасты использовали жидкий металл Thermal Grizzly Conductonaut. Управление оборотами всех вентиляторов реализовано через контроллер ARCTIC Case Fan Hub.
UPD: Не стоит питать кулеры из данной статьи через ARCTIC Case Fan Hub, как здесь это описано. Этот хаб не предназначен для этого. Недавно он сгорел. Решение этой проблемы уже придумано, статья будет обновлена, как я поставлю новой вид питания
Установка дисков
За год работы с этим сервером я успел собрать шесть жёстких дисков для хранения датасетов и экспериментов:
Seagate Barracuda 2 TB
Seagate Barracuda 1 TB
Seagate SkyHawk 4 TB
WD Red 1 TB
x2 Seagate Exos 8 TB (они брендированы как Dell EMC)
Сверху на фото видно металлическую плашку с райзерами - это та самая конструкция, к которой крепятся видеокарты. Райзеры китайские, с поворотом PCI-E слота на 90° чтобы удобно их было закрепить на этой самой пластине. Подробнее к этой плашке мы вернёмся чуть позже.
На этом фото финальный этап подключения накопителей. Все диски запитаны с помощью кабелей. Для корректной синхронизации двух блоков питания обязательно требуется специальная плата: у меня здесь стоит Espada ESP-DPSS02, она гарантирует одновременно запуск и стабильную работу всей системы. Без такой платы сервер запуск двух БПшников для питания системы, насколько я знаю, невозможен.
Установка видеокарт
В специальные крепления устанавливаются две основные планки: одна с райзерами для подключения видеокарт, вторая служит передней опорой для их фиксации. Третья точка опоры - боковая металлическая плашка, куда карты прикручиваются сбоку. Благодаря такому трёхточечному креплению ни одна видеокарта не провисает: вся конструкция жёсткая и устойчивая, даже при полной загрузке слотов.
Финальный этап сборки - установка видеокарт и обзор корпуса сверху. В этот кейс помещается максимум пять видеокарт, и для текущих задач этого более чем достаточно. Карты установлены в разнесённых слотах - так обеспечивается оптимальный обдув.
На фото сетап такой:
RTX 4060 Ti 16 ГБ (×2)
RTX 5060 Ti 16 ГБ (×1)
И ещё две видюхи для полноты картины. Они не используются и поставлены для фото. На данный момент я жду две другие карты из Китая.
По мощности эти карты быстрее, чем tesla A100, хоть уступают по ширине шины памяти и объёму видеопамяти. Для экспериментов скорость всё окупает.
Финальное слово
Построить домашний мульти‑GPU сервер оказалось непросто, но очень интересно. Если подходить к задаче с практическим интересом и готовностью к экспериментам: правильный корпус, продуманное охлаждение и грамотное подключение питания позволяют собрать рабочую машину для ресёрча, которая по производительности и гибкости не уступает облачным решениям. Если вы задумались о подобной сборке, не бойтесь пробовать - процесс даёт опыт, а результат приносит реальную пользу в работе и исследовании ИИ.
Спасибо за прочтение статьи! Если интересно следить за тем, как мы используем этот сервер в научных исследованиях, подписывайтесь на мой тг канал https://t.me/KORALLLLLL и канал моего научного руководителя
