Серверные мощности в домашнем ПК

Сказ о том, как собрать себе мощный комп с минимальным бюджетом.

В один прекрасный день мой коллега сказал, что на досках объявлений появились недорогие списанные мощные двухпроцессорные серверные материнские платы Supermicro X8DTL-i. В этом лоте на плате уже установлены процессоры, память и радиаторы, включай и работай. При этом формат платы E-ATX позволяет без особых проблем уместить её в обычный компьютерный корпус. Единственное, о чём стоит задуматься — это об охлаждении этих серверных мощностей.

Ценник на такой комплект на досках объявлений начинается от трёх тысяч рублей, что по карману даже школьнику. Это весьма интересное предложение для того, чтобы повозиться с серверным железом, да ещё и в домашнем компьютере. Я загорелся, и мне казалось, что никаких проблем возникнуть не должно, но как обычно, дьявол кроется в мелочах. Как и бывает в таких случаях, проблем посыпался ворох: охлаждение, расположение нестандартной матери, драйвера управления вентиляторов, организация электропитания.

В результате это всё вылилось в настоящий кастомный проект, который существует в единственном экземпляре. 3D-печать, ковыряние драйверов, разработка и пайка своих приспособлений. В общем, путь настоящего технаря.

Почему собирать домашний компьютер из серверного железа — это плохая идея?

Если вы так же, как и я решите себе собирать домашний стационарный компьютер из серверного железа, то вы должны понимать, что серверное железо не совсем предназначено для этих целей.

Как бы глупо это ни звучало, такая материнская плата предназначена для установки именно в сервер. На ней нет звуковой карты, ограниченное количество портов USB 2.0, предназначенные, в первую очередь для подключения клавиатуры и мышки.

Сервера проектируются таким образом, чтобы обеспечивать качественный сильный обдув всех компонентов внутри корпуса, так как шум вентиляторов в отдельном специальном помещении, точно никому не мешает. Поскольку серверный корпус организует потоки воздуха, равномерно обдувающие все детали материнской платы, то там не проблем перегрева отдельных компонентов. Тогда, как в обычном ATX корпусе такой поток бесшумно обеспечить практически невозможно.

С другой стороны, следует понимать, что в домашних условиях на протяжении многих часов держать 100% загрузку обоих процессоров вряд ли будет возможным. Даже если вы занимаетесь вычислениями или сборкой проектов из исходников, то такая нагрузка эпизодическая. Таким образом, в домашних условиях такого охлаждения попросту не требуется. В процессе тестов мне так и не удалось суметь в жару нагреть процессора до сколь-нибудь критических отметок. Разумеется, на радиаторах были установлены простые, недорогие вентиляторы.

Ещё одной проблемой может быть, что материнская плата банально не сможет влезть в обычный компьютерный корпус, так как она предназначена для установки в сервер. Например, в корпусах попросту отсутствовали некоторые посадочные отверстия для крепления матери, а те что были, не всегда имели места крепления на плате.

Ещё одним фактором, который может смутить — всё это старое и списанное железо. Хотя оно прекрасно может служить для домашних нужд, многое из всего, что там есть — морально устарело. Если есть финансы, то возможно стоит отказаться от этой идеи, если вы не готовы к трудностям, которые могут возникнуть.

Резюмируя: надо быть готовым, что придётся придумывать свою систему охлаждения компонентов на материнской плате. Осознавать, что далеко не каждый компьютерный корпус подойдёт для размещения всего этого железа. Вам придётся решать проблему крепления материнской платы внутри него. Для полноценной работы нужно будет отдельно покупать звуковую карту, контроллер USB и видеокарту. Возможно, может понадобиться более мощный блок питания.

С другой стороны, если эти проблемы вас не смущает, можно получить за весьма малые деньги достаточно мощный домашний компьютер, которого хватить с лихвой на все бытовые задачи, в том числе игры и различные вычисления. Забегая вперёд, скажу, что весь мой апгрейд по всем суммарным финансовым расходам не превысил шестнадцати тысяч рублей. Хотя при более грамотном подходе можно было уложиться и в меньшую сумму.

▍ С чего всё началось

Озвученные в спойлере проблемы меня не пугали, и я был морально к ним готов. Мне казалось это прикольной инженерной задачей, с которой, если справлюсь, то получу мощный компьютер, если нет, то хотя бы развлекусь.

Изначальная конфигурация, которая у меня уже была:

• Процессор: Intel Core i5-3470 3.2 ГГц;
• Память: 8 ГБ DDR3 1648 МГц;
• Видеокарта: Geforce GTX 960.

В целом, практически для всех моих задач этой конфигурации хватало за глаза. Единственный момент, где всё тормозило — это игра «Black Mesa». Пройти финальный уровень и финального босса без слайдшоу мне не удавалось. Единственное, если выгрузить браузер, телегу, дропбокс, то это было хоть как-то «играбельно». Наверное именно этот момент и сподвиг меня начать апгрейд.

Вышеупомянутый коллега — gears посоветовал мне взять материнскую плату Supermicro X8DTL-i.

Конфигурация на момент покупки:

• Два процессора Intel® Xeon® L5630 2,4 ГГц вместе с радиаторами;
• 24 ГБ регистровой ОЗУ (6 планок по 4 ГБ).

Обошлась она мне всего в шесть тысяч рублей.


Серверная материнская плата: Supermicro X8DTL-i.

По поводу системы охлаждения процессора у меня не было однозначного решения. Мне повезло, и на обоих процессорах были радиаторы со всеми рёбрами (два как на процессоре сверху). Поэтому в целом решил, что можно просто сверху как-то прикрепить вентиляторы на 80 мм и получить вменяемое охлаждение. Вентиляторы взял самые простые, но четырёхпроводные Gembird D8025SM-4, по 200 рублей/шт. В качестве звуковой карты взял буквально первое, что попалось на глаза — звуковую карту Creative Audigy2 ZS PCI за 490 рублей. Контроллер USB ExeGate EXE-317 за 1500 рублей.

В процессе тестов и эксплуатации стало понятно, что придётся вероятно охлаждать и северный мост, поэтому у gears был одолжен радиальный вентилятор для 3D-принтера.


Докупленные запчасти.

Блок питания и видеокарту я позаимствовал у старого компьютера. Пилотная сборка и всё готово к варварским испытаниям.


Пилотная сборка.

За что я люблю ОС Linux, что моя система без сучка и задоринки стартанула в новой конфигурации, и радостно начала использовать все процессорные мощности, которые ей были подарены. Настал момент истины, тестирование мощностей и охлаждения. Тест осуществлялся утилитой stress, которую я запустил в 32 потока, чтобы уж точно съесть все процессорные мощности без остатка. Температуру контролировал с помощью утилиты sensors, как я потом узнал, там были не все нужные мне параметры, и надо было ставить дополнительные драйвера, но об этом потом.

Радостный, смотрел на температуру процессора и проморгал то, что один из датчиков показывал температуру сильно выше нормы, 105 C°!


Перегрев, строчка посередине.

Спустя весьма непродолжительное время система наглухо зависла. Как впоследствие оказалось — это был перегрев северного моста.

Ну что же, настало время думать о системе охлаждения.

▍ Поиск оптимального охлаждения северного моста

Самое сложное и отнявшее большое количество времени в этом проекте — организация системы охлаждения элементов материнской платы. И даже сейчас считаю, что её не решил до конца.

Первое, над чем мы начали работать совместно с gears — это охлаждение северного моста. Внешне — это самый крупный радиатор, после процессорных. Для охлаждения северного моста взял радиальный вентилятор от 3D-принтера.


Радиатор северного моста и прикидка вентилятора.

Одной из особенностей радиатора является то, что половину его закрывает видеокарта. Следовательно, нужно как-то направить воздушный поток, так чтобы он забирался под видеокарту и продувал радиатор. Как показала практика, там требуется очень малый поток, для эффективного отвода тепла.


Видеокарта закрывает ровно половину радиатора.

Так удачно получилось, что на данной модификации материнской платы есть свободные от элементов площади, которые можно эффективно использовать для крепления вентилятора и организации воздушного потока.

Набросал небольшой эскиз, как я вижу воздуховод для этого вентилятора, и gears начертил и напечатал его мне.


Эскиз.




Результат печати.

Первичная примерка показала, что решение в целом рабочее, но всё же требуется следующая модификация: не совпадали отверстия, воздуховоды вставали на радиодетали и упирались в них. Плюс надо было удлинить воздуховод, чтобы продувать весь радиатор.



После доработки всё стало просто идеально.


После доработки.

К сожалению, как оказалось, этот вентилятор идеально подходит для принтера, но в компьютере оказался самым шумным элементом, его слышно даже из другой комнаты. Поэтому начались поиски способов уменьшения шума. Первым решением было добавить ШИМ управление, прямо с материнской платы. Идея не очень удачная, так как тахометра у этой модели вентилятора нет.


Самодельная платка ШИМ-регулятора радиального вентилятора.

Стало немного тише, но всё равно очень шумели дешёвые втулочные подшипники. Поэтому было принято волевое решение искать другое решение.

В результате мы взяли серверный трёхпроводный вентилятор на 40 мм. И разработали воздуховод уже для него.


Модель воздуховода.

После разработки модели, печать и примерка. В модели мы учли множество косяков, которые имели предыдущие два решения. Например, крепление воздуховода шло через болты, которые у меня заранее были прикручены гайками насквозь к материнской плате. Поэтому мы продумали сделать углубления для этих гаек.


Отпечатанный воздуховод, пропеллер и конвертер в 4 провода.


Установленный сверху серверный вентилятор.

Для того чтобы управлять трёхпроводным вентилятором, закупил заводские решения, которые превращают их в четырёхпроводные. В сути своей они ничем не отличаются от моей самоделки, разве что выглядят аккуратнее и имеют нормальные разъёмы на обоих концах.

Примерка показала, что это оптимальная реализация, хотя я и боялся, что вся конструкция не влезет под видеокарту.


Окончательное закрепление системы охлаждения.

Но всё влезло, и всё корректно работает. Однако, серверный вентилятор предназначен чтобы гнать мощный поток воздуха, и до сих пор он остаётся самым шумным в моём корпусе. Пока у меня не доходят руки перевести его на пять вольт. Хотя, когда ШИМ более-менее его сносно регулирует, то в целом жить можно. Но поскольку регулируется всё это удовольствие без моего участия, вентилятор продолжает ужасно гудеть.


С установленной видеокартой и со всеми подключённым шлангами.

▍ Крепление вентилятора на радиатор процессора

Я долго думал, как лучше организовать охлаждение процессорных радиаторов. Мне не хотелось ставить башенные радиаторы, потому что мне не нравится их эстетический вид. gears предложил и убедил меня реализовать застёгивающиеся на радиаторах, крепления.

Могу сказать, что итераций было довольно много. Виной тому ошибки в размерах, усадка ABS-пластика, форма застёжек, форма крепления и прочее-прочее. Тут проб было сильно больше, чем даже в охлаждении северного моста.

На данный момент мы остановились на такой форме крепления вентилятора к радиатору. Снимать и ставить её приходится вместе с радиатором, потому что разъёмы ОЗУ не дают защёлкнуть застёжки.


Пока что, на данный момент, самое удачное крепление.

В целом, перепробовав и переломав с десяток крепежей, скажу, что для 80 мм вентиляторов на данные радиаторы — крепление идеально.

Если использовать вентиляторы 92 мм, то можно вообще напечатать «пумпыри», для установки прямо на болты крепления. Решение простое, можно изготовить даже без 3D-принтера.


Установка вентиляторов стандарта 92 мм.


Установочные стойки.

Такое решение более дешёвое и простое в изготовлении. Но эстетика у него сильно ниже.
Да, буду честен, взять готовый радиатор было проще и дешевле. Тем более что вариантов просто пруд пруди на любой вкус и кошелёк, тут советовать идти моим путём не буду. Но, с другой стороны, это интересный опыт, и прикольное кастомное решение.

Единственное, советую использовать для крепления пластик с максимальной температурой плавления, так как радиатор может нагреваться в худшем случае до 80 °C.

▍ Корпус

Другой задачей, которую я решал параллельно с системой охлаждения — это поиск подходящего корпуса, который бы смог вместить такую материнскую плату.

Забегая вперёд, скажу, что отверстия в материнской плате нестандартные, поэтому нужно выбирать корпус, где стойки можно хотя бы отвинтить.

Вообще, давным-давно себе хочу большой высокий корпус, Full Tower, а тут повод подходящий: материнская плата формата E-ATX. Корпус искал долго, даже была мысль взять серверный, от SuperMicro. Но вдруг на глаза попался он, корпус моей мечты: Thermaltake Xaser III Super Tower V1000D. Полностью алюминиевый корпус, с дверцами, окнами и даже ЭЛИ подсветкой передней панели. Там же имеется реобас для вентиляторов, внутри места для крепления семи вентиляторов, в общем — мечта, а не корпус.



Понял, оно. Купил этот корпус с курьерской доставкой. Это была роковая ошибка, не делайте так никогда, если покупаете старые БУ компьютерные корпуса.

Когда корпус приехал, это было разочарование: там была погнута корзинка для дисков, обрезаны некоторые провода, отсутствовали салазки крепления жёстких дисков и элементов отсека 5,25.

Немного приуныв, я решил купить ещё один, в качестве донора недостающих запчастей. Мне повезло, и около моего дома, на соседней станции метро продавался ещё один такой же корпус. Но продавец был в отпуске, и покуда я его ждал, решил заняться ремонтом и чисткой этого. Первое, что было восстановлено — это провода подсветки передней панели.


Настоящая электролюминесценция.

Это в действительности оказалась настоящая электролюминесцентная подсветка, с питанием 90 В. Не буду подробно останавливаться, что же это такое и как оно питается, об этом я уже подробно рассказал в своей статье "Способы питания электролюминесцентных индикаторов". Но встретить ЭЛИ в обычном компьютерном корпусе — это прям реально круто и приятно!

После того как разобрался с подсветкой, корпус был полностью разобран до винтика, чтобы вычистить вековую грязь за почти 20 лет. Мелькнула даже шальная мысль рассверлить все клёпки, чтобы вычистить грязь во всех самых удалённых уголках, но я отказался от этой идеи.


Разобранный до последнего винта корпус.

Идеальное средство для чистки старой грязи

Для меня настоящим открытием стало средство для удаления застарелой грязи с пластика и алюминия. Для этих целей раньше использовал мыло и изопропанол. Но изопропиловый спирт растворяет пластик и оставляет белёсый налёт после себя, а мыло не всегда хорошо всё отмывает.

Как оказалось, обычное средство для снятия макияжа смывает вообще всю возможную застарелую грязь, просто какое-то чудо-средство для чистки всякой старой техники.


Мицеллярная вода — средство для снятия макияжа.

Не знаю, что там за адовая химия, и как это наносят на кожу, но растворяет реально просто всё. Ей мне удавалось отмыть то, что не брало ни мыло, ни органические растворители.

Самой сложной задачей было перенести стойку в новое место. Как можно увидеть, в корпусе множество отверстий под крепление всех возможных материнских плат, однако для этой отверстия у него не нашлось. Изначально я думал найти метчик, просверлить и нарезать резьбу. Но, найти резьбонарезной инструмент на резьбу UNF 6-40, это ещё тот квест. Плюс, нарезная резьба будет не такой прочной, как накатная. Поэтому решил пойти другим путём.


Множество штатных отверстий для установки материнской платы.

Поскольку корпус алюминиевый, то можно накатать резьбу просто компьютерным винтом. Внутренний диаметр резьбы UNF 6-40, согласно таблицам, составляет 2,95 мм. С учётом накатки и поднятия витков, а также не очень большой ответственности узла, можно смело брать сверло на 3 мм. Попробовал такой вариант на бросовом куске алюминия.

Тестовая накатка резьбы в алюминии

Сверление.


Накатка стальным винтом.

После нужно закрепить материнскую плату на оставшихся стойках и через недостающее отверстие сделать керн места сверления и повторить процедуру уже в корпусе.


Кернение недостающего отверстия.

Дополнительно на thingiverse была найдена заглушка, именно для этой материнской платы.


Заглушка на заднюю панель.

Всё вроде готово к сборке, но мне жутко не нравился этот реобас для управления вентиляторами. Он бестолково занимал переднюю панель и был не функционален.

В результате решил заменить его блоком на переднюю панель для Sound Blaster Audigy 2 ZS. Удача улыбнулась мне, и в одном объявлении встретил сгоревшую звуковую карту, с рабочим расширением в отсек 5,25.


Звуковая карта в переднюю панель.

Покуда шли мне все эти детали, мне удалось купить второй корпус. И наконец я могу всё собрать воедино.

▍ Сборка корпуса

Самое вкусное – это всё упаковать в корпус и расположить все детали по месту. Из нюансов: для USB потребовалось тянуть шнур питания, и в связи с этим пришлось нарастить провод.


Звуковая карта заняла своё место.

К сожалению, в Linux не работает ни пульт, ни большинство свистелок этой панели. Но главное, что есть возможность подключать наушники и микрофон. После сборки фронтальная панель выглядит следующим образом:



Сзади тоже всё элегантно, до того как была установлена заглушка материнской платы — всё выглядело не очень. У заглушки, кроме эстетической, есть вторая функция – это направлять воздушные потоки.



Компьютерная душа, тоже радует своей элегантностью.



Жёсткие диски заняли множество посадочных мест. Во фронтальной панели установлены штатные корпусные вентиляторы, но я пока не определился, нужно ли их подключать или нет.
В пластиковой дверце есть места для установки двух пропеллеров, пока в раздумьях стоит их использовать.

У меня впервые корпус с окном, хотя и считаю это бесполезной блажью, но выглядит очень забавно.



Пришла пора программной конфигурации.

▍ Конфигурация системы

Конфигурацию системы решил делать по классике: Linux Mint поставил на 240 ГБ SSD-диск, а хомяка примонтировал на 1 ТБ жёсткий диск. Но при разметке совершил роковую ошибку: не сделал раздел SWAP больше 24 ГБ, так что режим гибернации для меня недоступен.
Поскольку я знал, что на плате есть контроллер вентиляторов, хотел научиться управлять вентиляторами самостоятельно, и проделал достаточно много экспериментов в этой области. Но так и не смог добиться сколь-нибудь вменяемых результатов. Для того чтобы система нашла недостающие драйвера нужно выполнить:

sensors-detect

После того как эта программа найдёт все контроллеры, согласиться с тем, чтобы она добавила необходимые модули в /etc/modules:

cat /etc/modules
…
coretemp
jc42
w83627ehf
w83795

В результате появится возможность управлять ШИМ-вентиляторов, по этому пути:

/sys/devices/platform/w83627ehf.2576

Однако, мне так и не удалось добиться внятной и стабильной работы, при записи в pwm* различных значений. Что-то я делаю не так, но что – непонятно. Какого-то годного мануала так и не нашёл, если кто может подсказать, то буду рад. Пока доверил управление всеми пропеллерами BIOS.

Вообще, все мои эксперименты со всеми датчиками и ШИМ тянут на отдельную большую статью, здесь так, заметки на полях. Потому что пробовал работать непосредственно с контроллером, минуя драйвер. Всё по-взрослому. Если будет отклик и интерес, может быть, что-то напишу.

▍ Небольшой апгрейд

Сразу после покупки материнской платы в Китае я заказал два процессора Intel Xeon X5675 3.06 ГГц за безумные 700 рублей за камень. Как раз после всех установок и настроек они наконец ко мне приехали.


Свежие камушки.

Хороший повод заглянуть под радиаторы, заменить термопасту и установить более мощный процессор. После всех манипуляций система меня просто потрясает своими мощностями.

• 24 ГБ оперативной памяти;
• 12 ядер, 24 потока, с частотой 3,06 ГГц.

Гляжу на эти цифры, и понимаю, что все эти страдания были не зря.

▍ Итого

Хочется подвести итог всех финансовых затрат на такой кастомный апгрейд.

• Материнская плата: Supermicro X8DTL-i с радиаторами, 24 ГБ ОЗУ и процессорами – 6000 руб.
• Корпус: Thermaltake Xaser III – 2000 руб. (с учётом покупки, и последующей продажей корпуса и реобаса).
• Вентиляторы: Gembird D8025SM-4 две штуки – 400 руб.
• Звуковая карта: Creative Audigy2 ZS PCI – 490 рублей плюс блок в переднюю панель 1100 руб., итого – 1590 руб.
• Контроллер USB: ExeGate EXE-317 – 1500 руб.
• Процессоры: Intel Xeon X5675 – 1400 руб. за оба.
• SSD: 240 ГБ — 2500 руб.

Итого: 15 390 руб. Считаю это одним из самых бюджетных своих апгрейдов. Вентиляторы для северного моста мне бесплатно предоставил gears.

Личного времени потрачено где-то несколько вечеров в течение месяца. Самая трудозатратная часть была — это сборки-разборки системы охлаждения. Проектированием системы охлаждения занимался gears, за что ему выражаю огромную благодарность, как и за то, что он вообще втянул меня в этот проект и помог довести его до конца. Без тебя бы на такое я бы не решился.

Доволен ли я этим проектом? Скорее да, иначе бы я им не занимался. Для меня самое тяжёлое было переехать на новую систему, и заново настраивать её под себя. Да, можно было перенести всё, но это сложно и не всегда удачно проходит.

Из нерешённых проблем: шум вентилятора северного моста и управление вентиляторами по своему разумению.