По сборке системников писать особо нечего. 95% процентов всех подобных отчётов сокращаются до слов «я пошел в магазин, купил железок и собрал из них компьютер».
Потому я не буду тут расписывать то, как я прикручивал материнку и какой термопастой мазал процессор. А пройдусь по некоторым вопросам совместимости железа, охлаждению, энергопотреблению и прикручиванию в корпус пары-тройки непредусмотренных там вещей.
Предыдущие части:
Хотя Ryzen 7 1700 у меня завёлся после отката биоса с магазинного на предыдущую версию, работал он нестабильно, зависая в случайные моменты. Но чаще всего это происходило во время долгой работы rsync'a. Я мог десять часов копировать файлы в mc, krusader'е или заливать по сети — и ничего не происходило. А стоило запустить копирование rsync'ом между локальными дисками — и через 3-4 часа компьютер молча зависал.
Возможно, это была неполная совместимость процессора с материнской платой (всё же он официально не поддерживается), а возможно — проблема ранних райзенов при работе с линуксом. Если второе — то оно частично исправлялось некоторыми настройками питания в BIOS'е, но окончательно не уходило.
Но что проблема была в процессоре — это точно. Я переставил сюда Ryzen 5 3600X со своего десктопа — и компьютер заработал без каких бы то ни было проблем, ни единого разрыва.
Но 3600X всё же довольно горячий процессор, плюс шестиядерник, а я уже нацелился на восемь ядер. Потому удалось договориться об обмене 1700 на 3700, под Windows этот 1700 (на материнке с официальной поддержкой 1700) пока работает без проблем. Как и 3700 у меня. А 3600Х пойдёт обратно в домашний десктоп.
Я писал, что некоторые башенные кулеры (включая мой) на этой материнке придётся ставить так, что вентилятор гонит воздух в потолок корпуса, а не в заднюю стенку. Но, учитывая то, что корпус почти весь состоит из вентиляционных отверстий и позволяет вешать вентиляторы в любом месте, я просто повесил наверх 140мм вентилятор, чтобы он «подхватывал» воздух от процессорного кулера и выкидывал его наружу через отверстия в потолке.
Хотя вообще-то процессор и так практически не грелся. Я отключил авторазгон процессора, ограничив его базовой частотой в 3600. На этой частоте мне не удалось его разогреть выше 50 градусов стресс-тестом AIDA64 — а она хорошо процессоры греет. Может и не самая тяжелая работа, но ненамного отстаёт от prime95 или occt.
Жестким дискам я пока повесил два вентилятора, 120мм на переднюю стенку и 140мм на заднюю. Температуры дисков под нагрузкой в пределах 40 градусов — но и лето пока не началось. Если будет жарко — добавлю ещё один 120мм на переднюю стенку. А может и просто так повешу, когда появится лишний.
Все родные корпусные вентиляторы были трёхпиновыми, потому я их выкинул и заменил на четырёхпиновые. Встроенный в корпус переключатель скорости вентиляторов не использую.
Приблизительно измерил энергопотребление от розетки. Приблизительно — потому что это базовая конфигурация, в перспективе прибавится ещё жестких дисков, видеокарта и т.п. Пока же — Ryzen 3700@3.6GHz/32GB RAM/2xSSD, 6xHDD.
Для сравнения — Microserver с Xeon'ом E3-1265L потреблял примерно 70 ватт на холостом ходу (диски крутились, но их было 4+ssd) и в районе 110 под полной нагрузкой.
Конечно, это не NAS на ARM или шестиваттном целероне, но я знал, на что иду. В перспективе энергопотребление ещё подрастёт — когда добавлю ещё пару-тройку дисков, видеокарту, 10 гигабит. Думаю, что в пике может вырасти раза в полтора. Но реальное потребление будет ощутимо меньше, потому что под 100% загрузкой система нечасто работает.
Для простоты подсчётов, я считаю среднее потребление сервера за 100 ватт. По нынешним расценкам выходит около 300 рублей. Это, конечно, заметная часть семейных расходов за электроэнергию — я 1000 рублей плачу в месяц. Но в общей сумме «расходов на IT» — интернет, мобильники, всякие подписки, облака, белогривые лошадки — эти 300 рублей составляют не такой уж и большой процент. По крайней мере, это не то, с чего я буду начинать экономить, если возникнет такая необходимость.
Мне не хотелось тратить один из трёх слотов PCI-E на контроллер, потому, когда узнал о существовании SATA-контроллеров в слот M.2, сразу себе заказал. Поскольку мне пока не нужны скорости NVME-дисков и я вполне обойдусь SATA'шными SSD, поменять один из двух M2 на 5 SATA я решился без вопросов.
Здесь я в подробностях о контроллере рассказывать не буду, кому интересно — писал отдельный обзор на mysku.
Если вкратце, то работает. Заявленная максимальная скорость передачи данные — 1600-1700 мегабайт/сек. Достигается только в слоте gen3 x2. В слоте gen2 x4 работает на половинной скорости. Все пять портов работают, драйверов не требуется, грузиться с контроллера можно, TRIM на SSD поддерживается, во время работы заметно не греется, светодиоды зелёные. Так что вполне можно покупать и использовать, если требуется что-то подобное.
У себя я его всё же поставил в слот gen2 x4, где он работает на половинной скорости — до 900 МБ/сек. Но я планирую подключать к нему только жесткие диски второй корзины — и на четыре HDD этой скорости хватит с запасом. Пятый порт пока резервный. Первая корзина и SSD подключены напрямую к материнке.
Там, где у меня стоит сервер, нет отдельного свитча, а стоит только пятипортовый роутер. Два порта — провайдеры, один порт идёт к телевизору, один порт — к свитчу на моём рабочем месте и в последний порт подключался сервер. Хоть у микросервера было две сетевых платы, я использовал только одну. ILO я тоже настроил так, чтобы оно работало через основной сетевой контроллер, а не через свой собственный.
Нынешняя материнка так не умеет, ей подавай на IPMI отдельный кабель. Но ставить ещё один свитч мне не хотелось, потому я взял маленький пятипортовый свитч, прикрутил его внутри корпуса, запитал его от БП сервера, подключил к нему материнку тремя короткими патчкордами, а четвёртый воткну в свободный порт на роутере.
В будущем конструкцию переделаю — роутер побольше куплю или отдельный свитч на антресолях заведу, но пока поработает так. Пропускную способность не теряю — всё равно сервер висел бы на одном порту роутера.
Update: забыл упомянуть недостаток питания свитча от БП системника — при отключении питания гаснет и свитч. Если у вас материнка простая — как бы и ничего, но вот если у вас есть IPMI — оно остаётся без связи. Но тут я согласен потерпеть, для меня IMPI — это не киллерфича, а просто мелкий бонус. Включить питание ручками, есть вдруг что, мне несложно.
На материнской плате всего четыре USB-порта — два сзади, два на материнке — под подключение передней панели. Поскольку unraid грузится только с флэшки, один из портов пришлось бы «потратить» на неё. Но мне хотелось все внешние порты сохранить свободными. Потому купил на али пару переходников, простенький хаб и приколхозил его внутри корпуса, подключив к нему передние порты. А загрузочную флэшку воткнул в первый переходник — напрямую в материнку.
Переходник:
Хаб. Тут в перспективе планируется вентилятор, но, думаю, можно будет провода разместить так, чтобы они туда не лезли.
Да, у меня теперь четыре порта подключены к одному, но я сомневаюсь, что мне нужна будет полная пропускная способность USB на все эти порты сразу. Хаб пристроил в отсеке с жесткими дисками, чтобы был к нему доступ при необходимости, всё же там два порта осталось, можно какой-нибудь донгл воткнуть.
Конечно, идеально было бы заиметь именно внутренний хаб, типа Sabrent'a:
Но их нигде нет, цена довольно высокая, а у китайцев я подобного не нашел. Видел только аналогичный на usb2.0 от nzxt.
Update по USB: похоже на то, что кабели на переднюю панель слишком длинные получились, хаб не может нормально обеспечить питанием жесткий диск. При прямом подключении всё работает, а вот если к передней панели подключать, до диск раскручивается и в системе видится, но при попытке его подмонтировать хаб подвисает и приходится перетыкать. Надо будет всё же попробовать к нему внешние питание подключить и подумать в сторону уменьшения длины кабеля до передней панели.
В общем, идея рабочая, а техническое исполнение прихрамывает. Флэшки работают, впрочем.
Update 2: я слишком уж упёрся в идею «сделать всё внутри» и не подумал про более простой и очевидный способ решения вопроса. Передние порты подключил к материнке, а в задние воткнул флэшку и usb-хаб, пристриповав его к корпусу. Вышло приемлемо.
Сперва стеснялся показывать, но всё же решился. Корпус, в силу своей конструкции, не особо приспособлен для красивой укладки кабелей, но и всё в комок скручивать и пихать под корзину с жесткими дисками не хотелось.
Потому купил пару сорокасантиметровых кабелей питания SATA для БП на 4 разъёма. Родные кабеля метровые и там только 2sata+molex+fdd и 3sata+molex. А эти идеально подошли к корзинам, при этом длина вполне достаточная, чтобы спокойно вынимать корзины из корпуса.
И для тех же жестких дисков купил на али полуметровые SATA-шлейфы на четыре устройства. Они занимают гораздо меньше места, чем восемь обычных кабелей. Для SSD на передней панели использую два обычных шлейфа.
Отсек с материнкой. 140мм вентилятор встаёт близко к памяти, но при этом её не блокирует. На дне есть ещё пара установочных мест под жесткие диски, а у меня три свободных SATA. Так что рано или поздно тут что-то появится. Кабель питания материнки получился почти внатяг, но именно что почти — немножко свободы есть подключать и отключать можно спокойно. Конечно, можно было бы пустить его через большое отверстие сбоку, но я всё же предпочёл так. Кажется аккуратнее и не пересекается с SATA.
Отсек до подключения жестких дисков. Болтаюся SATA-шлейфы для корзин, на задней стенке по диагонали идёт восьмипиновый кабель на материнку, к нему пристриповано питание на свитч. Он питается от одного из родных кабелей питания БП (который 3sata+molex). От него же запитаны SSD на передней панели — благо кабель длинный. Излишки скрутил и зафиксировал на дне одной из штатных стяжек (второй закреплён USB-хаб).
Отсек с жесткими дисками. Не идеально аккуратно, но гораздо лучше того клубка, который был с временным блоком питания (не модульным) и обычными SATA-шлейфами.
Жесткие диски над блоком питания. По отзывам я думал, что SATA-кабеля там на излом пойдут — но получилось вполне нормально.
Конечно, можно было бы сделать аккуратнее, но мне требовалось оставить возможность спокойно вынимать корзины с дисками и вообще копаться в корпусе без того, чтобы каждый раз резать кучу стяжек.
Не буду расписывать по пунктам, но, учитывая все провода и вентиляторы, сервер мне обошелся примерно в 65 тысяч при запланированном бюджете в 50 тысяч.
Учитывая проданный Microserver и скидку в знакомом магазине, живыми деньгами я заплатил тысяч 10-15, что считаю очень выгодным вариантом за переход с Xeon E3-1265L/16GB на Ryzen 7 3700/32GB. Особенно учитывая, что из Xeon'a уже ничего нельзя было выжать, а у Ryzen'а достаточно велики возможности дальнейшего расширения. Я не учитываю тут стоимость unraid, потому что это отдельная статья расходов. Вполне можно было бы на это железо поставить любую другую ОС.
В следующей части будет про использование unraid — как именно я заменил функциональность старого сервера, какими программами.
Потому я не буду тут расписывать то, как я прикручивал материнку и какой термопастой мазал процессор. А пройдусь по некоторым вопросам совместимости железа, охлаждению, энергопотреблению и прикручиванию в корпус пары-тройки непредусмотренных там вещей.
Предыдущие части:
Процессор
Хотя Ryzen 7 1700 у меня завёлся после отката биоса с магазинного на предыдущую версию, работал он нестабильно, зависая в случайные моменты. Но чаще всего это происходило во время долгой работы rsync'a. Я мог десять часов копировать файлы в mc, krusader'е или заливать по сети — и ничего не происходило. А стоило запустить копирование rsync'ом между локальными дисками — и через 3-4 часа компьютер молча зависал.
Возможно, это была неполная совместимость процессора с материнской платой (всё же он официально не поддерживается), а возможно — проблема ранних райзенов при работе с линуксом. Если второе — то оно частично исправлялось некоторыми настройками питания в BIOS'е, но окончательно не уходило.
Но что проблема была в процессоре — это точно. Я переставил сюда Ryzen 5 3600X со своего десктопа — и компьютер заработал без каких бы то ни было проблем, ни единого разрыва.
Но 3600X всё же довольно горячий процессор, плюс шестиядерник, а я уже нацелился на восемь ядер. Потому удалось договориться об обмене 1700 на 3700, под Windows этот 1700 (на материнке с официальной поддержкой 1700) пока работает без проблем. Как и 3700 у меня. А 3600Х пойдёт обратно в домашний десктоп.
Охлаждение
Я писал, что некоторые башенные кулеры (включая мой) на этой материнке придётся ставить так, что вентилятор гонит воздух в потолок корпуса, а не в заднюю стенку. Но, учитывая то, что корпус почти весь состоит из вентиляционных отверстий и позволяет вешать вентиляторы в любом месте, я просто повесил наверх 140мм вентилятор, чтобы он «подхватывал» воздух от процессорного кулера и выкидывал его наружу через отверстия в потолке.
Хотя вообще-то процессор и так практически не грелся. Я отключил авторазгон процессора, ограничив его базовой частотой в 3600. На этой частоте мне не удалось его разогреть выше 50 градусов стресс-тестом AIDA64 — а она хорошо процессоры греет. Может и не самая тяжелая работа, но ненамного отстаёт от prime95 или occt.
Жестким дискам я пока повесил два вентилятора, 120мм на переднюю стенку и 140мм на заднюю. Температуры дисков под нагрузкой в пределах 40 градусов — но и лето пока не началось. Если будет жарко — добавлю ещё один 120мм на переднюю стенку. А может и просто так повешу, когда появится лишний.
Все родные корпусные вентиляторы были трёхпиновыми, потому я их выкинул и заменил на четырёхпиновые. Встроенный в корпус переключатель скорости вентиляторов не использую.
Энергопотребление
Приблизительно измерил энергопотребление от розетки. Приблизительно — потому что это базовая конфигурация, в перспективе прибавится ещё жестких дисков, видеокарта и т.п. Пока же — Ryzen 3700@3.6GHz/32GB RAM/2xSSD, 6xHDD.
- Компьютер выключен, воткнут в розетку, работает IPMI и свитч — 4-6 ватт.
- При включении пиковое потребление — 120 ватт.
- После загрузки, ничего не запущено, кроме самой ОС, все жесткие диски крутятся — 70-73 ватта.
- Запущен массив, одна виртуалка, пара контейнеров — на холостом ходу, без активной работы — 80-83 ватта.
- Проверка парити — 90-95 ватт (активность — чтение на все жесткие диски)
- Стопроцентная нагрузка на все ядра — стресс-тест аиды плюс проверка парити — 120-125 ватт.
- На холостом ходу, когда все диски остановлены — 42-43 ватта.
- Три раскрученных диска — скорее всего, стандартное состояние будет — около 50-55 ватт.
Для сравнения — Microserver с Xeon'ом E3-1265L потреблял примерно 70 ватт на холостом ходу (диски крутились, но их было 4+ssd) и в районе 110 под полной нагрузкой.
Конечно, это не NAS на ARM или шестиваттном целероне, но я знал, на что иду. В перспективе энергопотребление ещё подрастёт — когда добавлю ещё пару-тройку дисков, видеокарту, 10 гигабит. Думаю, что в пике может вырасти раза в полтора. Но реальное потребление будет ощутимо меньше, потому что под 100% загрузкой система нечасто работает.
Для простоты подсчётов, я считаю среднее потребление сервера за 100 ватт. По нынешним расценкам выходит около 300 рублей. Это, конечно, заметная часть семейных расходов за электроэнергию — я 1000 рублей плачу в месяц. Но в общей сумме «расходов на IT» — интернет, мобильники, всякие подписки, облака, белогривые лошадки — эти 300 рублей составляют не такой уж и большой процент. По крайней мере, это не то, с чего я буду начинать экономить, если возникнет такая необходимость.
Всякие аддоны и колхозинг
SATA-контроллер
Мне не хотелось тратить один из трёх слотов PCI-E на контроллер, потому, когда узнал о существовании SATA-контроллеров в слот M.2, сразу себе заказал. Поскольку мне пока не нужны скорости NVME-дисков и я вполне обойдусь SATA'шными SSD, поменять один из двух M2 на 5 SATA я решился без вопросов.
Здесь я в подробностях о контроллере рассказывать не буду, кому интересно — писал отдельный обзор на mysku.
Если вкратце, то работает. Заявленная максимальная скорость передачи данные — 1600-1700 мегабайт/сек. Достигается только в слоте gen3 x2. В слоте gen2 x4 работает на половинной скорости. Все пять портов работают, драйверов не требуется, грузиться с контроллера можно, TRIM на SSD поддерживается, во время работы заметно не греется, светодиоды зелёные. Так что вполне можно покупать и использовать, если требуется что-то подобное.
У себя я его всё же поставил в слот gen2 x4, где он работает на половинной скорости — до 900 МБ/сек. Но я планирую подключать к нему только жесткие диски второй корзины — и на четыре HDD этой скорости хватит с запасом. Пятый порт пока резервный. Первая корзина и SSD подключены напрямую к материнке.
Сеть
Там, где у меня стоит сервер, нет отдельного свитча, а стоит только пятипортовый роутер. Два порта — провайдеры, один порт идёт к телевизору, один порт — к свитчу на моём рабочем месте и в последний порт подключался сервер. Хоть у микросервера было две сетевых платы, я использовал только одну. ILO я тоже настроил так, чтобы оно работало через основной сетевой контроллер, а не через свой собственный.
Нынешняя материнка так не умеет, ей подавай на IPMI отдельный кабель. Но ставить ещё один свитч мне не хотелось, потому я взял маленький пятипортовый свитч, прикрутил его внутри корпуса, запитал его от БП сервера, подключил к нему материнку тремя короткими патчкордами, а четвёртый воткну в свободный порт на роутере.
В будущем конструкцию переделаю — роутер побольше куплю или отдельный свитч на антресолях заведу, но пока поработает так. Пропускную способность не теряю — всё равно сервер висел бы на одном порту роутера.
Update: забыл упомянуть недостаток питания свитча от БП системника — при отключении питания гаснет и свитч. Если у вас материнка простая — как бы и ничего, но вот если у вас есть IPMI — оно остаётся без связи. Но тут я согласен потерпеть, для меня IMPI — это не киллерфича, а просто мелкий бонус. Включить питание ручками, есть вдруг что, мне несложно.
USB
На материнской плате всего четыре USB-порта — два сзади, два на материнке — под подключение передней панели. Поскольку unraid грузится только с флэшки, один из портов пришлось бы «потратить» на неё. Но мне хотелось все внешние порты сохранить свободными. Потому купил на али пару переходников, простенький хаб и приколхозил его внутри корпуса, подключив к нему передние порты. А загрузочную флэшку воткнул в первый переходник — напрямую в материнку.
Переходник:
Хаб. Тут в перспективе планируется вентилятор, но, думаю, можно будет провода разместить так, чтобы они туда не лезли.
Да, у меня теперь четыре порта подключены к одному, но я сомневаюсь, что мне нужна будет полная пропускная способность USB на все эти порты сразу. Хаб пристроил в отсеке с жесткими дисками, чтобы был к нему доступ при необходимости, всё же там два порта осталось, можно какой-нибудь донгл воткнуть.
Конечно, идеально было бы заиметь именно внутренний хаб, типа Sabrent'a:
Но их нигде нет, цена довольно высокая, а у китайцев я подобного не нашел. Видел только аналогичный на usb2.0 от nzxt.
Update по USB: похоже на то, что кабели на переднюю панель слишком длинные получились, хаб не может нормально обеспечить питанием жесткий диск. При прямом подключении всё работает, а вот если к передней панели подключать, до диск раскручивается и в системе видится, но при попытке его подмонтировать хаб подвисает и приходится перетыкать. Надо будет всё же попробовать к нему внешние питание подключить и подумать в сторону уменьшения длины кабеля до передней панели.
В общем, идея рабочая, а техническое исполнение прихрамывает. Флэшки работают, впрочем.
Update 2: я слишком уж упёрся в идею «сделать всё внутри» и не подумал про более простой и очевидный способ решения вопроса. Передние порты подключил к материнке, а в задние воткнул флэшку и usb-хаб, пристриповав его к корпусу. Вышло приемлемо.
Укладка кабелей
Сперва стеснялся показывать, но всё же решился. Корпус, в силу своей конструкции, не особо приспособлен для красивой укладки кабелей, но и всё в комок скручивать и пихать под корзину с жесткими дисками не хотелось.
Потому купил пару сорокасантиметровых кабелей питания SATA для БП на 4 разъёма. Родные кабеля метровые и там только 2sata+molex+fdd и 3sata+molex. А эти идеально подошли к корзинам, при этом длина вполне достаточная, чтобы спокойно вынимать корзины из корпуса.
И для тех же жестких дисков купил на али полуметровые SATA-шлейфы на четыре устройства. Они занимают гораздо меньше места, чем восемь обычных кабелей. Для SSD на передней панели использую два обычных шлейфа.
Отсек с материнкой. 140мм вентилятор встаёт близко к памяти, но при этом её не блокирует. На дне есть ещё пара установочных мест под жесткие диски, а у меня три свободных SATA. Так что рано или поздно тут что-то появится. Кабель питания материнки получился почти внатяг, но именно что почти — немножко свободы есть подключать и отключать можно спокойно. Конечно, можно было бы пустить его через большое отверстие сбоку, но я всё же предпочёл так. Кажется аккуратнее и не пересекается с SATA.
Отсек до подключения жестких дисков. Болтаюся SATA-шлейфы для корзин, на задней стенке по диагонали идёт восьмипиновый кабель на материнку, к нему пристриповано питание на свитч. Он питается от одного из родных кабелей питания БП (который 3sata+molex). От него же запитаны SSD на передней панели — благо кабель длинный. Излишки скрутил и зафиксировал на дне одной из штатных стяжек (второй закреплён USB-хаб).
Отсек с жесткими дисками. Не идеально аккуратно, но гораздо лучше того клубка, который был с временным блоком питания (не модульным) и обычными SATA-шлейфами.
Жесткие диски над блоком питания. По отзывам я думал, что SATA-кабеля там на излом пойдут — но получилось вполне нормально.
Конечно, можно было бы сделать аккуратнее, но мне требовалось оставить возможность спокойно вынимать корзины с дисками и вообще копаться в корпусе без того, чтобы каждый раз резать кучу стяжек.
Финансовое
Не буду расписывать по пунктам, но, учитывая все провода и вентиляторы, сервер мне обошелся примерно в 65 тысяч при запланированном бюджете в 50 тысяч.
Учитывая проданный Microserver и скидку в знакомом магазине, живыми деньгами я заплатил тысяч 10-15, что считаю очень выгодным вариантом за переход с Xeon E3-1265L/16GB на Ryzen 7 3700/32GB. Особенно учитывая, что из Xeon'a уже ничего нельзя было выжать, а у Ryzen'а достаточно велики возможности дальнейшего расширения. Я не учитываю тут стоимость unraid, потому что это отдельная статья расходов. Вполне можно было бы на это железо поставить любую другую ОС.
В следующей части будет про использование unraid — как именно я заменил функциональность старого сервера, какими программами.
