Comments 60
Это точно домашний сервер? )) Просто уточнить)) Отказоустойчивость - это уже не просто "чтобы изучать и тестировать разные интересные штуки" Опять же, 2 CPU нужно для задействования всех слотов памяти. Или работы в трехканальном режиме. А тут всего 32 Gb оперативной установлено.
А тут всего 32 Gb оперативной установлено.
Я тоже так сначала прочитал, но по тексту это только одна плашка и в итоге было установлено 32*6=192ГБ памяти
Да, точно домашний сервер, хотелось собрать его по канонам продакшена)
В итоге там 192гб ОЗУ (6 плашек по 32гб).
Тогда вопрос по RAID 1)) Ладно если контроллер выйдет из строя у SSD, но деградируют то ячейки памяти у них одинаково. Один не рабочий- почти 100% нерабочий и второй.
Судя по характеристикам, предполагаю, на мой век этих дисков должно хватить)
В любом случае критически важное нужно дублировать в другое хранилище.
Этот вопрос решается принудительной заменой одного SSD на новый через пару лет. И освободившийся диск можно использовать, например, в ноут/комп.
Вы кстати затронули интересный момент, о котором не всегда задумываются и достаточно много народу обожглось. Но
Один не рабочий- почти 100% нерабочий и второй.
тут ошиблись в цифре. По личному опыту эксплуатации могу сказать что на один факап связанный с одновременным износом дисков в зеркале есть 50 случаев когда raid отрабатывал как и должен, обеспечивая надежность.
Имел опыт с hdd. Было 2 случая выхода из строя одного из дисков в рейде. Второй умирал в течение недели. В обоих случаях.
У меня не очень большой опыт по эксплуатации рейдов из двух hdd, да и давно это было, но все равно не помню чтобы hdd так друг за другом сыпались. За ssd да, есть такой грешок, одновременно установленные +/- одновременно и сдохнут, однако даже в вашем случае была неделя чтобы перебэкапиться / перенести данные и заменить вылетевший диск, не потеряв ни данные, ни доступность. С учетом того что ssd там за считанные часы ребилдится.
Ну в общем либо мы богатые буратины и меняем диски по инструкции вендора (когда ресурс ячеек даже теоретически не мог выработаться) или сами внимательно следим за ресурсом через смарт. Либо злобные буратины, меняющие диски когда "эта лампочка уже надоела мигать красным", тут поможет либо предложенная выше (и вами тоже) стратегия роллить замену и миксовать диски так чтобы у вас в паре не стояли с одинаковым пробегом, или просто быстро менять и молиться что в запасе неделя, а не час =)
Бэкапы разумеется никто не отменял, ну и если цель в максимизации девяток - то диск - не единственное что может вылететь, рейд может развалиться, да и сам сервак прекрасно может сдохнуть полностью.
Стало интересно: а как надо если хочется ssd?
Так надо или хочется? )) Надо- это когда критически важна доступность сервиса и простои недопустимы. Тогда можно SSD в RAID, меняя один из дисков по достижении 1/2 TBW. Но тут уже вопросы к NoName адаптерам NVMe, а специализированные контроллеры стоят больше всей вашей сборки.))
А вот если это все же домашний сервер и хочется - я бы просто взял диск удвоенного объема с хорошим TBW и делал резервные копии образа системы. Все же скорость восстановления SSD позволяет сделать это довольно быстро.
Хм ... есть над чем подумать, спасибо, взял на заметку)
Какие специализированные контроллеры для nvme и каким образом тупой переходник который просто выводит те же линии pci-e в другой разъём заметно снизит надёжность?
Специализированные- это с аппаратной поддержкой RAID. Но тот же Supermicro AOC-SLG3-2M2 без RAID стоит четверть от всей сборки.
Дешёвый переходник может не работать на тех же x4, а только на x1, причём точно такой же рядом прекрасно x4 тянет. И RAID из этих контроллеров будет соответственно на x1. Так и вообще может не распознать диск как загрузочный, или рандомно пропадать при перезагрузке.
Выбор платформы конечно спорный. Конечно что бы повозиться с ipmi и двумя процессорами, вариант неплохой.
Но современный i5 12400 будет в 3 раза быстрее вашего зеона, а райзен 7500f (за 8-9к рублей) будет уже как 4 таких зеона, и все при очень малом потреблении и минимальном шуме с простым кулером.
Ryzen 5 7500f от 13к на авито начинается, и это только CPU, в планах рассматриваю вариант попробовать, но для первого домашнего сервера было решено собирать решение "бюджетнее". И потом, имхо, такой мощи (то о чем вы пишите) простаивать под минимальной нагрузкой экспериментов мне показалось не очень хорошо, есть применение лучше.
Но современный i5 12400 будет в 3 раза быстрее вашего зеона
Я бы не был столь категоричен. Быстрее - для каких задач?
Для офисных и игр - может быть.
А на десятке виртуалок с нагрузкой на память и диски (не один) скорее всего этот i5 сядет в лужу. А старенький зеон - потянет. Потому что каналов памяти больше. И PCI шин на периферию больше.
В целом - для любых задач он будет быстрее, кроме требующих вагон PCIE линий. Память за эти десять лет тоже достаточно неплохо ускорилась. Единственное, что теряется при этом - ECC.
А на десятке виртуалок с нагрузкой на память и диски (не один) скорее всего этот i5 сядет в лужу. А старенький зеон - потянет. Потому что каналов памяти больше. И PCI шин на периферию больше.
Каналов памяти больше но они DDR3, 8 каналов ddr3 = 2 канала ddr5 в легком разгоне (+-100гб/сек), цена за обьем это конечно другой вопрос, но вроде падает.
Ядер меньше но они быстрее судя по бенчмаркам, одно ядро от свежего i5 = 5 ядрам старого зеона из этой сборки. Они банально в разы быстрее на частоте 4,4ггц. И большой бонус что нет NUMA с ее задержками между процессорами.
PCIe линий у зеонов больше (24 на проц), а у i5 всего 20, но при этом это до 16 линий 5 поколения, либо 2х8 5 поколения + 4 линии 4 поколения до ссд, и до чипсета идет 8 линий DMI 4.0 (те же PCIe 4 поколения) а на чипсет еще кучу всего можно повесить (15гбайт/сек). С новыми дисками (5 поколения либо серверные u.2 4 поколения) и сетевыми картами, IO будет наравне если не быстрее в реальных задачах. На Z чипсете можно pcie bifurcation включить и воткнуть 4 диска в X16 слот и все они gen4 Будут, можете представить себе какие там скорости в той же мелкоблочке.
В общем старое железо хорошо тем что его кто то на авито покупает, и оно дешевое, но для себя любимого лучше что то посвежее смотреть.
Каналов памяти больше но они DDR3, 8 каналов ddr3 = 2 канала ddr5 в легком разгоне (+-100гб/сек),
Это так не работает. Но я спорить не буду, так как окончательный ответ могут дать только реальные тесты.
Давайте тесты, ибо мы как раз сравнивали 8 ddr3 каналов в легком разгоне и мою ddr5 в разгоне, результаты скорости ддр5 выше.
Так у меня нет такого железа :)
Разве что могу свою DDR4 протестировать на 3975х, там четыре канала. Если тесты под линукс.
Ну и вы же сравнивали на определенных задачах или тестах. К примеру, при копировании больших кусков памяти производительность может быть близка к заявленной пропускной способности. А вот если 20 процессов одновременно лезут в память с запросами небольших кусочков - тут все может быть по другому. 8 каналов на серверном процессоре смогут выполнять несколько запросов параллельно, а на десктопном - вряд ли.
А вот если 20 процессов одновременно лезут в память с запросами небольших кусочков
ддр5 под капотом как бы 2 канала на планку если говорить очень грубо (от того проблемы с четырьмя планками на всех железках сейчас), кроме того вы забываете про Numa, и если эти 20 процессов полезут за памятью на разных процессорах то результат будет просто плачевный. Кроме того у меня как раз proxox на 13600к с ддр5 живет, на нем в одно время несколько minecraft серверов висело с 15гб на каждый, игровая VM на которой под 200+фпс шел этот самый майнкрафт, умный дом, и еще пачка всего, и каких то затыков не замечалось. Либо 60+ человек на игровых серверах это не показательная нагрузка для памяти, либо что то не так.
Энивей, хотел бы посмотреть на тесты которые могли бы симулировать ваши задачи в которых это чудо на 8 каналов медленной памяти + numa было бы хоть как то быстрее.
Не в поисках истины, а только флуда ради
кроме того вы забываете про Numa, и если эти 20 процессов полезут за памятью на разных процессорах то результат будет просто плачевный
Так вроде бы научились с этим бороться, разнося виртуалки/задачи чтобы они не ходили на на соседний проц за памятью. Точно помню на хабре статьи как это победить возглавить.
Пока одни страдают от задержек из-за кроссцпушных обращений к памяти, другие вообще гоняют память не то что между процами, а между серваками, по сети через RDMA, и считают zero-copy киллер-фичей
умный дом
*брюзжит по-стариковски* Что у вас там за хоромы такие, по мне для умного дома должно хватать мощностей если не ESP8266, то уж малинки то за глаза. Ну это точно не нагрузка для 13600 и 5ых ддров. Гагарин с Луноходом вон на лампах прекрасно летали и хватало.
Увы, i5 12400 и 7500f поддерживают максимум 128 Гб ОЗУ. Для учебного стенда подойдет. Для более серьезных упражнений с виртуализацией маловато. Например, есть сюжеты, когда очень полезно сделать RAM диск. Да и вообще запас ОЗУ очень приятно добавляет производительности системе. Так что видимо надо сравнивать варианты для серверных решений. А тут чем свежее железо, тем дороже в разы. Есть ли смысл переплачивать? Например, моя домашняя конфигурация из двух Xeon 2697v2 и 256ГБ (еще столько же на полочке) стоит совсем смешных денег.
В три раза быстрее в каких задачах. Он быстрее не там, где нужно
Для домашней лаборатории для виртуализации узкое место будет диск, в первую очередь. Столько ЦПУ без реальной нагрузки не утилизировать, память это тоже на любую фантазию хватит. Собирал для ESXi хост на пользовательском железе, самый дешёвый на 2016 год двухъядерный Celeron с 64Гб RAM вполне справлялся с десятком ВМ. Хватало даже чтобы запустить такие страшные штуки как кластер SAP PI с Oracle RAC одновременно.
Плюс дешёвого но нового железа, что спустя 8 лет его всё ещё можно ремонтировать не с Авито.
Я уже видел все стадии появления этой болезни у некоторых моих друзей-коллег, когда дома начинает зарождаться горка разнопланового хлама из дата-центров. Кому-то хватает потом здравого смысла распродать/раздать это барахло по другим несчастным (богатеют с этого только авито и барыги на авито), а кто-то до сих пор ушибает ноги о свитч, который в теории может переварить трафик небольшого города, а на практике в домашних условиях вызывает только боль, поэтому пылится в углу.
Интересно для чего такое железо можно дома использовать?
Я использую для изучения обслуживания ПО в кластерах (kafka, consul, mariadb, influxdb и прочее), свои сервисы там же крутились. Можно было бы все это на виртуалках хостинг-провайдера крутить, но мне захотелось на своем сервере, часто изучение растягивается по времени и виртуалки у провайдера простаивают и кушают денег, предполагаю что на своем сервере кушают меньше, хотя тоже считать надо.
А чем эта "СБОРКАСЕРВЕРА" отличается от "собираем пк с нуля в картинках для школьников"? То что 2 ЦПУ вместо одного?
Если нужен демостенд с виртуалками лучше использовать десктопный проц посвежее. Да, 198ггб ОЗУ из ДДР5 выйдет как крыло для дерижабля, но вам в домашних условиях столько и не нужно. Работать будет быстрее, гудеть тише, жрать меньше и поместится в миниатикс корпус.
Ну а когда придёт осознание что оно нахрен всё не упёрлось и проще на работе заниматься "демовством" купите одноплатник на н100 под домашний медиасервер и будете счастливы.
А чем эта "СБОРКАСЕРВЕРА" отличается от "собираем пк с нуля в картинках для школьников"? То что 2 ЦПУ вместо одного?
Ну, мне было интересно узнать, что есть такая штука, как IPMI :)
но вам в домашних условиях столько и не нужно.
Это уже автору виднее. К примеру, это восемь виртуалок по 32 Гб.
Ну, мне было интересно узнать, что есть такая штука, как IPMI :)
Только не пользуйтесь советом автора о определении наличия ipmi по поиску lan-порта на материнке =) Это не совсем так работает. Как пример у меня в серваке нет выделенного порта под ipmi (точнее место под него есть, и установить его можно, но это опция) а сам ipmi можно пошарить через интегрированную сетевуху, а можно даже через внешнюю воткнутую в обычный PCI проприетарный flexlom
Судя по скринам, это уже когда вошел в интерфейс IPMI, я как раз до этого момента не мог дойти, а после нескольких серверов с существующим IPMI понял что самый надежный вариант для новичка это выделенный LAN)
Может быть ещё веселее, у меня на одном из SuperMicro выделенного порта вообще не предусмотрено. Доступ только поверх одного из двух основных портов.
Я хотел собрать именно сервер с его нюансами. Поковырял IPMI, понял что такое KVM over IPMI. И научиться хоть немного разбираться именно в серверном железе, а не в дескопном, разница в деталях оказалась.
Ну в этом плане старые платы это ещё и боль как завести консоль на activex или java на современной ос.
IMHO на текущий момент брать что-то старше 2011v3 не имеет смысла. Жрёт, шумит, доставляет не мало гемморой с activex или java, а по производительности как i3. Единственный плюс это ecc (решаемо) и если надо очень много памяти.
А чем эта "СБОРКАСЕРВЕРА" отличается от "собираем пк с нуля в картинках для школьников"?
Спрведливости ради, у серверных железок своих приколов хватает. Вы статью то чтиали? И у автора ещё не самая дичь.
Зачем Блэйд сервер я так и не понял... Для него шумобокс или отдельное помещение нужно. Там без прижатия роутом он улетит
Я как-то работал преподавателем по системному администрированию, вот взял блейд для студентов, преподавание закончилось а блейд остался) Его разместил на кухне, где меньше всего бываю, а спать с ним в одной комнате не вариант. В будущем если продолжу с ним работать, то надо будет в датацентр относить. В Казани узнавал для 4 юнитов 1620ватт примерно 15к колокейшен, вроде норм.
а там много материала по мейнстриму
LGA 2011v3и статьи по сборкам хуананов (к слову сейчас (ноябрь 2024) я себе взял двухсокетный хуанан на пробу)
судя по верхней же статье "там", санкции дотянулись и до этого рынка
Учитывая что есть блейд и свитч - следующий шаг это выкинуть это баловство самосборное и брать номальные сервера в стойку ) и свитчи не длинк и не гиг а cisco/juniper и с 10+Gig )
А что за блейд? За сколько брали?
Как я собирал свой первый домашний сервер