Comments 124
Сервер и 4К монитор, зачем?
Себе делал что-то типа сервера с Nextcloud, сервером Minecraft, несколькими сайтами и почтовым сервером на базе интел нюк за 15 тысяч.
Всё управляется удалённо.
Всё управляется удалённо.
Позвольте позанудствовать, но если делать сервер на абы каких материнских платах, то как раз всё удалённо управляться не будет.
Возможность удалённого управления сервером в том числе и с помощью KVM и консоли это то, что отличает «сервер» от сервера :)
«Я сходил в магазин и собрал компьютер. Я поставил на него линукс. Всё.»
Тем, кто думает взять 2678v3… я неск месяцев назад обновил 2678v3 и 2683v4 на 2680v4, купленные до подорожания за 12 тыс. Крайне доволен. 2680v4 заметно холоднее, заметно быстрее и в мульти в и сингле. Оч приятные процы. Если подешевеют обратно в ближайшее время, то брать однозначно, доплата того стоит. Биос шить строго последний ДО спектровский, конца 2017 года и отключать в винде апдейт микрокода, иначе производительность просаживается чуть ли не в разы в некоторых сценариях, например, в 4к блоках при работе с SSD. В вычислительной синтетике на добрый десяток процентов из того, что я тестил.
поправка: 2683v3 само собой...
Ну вот зачем?
Тот же Ryzen 3600 на процентов 10 медленнее в многопоточных тестах, зато в однопоточном до 2 раз быстрее.
Цена примерно та же. Зато потом можно будет обновиться без боли и сидеть на новом железе.
1) нередко затем, что железо (мать) УЖЕ было… например, у меня две топовых Х99 материнки, которые я достал задолго до прихода нормальных райзенов.
2) в сингле тот же 2680v4, например, в cpu-z выбивает 400 поинтов, 3600 выбивает 500. 20% отставания — таки не в разы. В idle он жрёт копейки. В полной нагрузке… ну а в нагрузке он и быстрее 3600. По энергоэффективности в мультикоре в поинтах cpu-z v4 зеоны менее эффективны 3000 серии райзенов на единицы процентов. Я специально веду эксель много лет с расчетом производительности на ватт разных поколений процов. Так вот v4 весьма близок к 3000 серии райзенов.
3) в качестве основной рабочей машины у меня само собой райзен 3900х — он мне очень нравится. Но оба NAS я не собираюсь пересобирать на новых 5000 райзенах просто потому, что они жрут на десяток ватт меньше (а в моем сценарии при околонулевой нагрузке 99.9% времени разницы не будет вообще).
К примеру, я бы себе под домашний сервер взял 20 медленных потоков, а не 10 быстрых. Потому что задачи у меня несложные, но приятнее выполняются, когда у каждой свой поток.
Правда, это всё осталось на уровне мыслей — вместо сервера купил квартиру. И приходится пока что удовольствоваться микросервером г8. :)
ЗЫ: у меня с домашними задачами вполне справляется Pine A64 с 2Gb RAM.
Я бы часть виртуалок с домашнего компа (r5 3600x) с удовольствием перевесил на сервер, но пока вот не получается в силу ограниченности микросервера.
У всех свои хобби. Это два.
Задач, которые можно вынести на домашний сервер достаточно много, на самом деле.
Что? Многие роутер из коробки умеют правильно транслировать magic пакет. Многие сетевые имеют настройку чтобы просыпаться не только от magic пакетов, но и от любого обращения к маку. У меня по wol 4 компа автоматом включаются (надо их включать только в рабочие дни, а у биоса нет планировщик по рабочим дням нашей организации). Ни разу не было проблем. Да и по требованию домашний пк из любой очки мира могу включить. Тоже без проблем.
Ну это скорее исключение. У меня на 80 пк есть 2 рабочих места которые хоть вроде и умеют (вообще не видел сетевых которые не умеют wol) wol, но не могут. Все включил, завершаешь работу, линк падает и соответственно на магический пакет не обращает внимание. Но опять же это скорее исключение из правил. Стоит тока воткнуть туда за 300р сетевую и все тут же будет работать. А так очень отменная вещь. У нас иногда рубят свет. По сигналу ибп сервера тушаттся, а вот обратно по ибп не позволяет настроить график включения на основе анализа поведения электричества в розетке. Так вот написал скриптик, тот анализирует по заданному алгоритму что там у нас с электричеством в розетке и зарядом ибп и он по wol'у будит все сервера. Ещё ни разу не было проблем. Брешу, было раз на одном, но его даже ipmi не включил без сброса s-states.
А ещё есть вайфай — и wol через wifi является вообще отдельной историей.
А в момент, когда вы скажете «да в NAS можно воткнуть 16-32-64 гига памяти!» — просто сравните цену полученного решения с решением из статьи.
В режиме минимальной нагрузки такое решение, кстати, будет не громче NAS (кроме пассивных однодисковых). Ибо основной шум — сами диски.
Вообще, всё вышеперечисленное, и многое другое, кроме разве что виртуалки, это не требует сервера, это всё задачи небольшого тихого NAS с каким-нибудь мобильным Целероном внутрях. Ну а виртуалка для удаленного доступа, как по мне, тоже не имеет смысла, можно ведь просто SSH/RDP пробросить на домашний комп.
Ну вот, например, для задач хранения файлов я сторонник COW ФС, если точнее то ZFS. Чтобы ZFS работал хоть немного быстрее — нужен ARC достаточно большого объёма. Чтобы он работал ещё быстрее — нужно сжатие lz4.
В итоге получается что нормальный (в моём понимании) NAS это уже не мобильный целерон. А нечто с ECC + Xeon(чтобы это ECC переваривать).
Аппаратный рейд — не круто, так как ты привязываешься к контроллеру и желательно иметь второй такой же в ЗИП. При условии наличия ZFS — вдвойне не круто (хотя смотря для каких задач). Зеркалить диски без разбора — расточительно. На сцену выходят RAID-6 (или ZRAID2). Чётность считать хоть и быстро, но всё же нужно. Чем хилее процессор — тем выше латентность будет.
Plex без видеоускорения на транскодинге гарантированно засадит мобильный целерон. Выходит, что уже тоже не подходит.
Если мы говорим о секьюрности, то надо однозначно разносить по разным виртуалкам/контейнерам то, что имеет доступ наружу и то, что не должно иметь.
Вообще сам обладатель домашнего сервера на e5-2470v2 и что-то не могу сказать, что это был оверкилл. Но мог бы я жить без этого сервера? Безусловно.
И да, я вынес все виртуалки с ноутбука и счастлив: 192 гигабайта оперативки дают возможность не тратить время на запуск/останов нужной виртуалки, а просто подрубаться сразу.
Чисто для домашних задач например: Plex способный стримить в несколько потоков с транскодингом, Торент клиент, программный фаервол с DPI для intrusion detection, и с VPN способным прокачать скажем 500 mbit/s для стриминга 4k с country locked сервисов, производительный NAS один для всех.
А также для профессиональных задач пригодится кубернетис кластер, с достаточным количеством ядер и памяти, чтобы можно было развернуть любой стек и поиграть с ним в разных сценариях. Причём для реального обучения, а не просто потыкать, нужно продолжительное время, и в этом плане свое железо дешевле чем облако, причём его всегда можно продать почти за ту же цену что и купил.
Там 20 потоков — самое оно.
А еще виртуалки с разными ОС, 1-2 БД с нагрузкой отличной от 0, какой-нибудь игровой сервер, кодирование видео (фильмов) на лету, кодирование видео (наблюдение) на лету, еще что-нибудь…
А у вот коллеги дома целый шкаф и 10 гбитная сеть. Вот у него — хобби, а я обычный человек.
Вы меня извините, с видео (ну те же камеры наблюдения и то там только декодинг для внешнего детекта движения), но зачем вы повально ещё и фильмы кодируете? Зачем куча виртуалок в аптайм постоянном? Бд с нагрузкой дома которая нужна 25/7/365, а не vps? Ну у меня тоже был приличненький сервер (что-то в районе 300к я тогда за него отдал, доллар ещё по 37 вроде был), но и то он по факту почти всегда был выключен. По wol включался, я заливал туда бд и творил то что с ней надо было клиенту и потом отдавал клиенту (на их железе это делалось бы вечность), и выключал его. При этом рядом на десктопном совсем не топовым железе стояла файлопомойка с нужными мне сервисами (типа плекс, торрентокачалка). И вот последний работал 24/7/365. И если последний с остановкой дисков вполне жрал в районе 15вт в час, то нормальный сервер о 2 процах ну ни как ниже 100вт не опускался, особенно с тем учётом что в плане энергосбережения стояла максимальная производительность.
2. Жмём входящий с камер видеопоток в нужный кодек, чтобы не забивать видеонблюдением дисковые полки
3. Перекодируем исходящий (стриминг) на старые/медленные девайсы
4. БД не нужна 24*7. Но, установить Оракл — это приключение на несколько часов. Можно держать выключенную виртуалку как минимум.
5. Аренда 720 рабочих часов такого сервера отбивает цену его покупки. Грубо говоря, за 1 месяц! Да, пусть мне нужно 20 часов в неделю. 36 недель. 9 месяцев, дальше чистый профит.
Плохо что всё что есть на SuperMicro идёт со странными контроллерами, которые не умеют в «просто HBA».
Вопрос - вы какие контроллеры посоветуете, умеющие в HBA?
LSI SAS2208 шьётся прошивкой от SAS2308 https://www.serverbuilds.net/flashing-add-in-sas а это открывает возможности взять сервер на X9DRH. Плюс, там будет pci-e bifurcation, что позволит воткнуть несколько nvme в один х16 слот через китайский переходник.
Например, если хочется ECC память. Гарантированно и официально рабочую, а не как у Ryzen-ов. Если хочется много памяти или много линий PCI Express.
С приходом чиа — китайцы сильно подняли цены на бу зеоны, но даже сейчас самый простой райзен будет в разы дороже близкого по производительности зеона.
Единственный минус таких сборок это низкая частота памяти(1866-2133 для v3 и 2400 для v4), но она сравнительно легко компенсируется 4х каналом.
Пробовали inSpectre?
Конечно. Но оно же влияет тока на виндовые патчи и решает проблему частично. Негативный эффект от заплаток в микрокоде, который распространяется в новых биосах или через mcupdate_GenuineIntel.dll при этом остается. Поэтому, чтобы вернуться уж совсем к нетронутой производительности до фиксов, надо и решать вопрос с микрокодом.
SuperMicro X11SPM-F-O
Intel Xeon Bronze 3104
Noctua NH-U14S DX-3647
Samsung 32Gb DDR4 2666MHz ECC Reg 3шт
Kingston 32Gb DDR4 2400MHz ECC Reg 3шт
Silicon Power Slim S55 (SP120GBSS3S55S25) SSD 120Gb
Samsung 970 EVO Plus Series (MZ-V7S500BW) SSD 500Gb
LSI MegaRaid 9261-8i + 512Mb + BBU
HGST Ultrastar He8 8 Тб x4 R10
Fractal Design Define Mini
Hiper HPB-600SM 600W
Крайне доволен конфигом, стоят в открытом шкафу на кухне и никому не мешают. Пока в планах переход на 10Г, карточки Broadcom 57412 уже получены, в ожидании коммутатора, ну и хочется отказаться от HDD и перейти на NVME полностью.
Выбор пал на bequiet! System Power 9 700 Вт ATX BN248
Не сразу дошло, что «9» относится к модели БП, а «700» — его мощность. Первая мысль была «Нафига нужон БП на 10 кВт?!»
-----PLEX-Server-----
Case: Fractal Desing Node 304
CPU: Intel Core i7-8700K «Coffee Lake»
MB: MSI MPG Z390-I GAMING EDGE AC
Cooler: Noctua NH-L12S
RAM: CRUCIAL Ballistix Sport LT BLS16G4D30AESB 2x16Gb
PSU: be quiet! SFX-L POWER 80Plus Gold
SSD: Intel 760p M.2 NVMe 120GB (Win 10)
HDD: WD Red 8Tb x 4 шт.
Спойлер:
интересного — ничего, но за неделю попыток поставить генту правильно я узнал о линуксе больше, чем за предыдущие 5 лет просто-пользования. А потом на этом сервере успешно крутились несколько хобби-проектов, редмайн, файлопомойка и всякие бинды с айпитэйблсами. А потом, года через 3, мне надоело пересобирать мир раз в месяц.
А раз уж стенка стеклянная — чего ей пропадать, пусть светится разноцветно. Тем более, что системник стоит у меня почти за спиной и в глазах не маячит. А посетителям нравится. :)
На самом деле Gentoo — удивительный мир, в котором лично я пробыл около 10 лет, пока у меня не глюканул BIOS и не подсунул для загрузки старый lilo с незадействованного харда вместо grub с правильного раздела. Аптайм сервера был важнее и пришлось срочно накатывать ubuntu. Только когда после перезагрузки мне вновь отобразился lilo я понял свою ошибку, но было уже поздно. (хотя к тому моменту от Gentoo я уже устал).
Хотя собирать двое суток KDE под Pentium-II было интересным опытом, да.
И у Gentoo очень хорошие, регулярно обновляемые HowTo, так что русскоязычные статьи особо и не требуются. Плюс очень быстро устаревают.
и пришлось срочно накатывать ubuntu. хотя к тому моменту от Gentoo я уже устал
Вот аналогично. После цепочке сбоев по питанию моя гента впала в ступор несовместимых и нерешаемых зависимостей и убила sshd. Да так мастерски убила, что… в общем, я плюнул и поставил убунту (о чем пожалел, правда и смотрю в сторону дебиана).
Посмотрел — минимально нагруженный сервер с парой 2609 и 8ГБ озу (и встроенным в материнку видео) жрёт от розетки 124Вт. И при этом он не делает ничего, просто ждёт, когда на него сложат очередные бэкапы.
i5-7500/16gb/1050ti — 45 ватт.
Так что в 15 ватт на всю систему не особо верится.
Если же нужно для домашней файлопомойки, пай-холе, почты, впн и тд — то малинка еще бюджетнее и меньше жрет.
зы и да — федора, это диагноз какбэ! Проксмокс или есхи еще понятно было бы…
Сата есть у древнего cubieboard, правда 100мбит сеть, уныло, но работает как seedbox.
А он вам нужен? Можно просто грузить в 3ем ранлевеле (Multi-User Mode with Networking). Если по какой-то причине вам нужны иксы можно грузить через startx например. Ну либо чинить настройки gdm.
Конечно у каждого свои задачи но это домашний сервер для виртуализации и чтоб поучиться линуксу? Не слишком ли, не знаю... По мне это собралась дорогая игрушка.
Вспомнился человек на форуме ХРенолоджи, который собрал систему для собственно ХРенолоджи по цене выше аналогичного оригинального сино.
Зачем серверу 4к, разве что этот сервер в том числе и медиаплеер, но оно ж гудеть будет, мешать в, например, гостинной. Но все таки требования у всех разные, мне помнится хватало тплинк1043в1, потом уперся, перешел на старые андроид приставки, когда уперся, разделил на 2 приставки, тогда еще одноядерные, далее взял бу 2core nas, на который поставил дебиан, плату на MT7621, сейчас на x86 перешел, но все с пассивным охладом, только диски гудят, жизнь идёт, знания, желания и фотки накапливаются, да и бюджеты у людей разные, когда я впервые захотел, чтоб программа работала 24/7 у меня из свободного бюджета было 10$ и выбор был между бу тплинк с usb, или пойти с девушкой на концерт. Спустя 10 лет, когда устроился на постоянную работу, нашел % от зарплаты, который можно без напряга для всего остального выделять на хотелки, желания и хобби. Но с другой стороны я радуюсь что начинал с проца 400МГц и кажется 32МБ оперативы, и понимаю что такое оптимальный код и лишний проход цикла.
Так просто в воспоминания ушел. Спасибо за статью, вспомнил юность)))
И для перечисленных задач идеально подходит тихий одноплатник, жрущий в десятки раз меньше электричества.
Ну... У меня на сервере крутится видеонаблюдение. И т.к. Качество детекции движения в камерах меня не устраивало, то пришлось включить детекции со стороны сервера. До этого у меня был пень 3420 и его хоть и хватало, но в притычек на 6 fullhd камер. А уж если в это время запустить ещё бэкап с сжатием. Потом достал 2500 i5 и производительности стало за глаза. А сейчас 3570к (разгон автоматом 3 или 5%), и памяти 24 гига, так вообще за глазище.
Как увидел под домашний сервер процессор Xeon E5 2678 v3, дальше не стал читать. У меня трудится J1900 и N3150, хватает с избытком.
Ох уж эти оценочные суждения.
Хотя, конечно, у автора непонятно для чего выбрана такая мощщща.
Но у меня, например, в качестве домашнего сервера E5-2470v2 о 192 гигабайтах оперативки утилизируется на 80% по процессорному времени и 90% по оперативке (из которых 50% это ARC для ZFS, но всё же).
И попробуйте Proxmox VE в кач-ве гипервизора forum.netgate.com/topic/120102/proxmox-ceph-zfs-pfsense-%D0%B8-%D0%B2%D1%81%D0%B5-%D0%B2%D1%81%D0%B5-%D0%B2%D1%81%D0%B5-%D1%87%D0%B0%D1%81%D1%82%D1%8C-1
Там из web-gui есть нормальная управлялка этим «счастьем»?
Нормальной — нет.
Из вэб-гуя проксмокс можно:
1) Инициализировать пустые диски на GPT/MBR
2) Создать поверх этих дисков ZFS-пул
3) Развалить ZFS-пул
4) Посмотреть статус ZFS-пула.
На всякий случай уточняю.
1) Если воткнуть не пустой диск, особенно из ZFS-пула неправильно разваленного — добро пожаловать в cli.
2) Заменить отвалившийся диск в пуле — добро пожаловать в cli.
3) Заниматься всякими извращениями, типа создавать массив с фэйковым диском из разреженного файла — ну вы поняли.
4) Изменить размер ARC — ну вы поняли.
5) Добавить ZIL,L2ARC — ну вы поняли.
6) Добавить датасеты/настроить их — нууууу… можно я не буду повторяться?
Но в целом, как бесплатный гипервизор он мне нравится. Есть, конечно, дух опенсорсности (типа наличия крыжиков в вэб-гуе о хотплаге USB, который не работает официально и это не баг, а ограничение) но рассматривая бесплатные альтернативы (а покупать ESXi домой я пока не готов, да и он не без приколов) выбора то особо и нет. Особенно если надо ставить поверх ZFS или с поддержкой ZFS из коробки.
Хотя лично мне xen симпатичнее. Xcp-ng, точнее. Но мне zfs не интересно.
Но, в целом, не смертельно.
Ну и mdadm прикручен, благо под капотом тоже обычный линукс.
Proxmox пробовал пару раз, но не срослось с ним у меня.
Esxi вроде денег не просит особо.
Ну да. До тех пор, пока не потребуется, например, снятие бэкапов без остановки ВМ и тем более снэпшотов, например. Обновление на лету не через зад — туда же. Кластер — ну само собой. Ну и далее по списку.
Плюс как верно заметили чуть раньше меня: ты или сидишь на внешней СХД, или на аппаратном рейде, или начинаешь эксперименты. А да, еще если у тебя вдруг сдохла ESXi то ФС проприетарная и добро пожаловать в боль и страдания.
Поэтому в один прекрасный момент плюнул, запустил в ESXi виртуозку Proxmox. Мигрировал существующие виртуалки из ESXi в Proxmox, проверил что ничего не сдохло при миграции. Из Proxmox забэкапил их на обычный NAS и переехал на Proxmox с применением сохранённых конфигов. В итоге даунтайм в миграции между гипервизорами составил полчаса :)
Сейчас в качестве рабочей станции и «сервера» использую самосбор в корпусе Big Tower, два процессора Xeon E5-2450 (Socket 1356), 72 Гб ECC RAM, матплата Supermicro X9DBL-3F, и диски SATA/SAS. Наверняка эту систему уделает не самый новый Ryzen, но производительности мне хватает, в игры на ней не играю. Комплектующие обошлись недорого. Среднее энергопотребление — около 115-180 Ватт. Комп достаточно тихий и выключается крайне редко. Есть IPMI.
Операционная система- Windows, а виртуализация — VMware Workstation 16. Знаю про Hyper-V, мне он не подходит.
проблем с дисковым накопителем не было
Так я и не говорил, что они есть. Они начинаются как раз когда ставишь не на бытовое железо, вроде приколов «сорян, бро, но твой контроллер устарел и ныне не поддерживается»
достаточно бэкапов
В случае моей домашней лабы RAID это в первую очередь способ поднятия IOPS.
Realtek
С ней в целом только винда и работает нормально.
Виртуальные машины быстро работают, есть возможность управлять из Windows приложения XCP-ng Center, из консоли, из Xen Orchestra, Datastore по SMB/iSCSI/NFS, виртуальным машинам можно давать нормальные имена (не как в Proxmox), да и с бэкапами попроще (в случае чего, файл жёсткого диска можно открыть в Windows и использовать в Hyper-V, VirtualVox, VMware Workstation). Кластеризация. отказоустойчивость тоже есть и несложно настраиваются.
Проброс железок внутрь не особо прозрачен. У меня как-то не получилось USB-девайс прокинуть, весь контроллер пришлось.
зачем брать память на 3200MHz, если процессор держит максимум 2133, да ещё и 3 планки(судя по описанию, хотя на фото явно больше)? всё равно прямо драматически тайминги ужать не получится.
лично я под этот 2678v3 брал китайскую мать(правда почти топовую), память samsung 2133MHz ecc reg(потому как надёжная и тайминги хорошо жмутся) и вышло во первых на порядок дешевле, во вторых ещё и наварился, т.к. сначала тоже брал «затычку» 2620v3 за 1500р, а недавно продал за 2500. правда я и не сервер собирал, а обычный домашний комп, точнее там крутятся postgres и wamp, но с таким железом этого даже не замечаешь.
А зачем такой бп? От куда там даже 500вт потребления? Да и зачем было отдавать 17к за мать, когда китайские мамки очень даже ни чего. Есть сайт к по этим мамкам и процам, там самые оптимальные связки представлены.
И я не пойму какое отношение подросший сын имеет к серверу?
Ну и я так и не понял особой потребности этих процов и ecc. Какие все таки задачи прям кровь из носа все это требуют, если в первом же абзаце написано "хочу потыкать палочкой"... Win 10 из коробки есть hyper-v. И утыкайся. Памяти поставь побольше и отдельный ssd под vhd и все. Для попробовать и посмотреть с головой.
Домашний сервер