Комментарии 54
Мне нравятся Intel NUC.
Сейчас у меня три штуки работают - 2шт 7i3 7100U, один 10i5 10210U.
С моими задачами справляются и не шумят.
За полгода один раз подвис 10i5.
Не замеряли энергопотребление?
нет, не замерял.
я поставил
на 7i3 максимальную производительность.
на 10i5 сбалансированная производительность.
везде стоит SSD NVME 240Gb + HDD 1Tb
подключение по проводу.
Wi-Fi и блютуз отключены.
Но сколько потребляет не скажу.
Разницы в оплате электроэнергии не заметил.
мой нюк и5 ssd120 , win7, no wifi -потребляет около 45вт
На али есть куча неттопов с 4-6 сетевыми картами, NVME и прочим. Для домашних проектов и тестов - заглаза.
Есть даже варианты с полноценным сокетом (возможностью заменить процессор), вместо распаянного.
IPMI дома тоже не нужен - сервер-то под рукой. Да и, как правило, такую коробочку раз настроил и забыл. Далее с ней общаешся уже через веб-интерфейс или софт управления виртуалками (Настоятельно рекомендую ProxMox - для домашних нужд - заглаза).
Если очень хочется - есть Mini-ITX и Pico-ITX материнки и корпуса, вплоть до серверных решений, вроде такого: https://www.asrockrack.com/general/productdetail.ru.asp?Model=ROMED4ID-2T#Specifications
Да, неттопы тоже рассматривал. Но есть с ними какая-то странность - большинство моделей, где 4-6 портов, все на довольно старых процессорах, где 4, максимум 8 ядер. Хотелось что-то посвежее и помощнее.
Я в итоге на proxmox тоже остановился. Бесит немного, что нельзя через интерфейс закидывать OVA и надо лезть в CLI. В остальном - отличная штука.
Ну многопортовые неттопы, как правило, делают под задачи фаерволла/роутера. А там особо мощный процессор и не нужен.
Опять-же для домашнего сервера, особенно под веб-проекты, даже 4х ядерника 5-летней давности более чем достаточно.
А если надо больше мощностей - лучше собирать полноценный Tower или сразу серверную стойку (ящичек на 8+ юнитов, хотябы). Делать очень мощное железо в минимальном размере слишком дорого, да и не особо то нужно (Исключение - геймеры, но у них несколько другие запросы).
Не совсем согласен)
Мне часто нужно собирать большие сетевые схемы в каком-нибудь EVE-NG. 4 ядра там ну совсем мало. А вот 16 ядер, плюс 32-64ГБ RAM - уже интересно. Выделять под это стойку дома - не очень хочется)
В общем я позже поделюсь результатами тестирования. Там будет видно сколько всего можно крутить для тестов на такой маленькой машинке.
все на довольно старых процессорах, где 4, максимум 8 ядер
Собрать кластер из нескольких. Плюсы: хорошая масштабируемость, отказоустойчивость. Минусы: не под нагруженные проекты (зависит от топологии проекта)
А если уж нужно под что то более высоконагруженное, то уже смотреть в сторону полноценного системного блока.
IPMI дома тоже не нужен - сервер-то под рукой.
Ага, пока что-нибудь не перестанет грузиться. И придётся идти к серверу и втыкать монитор, мышь, клаву...
А почему там что-то должно перестать грузиться, если на нём стоит виртуализация, а всё нужное внутри виртуалок?
Чтобы повесить гипервизор - это надо знатно постараться... Или ковырять сам гипервизор, что несколько глупо...
Другой вопрос - если надо что-то прямо на физическом железе обкатывать... Но такой сценарий - большая редкость и нужен только для замера производительности (максимального быстродействия). Все остальные сценарии (Разработка и тестирование) вполне выполняются внутри виртуалок.
Ну у меня например стоит убунта и на ней виртуалки уже крутятся в KVM потому что параллельно с виртуализацией у меня сервер еще и файлопомойка, да и поднимать половину из тех вещей что мне нужно в отдельных виртуалках когда есть docker - растрата ресурсов машины.
Как таковая железная удаленная консоль мне редко нужна, но не хочется оказаться в ситуации когда у меня домашние жалуются что "кино не показывает", а я на другом конце планеты и ничего с этим сделать не могу. Плюс через IPMI я, к примеру, выгружаю в zabbix всякую статистику с материнской платы.
параллельно с виртуализацией у меня сервер еще и файлопомойка, да и поднимать половину из тех вещей что мне нужно в отдельных виртуалках когда есть docker - растрата ресурсов машины
Что мешает выделить одну виртуалку под докер, одну под сервер и одну под файлопомойку?
Гипервизор должен быть гипервизором. На нем ничего лишнего не должно запускаться кроме виртуалок, иначе повышается вероятность отказа.
А чтобы исключить отказы сетки, то обычно ставят сетевуху с как минимум двумя портами, чтобы сконфигурировать их как failover или LAG (если позволяет коммутатор).
Что мешает выделить одну виртуалку под докер, одну под сервер и одну под файлопомойку?
Условный plex, например, далеко не всегда хорошо работает в виртуальной машине или контейнере.
Мне кроме хранения данных в зеркале ZFS от домашнего сервера в плане надежности ничего не нужно, да и мне уже давно не интересно делать из своей домашней сети FizzBuzz Enterprise Edition.
Даунтайм не является проблемой и за последние лет 8 единственный случай когда система развалилась был из-за криворукости разработчиков ubuntu у которых один из основных пакетов во время обновления системы удалялся. В остальном никаких проблем от того что я не использую гипервизор я не наблюдаю.
Ну и как заметка на полях - мне кажется что полезно иногда с KVM поиграться чтобы иметь более хорошее представление о том как работает виртуализация со всякими NUMA и тд вместо того чтобы галочки в UI гипервизора ставить.
Для любителей этого дела есть что-то типа pikvm. Можно, наверное, его даже через обычный KVM подключить. :)
У меня сервер с ipmi, но я им пользуюсь раз в год примерно, если не реже.
IPMI дома тоже не нужен - сервер-то под рукой.
Слишком категорично.
По IPMI сильно зависит от условий использования, местонахождения и размера сервера.
Если есть возможность взять IPMI с функцией виртуальной консоли (без нее от IPMI можно только оценить состояние сервера и иногда изменить настройки BIOS), то лучше так и поступить.
Однако для домашнего использования важен и вопрос цены, поскольку функция виртуальной консоли в брендовых серверах стоит довольно приличных денег.
Кроме того, стоит иметь в виду, что IPMI (iDRAC, iLO, XCC и т. д.) представляет собой что то вроде постоянно работающего мини-ПК, с довольно приличным энергопотреблением..
Например, я проводил измерения потребления энергии следующих серверов в выключенном состоянии (измерения проведены с помощью отдельного ваттметра):
- Dell PowerEdge T350 (iDRAC) - около 8 Вт
- Lenovo ThinkSystem ST550 (XCC) - около 11 Вт (Сам сервер выдает такие цифры: вход PSU: 10 Вт, выход: 7 Вт)
Необходимо также учитывать возможность подключения монитора и клавиатуры к серверу.
Одно дело, когда сервер находится рядом со столом и уже подключен к монитору и клавиатуре, либо можно быстро подключить их без переноски.
Другое если сервер находится в кладовке или другом подобном месте и для подключения монитора придется перемещать сам сервер.
А сервера могут быть и габаритными, и весить довольно много (например, упомянутый Dell T350 без дисков весит 27 кг).
Также, если на сервере запускается что-то критически важное, например, роутер/файрвол, и важно быстро восстановить его работоспособность.
Хорошим вариантом будет иметь помимо основного сервера еще и запасной сервер, даже обычный мини-ПК.
Я что бы на время обслуживания основного сервера не оставаться без интернета имею помимо основного сервера еще не большой мини ПК.
При обновлениях/обслуживании я мигрирую на него виртуальную машину pfSense и некоторые другие.
Виртуалка при миграции даже не перезагружается, для нее такая миграция никак ни проявляется, текущие соединения не рвутся.
К сожалению этот мини-ПК не имеет виртуальной консоли, но он и служит только для подстраховки и хранения дополнительных бэкапов виртуалок/контейнеров основного сервера.
Если с ним что-то случится, его можно будет не спеша подключить к монитору и понять что с ним.
Как вариант можно взять tower и помимо обычного CPU поставить туда 1,2,3 и т.д. модулей NUC. Получится несколько ПК в одном.
Минусы:
Большой (не все найдут дома столько места)
Шумный (теоретически можно поставить на балкон)
НЕ энергоэффективный (вы точно заметите изменения в “платежке” за свет)
Дорого (есть конечно БУ варианты, но даже они значительно дороже чем мини пк)
Целый системник поставить некуда? Я даже в однушке на холодильнике 3 держал, ничего :)
Шумный, это если вы покупаете готовый сервер от HPE/Dell/etc. Но можно же собрать и самому и поставить вполне тихие кулеры
За 4 сервера сумма в платёжке порядка 4000р, это в любом случае дешевле, чем любой другой вариант размещения
Дорого, тут согласен. Особенно в нынешнее время - память очень подорожала, если говорить об объёмах более 64 ECC. Да и с выбором материнок всё обстоит довольно грустно.
У меня сейчас 2 сервера виртуализации, отличаются только матерями
SuperMicro X11SPM-F-O // ASUS Z11PA-U12
Intel Xeon Silver 4214
Noctua NH-U14S DX-3647
64Gb DDR4 3200MHz ECC Reg x6
512 + 2x2Tb NVMe
БП по 600W, ну и сеточка 10Г
Кстати Beelink у меня тоже есть, использую его в качестве сервера резервного копирования с внешними HDD
Дома сервер DELL T430.
2 проца 2690v4 - 128 гигов оперы. 8 канал . Скорость оперы 130 000 МБит/сек.
Один кулер 120мм. Сервер тизий. 200 Ватт потребления. 20 виртуало
5:Raid - 16 Ssd 480
6 Raid - 8 ssd 480
5 Raid - 4 hdd 4tb
0 raid - 6 tb sas
Esxi 6.7u2
Не вижу смысла в новой ESXI.
6.7u2 работает стабильно годами, что дома что в конторе.
Почему DELL.
Обновление прошивок через интернет. Впн
Посмотреть через iDRAC и пересобрать Рейд да не проблема. Я вижу состояние всего не перегружая сервер. Около того может только IBM. Но его IMM скуден.
Алармы на все и всюду. Умер диск, аларма на почту. Так еще IBM может.
Супермикро IPMI и ILO рядом не стояли.
“Слабый” CPU (не годится для серьезных и постоянных нагрузок)
Вы вообще давно на mini pc смотрели?
И еще сетевуха 10G для связи сПК
Очень нравятся Intel NUC, сейчас под медиасервер и минихранилку трудится старичок nuc5ppyh. Что в них нравится больше всего, так это возможности тонкой настройки bios вплоть до отключения светодиодов на корпусе и регулировки кривой вентилятора. Что примечательно, вентилятор на моём аппарате на любых оборотах (от 3000 и выше) крутится почти совсем бесшумно!
Для других задач юзаю еще два MSI Cubi, один Cubi N 8GL с пассивным охлаждением на n4000, второй свежий Cubi 5 12M на i3-1215u (это будущая замена для вышеописанного NUC), очень нравятся машинки, правда светодиод питания больно яркий, если не в отдельной комнате аппарат стоит. Тот, что с пассивкой хорошо рассчитан, ни в одном из сценариев не греется.
Первый брал на задачу, где нужен был максимально тихий аппарат, второй из-за двух сетевух.
Отдельно отмечу комплектацию у MSI. Первый аппарат имеет в комплекте две нижние части под диск 2.5 и без него (тонкий вариант). Второй аппарат имеет в комплекте крепление vesa на монитор и выносную кнопку включения. Очень интересный маркетинговый ход для того, чтобы как-то выделиться)
Из свежих китайцев купил сдуру совсем мелкий morefine m6, очень пожалел. Шумный, горячий, с ужасным bios (разлочено вообще все что можно, но непонятно зачем оно нужно). В подобные аппараты больше ни ногой. Хотя друзья покупали что-то с алиэкспресса побольше размером и им все нравится.
Товарищ, ты случайно не знаешь, как у китайских материнок под серверные процессоры обстоят дела с многоканальной памятью? Поддерживают ли они 4х канал, или залочены на 2х канал независимо от поддержки процессора?
Думаю над приобретением такового для экспериментов с относительно небольшими LLM, а им очень важна пропускная способность памяти.
Зависит от конкретной модели материнки.
Стоит нупнжи x99 fx 8 с процем 2690v4 - 4 плашки рег есс по 16. 4 канал режим скорость чтения записи 50 000 Мбит сек. Уже 3 года. Ге обновляй до последнего биоса . Иначе глюки. У меня ня глюк в том что через раз утром запускается. Те черный экран и завис на старте биоса. Вернул старую версию все ок
Вот что тут НЕ надо делать - так это брать мать с поддержкой двух процессоров.
X99-F8D.
2 Xeon'а
больше 4-х каналов с процессора не тянет , к памяти "чужого" CPU - около 10 GB/s.
Софту представляется 2-мя NUMA-нодами.
При этом часть софта под Windows (и если она основной ОС и если она в виртуалке а основной Proxmox) - сильно тормозит, включение Cluster-on-Demand и уменьшение объема памяти.
По тестам: 128 Gb RAM - 62 GB/s полоса пропускания памяти, 220 Gb RAM(одной планки из 8 уже нет в живых), очень примерно (машина под нагрузкой) 90 GB/s полоса пропускания памяти.
Но кстати о - 3 PCI-E x16 слота (16-8-8 насколько помню), реально 2 видеокарты воткнуть можно.
Не любит Windows 11 (точнее Windows 11 на хосте + корпоративный VPN = креши в сетевом стеке винды(по стектрейсу где то внутри кода MS насколько удалось понять) е в через интервал от двух часов до двух суток)(правда она и ставится не хотела). VPN в виртуалке с Win10 а хостом та же - Win11 = полет нормально, хостом Proxmox а в виртуалке и Win11 + VPN-клиент = полет нормально.
Proxmox замечательно ставится и работает на Mac mini ))
Стоит у меня в доме сервер hp dl160 g6. Долго искал подходящий сервак под виртуалки и к счастью нашёл дёшево у себя в городе. По цене в месяц моя стойка( сервер+коммутатор 48портов+ несколько роутеров+ дисковая полка) кушает 500р с тарифом 5.75 за кВт. На счет шума не буду даже говорить ( когда выключали ЭЭ ночью я пару раз просыпался от тишины ахаха). VMware кстати мне понравился своим интерфейсом, поэтому на нём и остался.
Юзал ESXI с 5 по 7
6.7 u2 самая стабильная. Реально работает годами.
У esxi 7 в особенности у Контрол центра выжирались диски систем и лог. Что на работе что дома. Глючная версия.
Proxmos юзал 5. Сырая бесплатная вещь. Были глюки с виртуалками. Неплох, но сырой. Мутатень с датастграми.
У esxi влезает на флешку. Если умрет то восстановить быстрее. Всего пару настроек сети и все. Регистрирует виртуалки и в путь.
Хайпер, сначала винду вкпти
Основной вариант не упомянут. Сейчас полным полно специальных Mini-ITX материнок разных производителей для малых серверов со встраиваемыми процессорами - N305, N100, N5105 и даже мощными 55-ваттными Ryzen 7840H и 7840HS. Последние стоят около 50 тыс. Это мать с процом и кулером. С N305 около 25 тыс. С N100 около 17 тыс. С N5105 стоят 14 тыс. Последние два правда 4-ядерники без HT. Под визуализацию не очень подходят. Для NAS'а же идеальны.
Все матери нашпигованы всем необходимым - 4 2.5 Гбитные сетевухи, два m.2, тонны SATA портов с дополнительными контроллерами, в более современных SFF-8643, внутренние USB для ключей и много всего прочего. IPMI конечно нет за такую цену, да и не нужно особо для малого сервера, но спикеры на всех есть.
Это если прям цивильный сервер собирать с кучей дисков в массивах. В свое время собрал что-то подобное на Atom D2700 в большом корпусе от HP MT3300, поставив туда дополнительную корзину для дисков и sata-контроллер в minipcie. Для NAS вариант отличный, если много CPU не нужно, - как файлохранилка работает довольно шустро, к тому же почти бесплатное решение для меня вышло.
А для задач на вычисления и для всяческих тестовых стендов все же минипк удобен даже без raid. Достаточно бэкапа хоть даже по NFS на отдельный слабенький NAS, если нужно. Скажем, это разный функционал.
8.2 - бета версия, Может из-за этого дело?
Proxmox 8.1, между 1-ядерными lxc-контейнерами на одном хосте скорость нормальная. E5-2640 v4 - 25Гбит/с, на i5-12400 - 70Гбит/с.
Hidden text
root@test2:~# iperf3 -c 192.168.1.134
Connecting to host 192.168.1.134, port 5201
[ 5] local 192.168.1.135 port 48412 connected to 192.168.1.134 port 5201
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 30.0 GBytes 25.8 Gbits/sec 0 sender
[ 5] 0.00-10.04 sec 30.0 GBytes 25.6 Gbits/sec receiver
root@test2:~# iperf3 -c 192.168.1.136
Connecting to host 192.168.1.136, port 5201
[ 5] local 192.168.1.137 port 54956 connected to 192.168.1.136 port 5201
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 82.1 GBytes 70.5 Gbits/sec 0 sender
[ 5] 0.00-10.04 sec 82.1 GBytes 70.2 Gbits/sec receiver
Последняя версия прокса - 8.1.
С проксом почти 10 лет и таких проблем не было никогда.
На 101% уверен, что проблема не с проксом.
С китайскими мини ПК могут быть проблемы при покупке ищите в интернете распространенные проблемы, чтобы понять можно ли использовать в виде домашнего сервера. Полтора года назад купил себе beelink mini s - производительности и памяти хватало за глаза. В итоге от производителя никаких обновлений firmware с момента анонса. Так ещё столкнулся с проблемой, когда ПК не стартует, если подключено несколько usb устройств с низким энергопотреблением и ethernet. Поэтому заменил на неттоп от lenovo.
Вот я тоже понял, что китайцы могут быть нестабильны по целому ряду факторов
Из неттопов смотрел в сторону Dell Optiplex micro, благо у родителей в качестве домашней машины трудится такой старший в линейке 7050 с процессором серии T, почти бесшумный, да еще с неким подобием IPMI через Mesh Commander (vPro), что удобно для оказания удаленной помощи. У него до сих пор периодически фирмварь обновляется штатными убунтовскими методами. Но в итоге для микросервера пришел к MSI на холодных N и U процессорах (писал в комменте выше)
Идеальный вариант для дома и soho (есть варианты не только с Intel N100):
P.s. Всем у кого vmware esxi и кто хочет, но боится переходить на proxmox ve, появился официальный плагин для легкой миграции с вмваре - https://forum.proxmox.com/threads/new-import-wizard-available-for-migrating-vmware-esxi-based-virtual-machines.144023/
P.p.s. Заметки по работе с proxmox, zfs, pfsense etc - https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2/
Цилиндрообразный корпус не располагает к стекированию + заявлены проблемы с охлаждением. Я лучше несколько HP Microserver Gen8 возьму, цена такая же - плюшек больше.
Берите G8 - древнее (Celeron G1610T - 2012 год, Xeon Е3-1220 v2 - 2012 год, 69 W) , места занимает в 2 раза больше, жрет прилично, шумит, на авито Б/У - 30к+ руб. "Отличный" выбор.
Гуглите сколько N100 "кушает" + ddr5 + свежий igpu, к-ый можно использовать для того же jellyfin.
Мне глубоко фиолетово, сколько кушает ваш N100 для ноутбучного сегмента, Gen8 c E3-1265v2 (TDP 45Вт, если что) позволяет заюзать 32Гб двухканальной памяти против вашей 16Гб одноканальной плюс 5 SATA-интерфейсов плюс слот PCI-E, не считая "плюшки" в виде LILO. При этом производительность практически идентичная. На NVME тоже пофиг, потому как в случае БП восстановить данные вы с неё с высокой вероятностью не сможете...
У меня на этой железке 2 (ДВА) m2 + 2 (ДВА) обычных hdd. На 2 m2 в zfs raid1 установлен pve, 2 обычных hdd тоже собраны в программный raid1- на этот массив сливаются бэкапы ВМ. И мне глубоко монописуально на БП.
Производительность ddr5 СУЩЕСТВЕННО выше ddr3. Даже если ddr5 в одноканале.
ILO (без лишней L)
Повторюсь, что вариант выше есть не только с N100, но и с AMD Ryzen 7 5700U, к-ый точно умеет в 2 канала ОЗУ и точно существенно мощнее древнего E3-1265v2.
P.s. Мне тоже нравится исполнение HP Microserver Gen8, но в его корпус свежее железо не воткнешь.
AMD Ryzen 7 5700U/5800H хорошо как серия E2200 - хоть и 2 канала, но как и все АМД грешны чиплетным узким горлышком и 3200 это максимум что умеет.
Смысл в том, что ddr5 одной планкой имеет почти такую же пропускную способность как и 2 канала в АМД ddr4, это справедливо и для серверных, разве что каналов там больше. ECC переоценена для дома, чаще ребутайте (раз в месяц) да и объемов дома таких нет (у кого тера памяти?), мало у кого больше 128Гб и базы в тер. Что блин за критичные данные такие дома, что бы ошибки в шинах исправлять (любая ddr5 имеет ЕСС, но в пределах планки) да и как в машзалах нет дома таких электромагнитных помех и вибраций. А диски диски дома sas ?? Шумные и горячие, резервный генератор на дизеле и аплинки с bgp на hap lite )))))
Дело вкуса и предпочтений конечно, если нет подвала дома, поставлю в ДЦ. А для дома Beelink на n100/305 за глаза, и нет аналогов вообще, да одна планка в 48Гб 4800. 4 ядра позволяют 8 виртуалок запустить, NVMe 1х (но глубина очереди) и 2 сетевухи intel 225, работают от 12-20v тихий как моль. 3 диска! Производительность на ядро как у E5 v4 толкько меньше ядер. Да, нет ecc, ipmi, каналов памяти 3Тб - это меня убивает, хочу такую коробочку с ecc reg в 8Тб и 44 ядрами, а то понимаешь цена ниже и тихие, конечно амно, мой gen6 в 100 ядер лучше!
Nuc больше не существует, его продали асусу. Раньше были хорошие и надежные, даже на Xeon E-2286M, теперь только Beelink! Minisforum ms-01 не зашел. 7840HS - очень хочу. Но пока не было. В ДЦ supeserver и HP и Dell и IBM и даже Bull ;)
Всем мира и надежного железа!
Формфактор microserver реально красивый, посмотри на jonsbo N2, даже интересней.
От zfs уходим в btrfs поверх lvm, надежно и не такой тормозной. Но холиварить не хочу, у нас на zfs база в 8Тб и разницу видим.
Вот читаю, кто как и откуда что восстанавливает и кто отменил правило 321, ни чего не понимаю, тупею наверное.
С нотками сарказма, но не автору комментария на который отвечаю.
Домашняя виртуальная лаборатория. Готовим собственный сервер виртуализации для обучения. 2. Выбираем сервер