Comments 94
Корпус нахаляву достался я так понимаю? Просто можно было купить 4U промышленный и так не страдать.
Да, халявный. И стоял года два за кроватью. Да, наверное стоило поискать другой или вообще без корпуса обойтись, благо компьютер пока что состоит из двух подвижных частей: блок питания и материнская плата со всем на ней.
Но он два года стоял без дела, надо было найти ему хоть какое-то оправдание. :)
Я планировал ставить sata-диски и zfs raid на них. Насчёт того, чтобы задействовать SAS-бекплейн почему-то даже не думал – думаете, стоит?
Спасибо за информацию.
Насчёт ZFS RAID или ZFS поверх хардварного рейда — это уж сам решайте.
Есть ещё чуть более новая тема с Xeon-ами Haswell-EP. Некоторые из них являются франкенштейнами с поддержкой DDR3. Это позволяет собрать железку с более новым процом, и дешевой памятью, что выводит соотношения производительность/цена и производительность/потребление на новые высоты.
Китайцы исправно штампуют под них платы, но только односокетные.
Собрал себе в хомлаб сервак под Proxmox на Jingsha X99 (как раз такая плата) — чуть дороже 6к, Xeon e5-2678v3 — 12 ядер, базовая частота 2.5 (в турбобусте на одно ядро до 3.2 вроде) — чуть дороже 7к, и память Samsung DDR3 1600 RDIMM — около 35к + 3к пошлины за 8 модулей по 32 ГБ.
Все цены до мартовского скачка курса.
Память дорогая, поскольку покупалась не из Китая с Али, а из Германии с Ибея. Китайская память всегда шитая и иногда с невнятными таймингами.
Нет там IP-KVM, китайцы позиционируют их как настольные платы.
Но вся эта сборка — больше о "дёшево, сердито и относительно надёжно", чем об энтерпрайзовости и удобстве. Кроме того, после того, как гипервизор установлен и настроен, в KVM нет нужды.
Если принципиально важен KVM, то на ибее есть аналогичные серверные платы с поддержкой DDR3 от Asrock (EPC612D8T, EPC612D8TA, EPC612D8TA-TB и EP2C612D16T-4L). Но они редкие, и они дороже, что размывает выгоду от более старой памяти.
Да, IP-KVM хочется, но я надеюсь обойтись ssh и какими-нибудь vnc. На худой конец, X-сервер через ssh пробрасывать. Я человеческими встроенными удалёнными управлялками не аользовался, поэтому не могу судить, насколько неудобно будет. Мне кажется, что не очень.
Сильно зависит от того, чего Вы хотите от сервера. Субъективно на мой взгляд — IP-KVM нужен только на этапе установки ОС, после этого SSH или VNC, если тачка физическая. А если гипервизор — всё ещё веселее, потому что он даст через админку доступ к консолям виртуалок и безо всякого KVM, а сам хост переконфигурируется редко, и лучше всё равно в таких случаях быть рядом с ним.
Плюс ещё первое время доступ желателен, пока не устоялась конфигурация сервера, на случай "зависло/отвалилось/напортачил с сетью". С тем же vt-d я порядком нагулялся. Когда лажал, надо было ресетить, а сервер висит в кладовке. Но тут можно и походить ногами к серверу первое время. Ну и в биос вначале заходят чаще, чем потом.
Сильно зависит от того, чего Вы хотите от сервера
Я хочу вынести все приложения "уровня бизнес-логики" (не знаю, как это правильно назвать. "Прикладного уровня"?) в виртуалки или контейнеры. По каким критериям куда – тоже пока не знаю. Но интуитивно понимаю, что производить манипуляции с хостовой ОС, которые её могут положить – не самая хорошая идея, и что лучше их вынести куда-нибудь, что можно легко откатить и начать с начала.
Субъективно на мой взгляд — IP-KVM нужен только на этапе установки ОС
В таком случае, у меня получилось именно так: во время установки ОС были подключены видеокарта, монитор, клавиатура и мышь – а сейчас только Ethernet.
Но если придётся ещё что-то настраивать в биосе – тут IP-KVM был бы подспорьем.
Кстати, о VT-d – я правильно понял, что она позволяет пробросить видеокарту напрямую в виртуалку, и без этой технологии сделать подобное проблематично? Не то, чтобы у меня была лишняя видеокарта под машинное обучение. :)
Да. И не просто проблематично — невозможно. У интела какое-то время было очень интересно — топовые K процы шли без нее, а следующие за ними без К индекса — с ней. У ксеонов с ней все ок.
Я хочу вынести все приложения
Гипервизор, какой к душе ближе лежит, либо LXC (просто контейнеры)/Docker(контейнеры и оркестрация попроще)/Kubernetes(контейнеры и оркестрация покруче).
Про преимущества и недостатки:
1) Гипервизор:
За:
- Простота. Всё эквивалентно физическим машинам, легко управлять, легко обновлять, мало абстракций.
- Изоляция. Разные ядра ОС — более спокойная жизнь, если нужно крутить что-то, чему Вы не полностью доверяете.
- Гибкость. Настроить можно что угодно, было бы время.
Против:
- Необходимость ручной настройки и управления ресурсами (хранилище, память, адреса).
- Небольшой оверхед по производительности, но на это можно наплевать. Он реально небольшой.
- Чуть-чуть повыше задержки ввода-вывода дисков, сети. Весь обмен идёт через виртуальные устройства, они вносят свои коррективы.
2) Контейнеры. Не особо касаюсь LXC, он близок к ВМ с меньшим оверхедом и чуть большими рисками ИБ. Основа основ — это докер.
За:
- Автоматизация многого. Можно стянуть с Docker Hub готовый образ практически с чем угодно, автоматизировано управление ресурсами, есть апи.
- Сложные сети из коробки. Та же оверлейная сеть — это чудо.
- Кластеры и оркестрация. Нужно, чтобы система автоматом поддерживала минимальное число воркеров и переносила их на другой хост, если первый откинулся? Легко. Централизованное логирование? Легко. И т.п.
- Чуть лучше перформанс, чем у ВМ.
Против:
- Абстракции, куча их, причём в разных местах. Сеть временами слишком умная. Например, в том же докере есть встроенный ДНС, который не очень удобно стыкуется с внешним ДНС-ом.
- Обновления — боль и костыли. Деплой чего-то, чего нет готовым — боль и костыли. Например, если Вы не публикуете свой образ в Docker Hub, он не будет автоматически перестроен при обновлении базового образа. Автоматически штатным образом обновить контейнеры не всегда возможно. Для своих образов Вам придётся, по сути, воссоздавать инит-скрипты, которыми оживляется Ваш сервис.
По-любому потыкать надо и то, и другое. Ничего не мешает совмещать — докер/кубернетес прекрасно заживёт в виртуалке, и изучение его не будет мешать работе уже настроенных виртуалок, которые Вы используете, а не изучаете. Ну, при условии, что Вы отделите тестовые подсетки и рабочие подсетки, и не будете сплетать одно с другим.
Дальше большая субъективщина, к которой был бы рад услышать альтернативные мнения:
- ВМ — основополагающая технология. От неё стоит отталкиваться, а потом уже идти в контейнеры.
- Бесстыжий пиар. Начать лучше всего с Proxmox, он бесплатный, открытый и офигенно мощный. Если сервер один, и нет СХД, то лучше использовать хранилище на ZFS. Для ознакомления на какую-либо машину попроще поставить vSphere, поучиться и ему. Но без vCenter ему до практичности Proxmox — как до Луны, поэтому он нужен для того, чтобы научиться технологиям лидера коммерческого рынка.
- Сервисы, которые должны просто работать, и которые написаны не Вами, лучше деплоить в ВМ.
- Сервисы, которые Вы пишете сами, лучше деплоить в контейнеры.
настраивать в биосе
Сомневаюсь, что биос Вам после месяца-другого общения с сервером потребуется хоть сколько-нибудь часто. Как правило, это будет совпадать с необходимостью повзаимодействовать с аппаратной частью, поэтому всё равно придётся присутствовать. Но YMMV.
Кстати, о VT-d
Да, правильно. Без этой технологии PCI-устройства в ВМ пробросить нельзя.
- Не на всех материнках vt-d адекватный.
- Если речь идёт о видеокарте, то обязательно, чтобы в ней был UEFI OpRom, и очень желательно, чтобы она была не единственная в системе. Например, у меня корпус очень компактный, поэтому карточка только одна. Свою я её ещё не победил.
- Если речь идет о консьюмерских видеокартах, то одна видеокарта осчастливит только одну ВМ. Если энтерпрайз — то несколько, представившись несколькими виртуальными PCIe-устройствами.
- Если речь про консьюмерские NVidia — готовьтесь к борьбе с драйверами. Их придётся либо патчить, либо средствами гипервизора скрывать от гостевой ОС, что она виртуальная. NVidia останавливает драйвер при детекте работы в ВМ, и обойти не всегда тривиально.
Если про машинное обучение, что здесь уже не в тему обсуждения, то начать лучше с рабочей станции на Linux, на которую вкатывать Tensorflow в докере с драйвером ГПУ от NVidia. А там дальше потихоньку придёте к тому, что Вам нужно. К серверу всегда успеете прийти, как появится потребность. Плюс видеокарту с рабочей станции никто не отнимет. :-)
Спасибо за прекрасный комментарий-туториал.
Я долго думал, что ответить. :)
Это поле ответа висело открытым два три четыре дня.
Сомневаюсь, что биос Вам после месяца-другого общения с сервером потребуется хоть сколько-нибудь часто
Полностью согласен.
Кстати, о VT-d
Мне пробрасывать нечего, как мне кажется, поэтому я им заниматься, наверное, не буду.
Дальше большая субъективщина
Собственно, этот раздел я пару раз переписывал, но так и не смог написать ничего конкретного, кроме небольшого возражения на "Сервисы, которые должны просто работать, и которые написаны не Вами, лучше деплоить в ВМ.
Сервисы, которые Вы пишете сами, лучше деплоить в контейнеры.".
Мне кажется, что разумнее деплоить все сервисы в контейнеры, кроме тех которые:
- проще развернуть в ВМ (не могу сейчас придумать такого сценария, правда)
- требуют другой ОС (что-нибудь под винду, например. Но мне с таким ещё не приходилось сталкиваться)
- требуют изменяемых ресурсов или более одного процесса (Например, хостинг сайта, на который владелец иногда закачивает новые картинки по фтп, то есть нужны минимум веб-сервер и фтп-сервер, а у докера всё же изначально было правило "один контейнер – один процесс". (Тут можно возразить, что надо переделать рабочий процесс деплоя картинок на сайт, но для этого надо объяснить человеку, зачем я буду усложнять его жизнь))
- имеют риск плохого воздействия на хостовую систему (например, разрешают исполнять пользовательский код, или к которым разрешён доступ на запись третьими лицами. Какая-нибудь песочница или тот же фтп (хотя у него есть virtual home))
То есть я не вижу ничего зазорного в том, чтобы запустить постгрес, дженкинс или чьё-нибудь простое single page application в докер-контейнере на хостовой машине. В конце концов, из контейнеров тоже надо постараться сбежать, но их проще настроить, чтобы из них была видна часть файловой системы хоста (bind mounts или volumes), как мне кажется. К ВМ же можно подключить read-only ФС, хотя я не углублялся так далеко в эту область. :)
Но у меня есть сомнения касательно пункта 3: если при простой записи картинок на zfs я представляю, что произойдёт, то при записи картинок в образ диска виртуалки, лежащий на zfs – нет. Хотя я посмотрел беглым взглядом, что proxmox имеет плагин для поддержки zfs, так что наверняка ничего страшного. У меня, правда, ещё пока нет zfs. :/
Кстати, ещё несколько заметок по ВМ:
- в них можно экспериментпровать с операционкой, не боясь что-то запороть. Контейнеры, мне кажется, такую свободу не предоставляют. (Я имею в виду настройку фаервола, работу с кроном, возможность делать снимки образов диска (если они поддерживают), их можно приостанавливать и сохранять состояние на диск).
- но они дают оверхед по оперативке и месту на диске, по сравнению с контейнерами. Впрочем, ресурсов у сервера из поста на это хватит.
- их разумно использовать, если надо экспериментировать с работой какого-нибудь распределённого между несколькими компьютерами приложения.
С вашего посыла я однозначно поставлю proxmox для игры с ВМ, но переходить с докера на LXC для меня пока как-то не хочется. Думаю задействовать cockpit для управления контейнерами (мне не нравится это разделение обязанностей, ведь proxmox, судя по вопросам в гугле, как-то умеет запускать docker на LXC) и для управления кубернетесом – proxmox в него точно не умеет, а полноценно с ним поэкспериментировать как-то не удалось, застрял на этапе написания .yaml-конфигов. Удалось запустить два сервиса в одном экземпляре, но для этого и docker-compose сошёл бы. :)
Если туда не ставить 12 ядерных камней, а ограничиться 8 ядерными — то даже Jingsha будет жить, хотя лучше всеж «оригинальную» Huanangi
Если это повлечёт за собой ковыряние в исходниках биоса, то проблема в том, что моих навыков на это не хватит.
Или я совершенно не представляю, как работают серверные материнки, как в них можно вставить драйвер для нового устройства.
хороший гайд
Да, действительно, это оказалось проще, чем я думал. Оказывается, UEFI состоит из томов, и их туда можно достаточно невозбранно вставлять.
Другое дело, что это шанс выстрелить себе в ногу, в посте даже красным цветом выделено, и я вряд ли решился делать это. С другой стороны, купил же я китайское железо, которое куда непонятнее этих NvmExpressDxe_4.ffs модулей...
Менее выигрышный, чем б/у supermicro или любое новое железо, которое тоже имеет шанс сломаться.
Топовым камнем под LGA2011 всё же был бы какой-нибудь Xeon E5-269* v2. Однако у этого TDP 135 Ватт, что намекает, что электричества они едят тоже немало.
E5-2667v2 или E5-1680v2
Другое дело если у вас система охлаждения не тянет, или блок питания, или шум… тогда это как критерий можно понять.
С точки зрения электросети – никакого. Но я пребываю в убежднении, что TDP прямо коррелирует с потребляемой процессором мощностью, а значит, и нагрузкой на силовые компоненты материнской платы.
Я не знаю, на какую мощность рассчитаны цепи питания процессоров и из какого качества компонентов они состоят, но разница между 105 Вт и 135 Вт около 20%. Но это всё равно несколько натянутый критерий, согласен.
Да без разницы сколько ядер на камне. На Haswell/Broadwell Интел использует FIVR — встроенные регуляторы на чипе, которые напряжением управляют для каждого ядра в отдельности.
А на сокете осталось только одно напряжение — 1.8в (не считая просадок). В результате на VRM при той же мощности ток очень прилично упал, по сравнению с теми 0.6-1.3 вольт, которые были раньше на сокете. Плюс номинал напряжения теперь только один, т.е. все мосфеты только на одно дело работают.
Имхо, у той же Jingsha X99 можно выкинуть половину фаз, и всё будет нормально.
Да, IPMI – штука хорошая, но я надеюсь, что не потребуется. Я хочу перенести заботу о восстановлении системы на софт, а здоровье железа – мониторить, как получится. Да и не будет оно на передел запаса прочности работать.
Посмотрел на ebay – вот самый дешёвый. И не факт, что не подорожает – всё же ebay аукцион. В два раза меньше оперативки и E5-2667 против E5-2690 за те же деньги. Ну, не могу сказать, что то же самое, но близко, да.
Сервер вышел достаточно тихим, чтобы его не слышать. По крайней мере, компьютер у меня шумнее.
Полностью согласен! Легче б.у. подобрать, я таких уже штук 5 в разные организации закупал, так там сразу всё в комплекте и ip kvm и райд. В последний (CISCO UCS-C220 M3 v2), даже поставил nvme ssd и quadro p2200 + sas диски, получился неслабый такой графический терминальный сервер. А колхозить на основе китая + "купил, что было" — так за 2-3 года что-нибудь нагнется с вероятностью 60-80%. А брендовые серваки лет 7-10 — поставил и забыл.
А вот ксеон второго поколения уже не выгоден: стоимость за попугая уже приближается к райзенам.
мне кажется это обобщение не удалось. поглядите на ценник 2650v2 или 2630v2.
passmark (cpubenchmark.net) дает 9989 для 2690 и 9937 для 2650v2…
: за те же 7к рублей можно взять китайскую плату с максимальными 256 гигабайтами оперативки
за 7 (ну может за 8) можно найти _новую_ серверную ASUS под два камня, 16 слотами DIMM и IPMI.
мне кажется это обобщение не удалось
Вы знаете, похоже, вы правы. Можно было взять более эффективные процессоры. Я плохо изучил, какие бывают. Взял несколько старших поколений, посмотрел, что они менее производительные в пересчёте на рубль – и решил сконцентрироваться на древних Sandy Bridge.
за 7 (ну может за 8) можно найти новую серверную ASUS под два камня, 16 слотами DIMM и IPMI.
Жаль, о таких даже не слышал. Если бы видел – подумал бы насчёт них, но под них наверняка надо покупать EPYC, а один такой стоит как половина итоговой системы.
А что это за модель?
Я вот задумываюсь об апгрейде домашнего ПК и всерьёз думаю взять не райзен, а китайскую сбонку на Зеоне: например, материнку HUANANZHI X99-TF с сокетом 2011v3, проц Intel Xeon E5 2678 V3 и 32 (может, 64) Гб серверной DDR4 памяти. Я получаю при этом дофига оперативы и много ядер. А в случае Райзена я получу за такие же деньги меньше ядер (хотя они будут более быстрые и более энергоэффективные), гигов 16 оперативы (хотя она и будет быстрая), ну и то, что всё новое и с гарантией локального магазина.
По мне так вариант с Зеоном всё равно интереснее. Общий тренд последних пятнадцати лет — многоядерность и многопоточность, и большое количество ядер мне кажется предпочтительным.
Я даже хотел собрать то, что собрал автор (двухпроцессорного монстра). В этом случае ещё больше ядер (правда, ещё более слабых), ещё дешевле серверная DDR3 оператива (которой можно за этот бюджет набить аж 64 Гб). Но меня отговорили, так как там будет медленная межпроцессорная шина и слишком слабая производительность на ядро, что для бытового и игрового ПК уже «не айс».
Но точно я ещё не решил, что собирать.
www.youtube.com/watch?v=GOkm2C0rk-w
Райзены есть и на 32 потока под AM4. Те же 64 гб влезут. И в производительности на поток на голову выше. У вашего же E5-2678 v3 в passmark всего 14 тысяч очков. У того же 3600 с 6 ядрами — почти 18 тысяч.
ИМХО, лучше взять что-то новое, что точно будет работать без бубнов, а не китайщину с возможными костылями и глюками.
Там по ссылке кулер для LGA 1151, а эта материнка под LGA 2011. Но это мелочь.
Я на самом деле планировал взять сопутствующие товары вроде кулеров на месте, а не надеяться, что оба заказа придут в одно время.
По мне так вариант с Зеоном всё равно интереснее
Я пошёл по этому пути, ибо он действительно интереснее. Одно дело – собрать готовый рабочий компьютер, другое дело – заняться сомнительной экзотикой. Оно не факт, что будет стабильнее, но интереснее в плане хобби.
Я вот задумываюсь об апгрейде домашнего ПК
Думаю, что для домашнего ПК разумнее брать райзены: производительность выше, но он прохладнее и на нём, как мне кажется, будет меньше проблем совместимости в играх, чем на платформе с NUMA и нетипичным железом. К тому же, для домашнего компьютера не столь важно количество потоков, чем для сервера с виртуализацией и кучей мелких приложений.
Главное чтобы не посетил отвал
Я вот задумываюсь об апгрейде домашнего ПК и всерьёз думаю взять не райзен, а китайскую сбонку на Зеоне: например, материнку HUANANZHI X99-TF с сокетом 2011v3, проц Intel Xeon E5 2678 V3 и 32 (может, 64) Гб серверной DDR4 памяти.
У меня уже больше 2 лет трудится Dell T3600 с 64Гб памяти и Xeon E5-4650L (камушек довольно экзотичный, но по мощности весьма недалеко от 2678v3, хоть он и из первого поколения).
Так вот — это хорошо, когда есть возможность купить все и задешево (мне все это в сборе обошлось в 450 евро с доставкой и 4 дня ожидания с eBay) и тогда Ryzen\TR только вышли, ценник был очень высокий и были проблемы с NUMA, но сейчас, тем более если самому собирать, то не смотря на все прекрасы — подкопите и купите Threadripper первого-второго поколения или Ryzen. Собственно я скорее всего поеду на новый TR, как толко подкоплю денег (негуманно они стоят третьей серии, но с точки зрения цена\производительность при наличии ECC памяти и большого количества PCIe линий аналогов у них нет).
Более того, 24 потока это конечно хорошо, но 16 при мощности на ядро сильно выше будут работать лучше во многих задачах, только если ваша цель не машина под виртуалки в большом количестве, тогда да, чем больше, тем лучше, а производительность на поток можно пережить.
На 80% более можный относительно 2678v3 (по попугаям) TR 1920x обойдется в 14300р по ценам computeruniverse (когда жил в России, заказывал комплектуху оттуда), 32 Гб ECC памяти еще в 11-13 тысяч двумя планками по 16, чтобы потом еще можно было докинуть так же 2х16 и получить четырехканалку полную, в зависимости от производителя.
Еще 18 тысяч будет стоить материнка.
Итого — 14300+13000+18000 = 45300.
При этом, если судить по немецкому ebay, E5 2678 V3 обойдется примерно в 11 тысяч при покупке из Китая, материнка еще около 10, память с алика DDR4 ECC reg 2x16Gb получается около 8 тысяч (хотя мне было бы очень страшно ее покупать оттуда, очень уж там много можно начудить по таймингам).
Итого — 11000+10000+8000 = 29000.
Сборка на Ryzen 3600 обойдется за те же комплектующие примерно в 32 тысячи рубелей по ценам CU (14к камень, материнка 8к, 10к память).
Да, разница c TR в 15 тысяч, но разница в производительности — 80%, не говоря уже о том, что все будет новое, точно рабочее, материнки еще будут поддерживаться (камни под TR4 еще официально продаются AMD и являются частью актуальной линейки) и камень в будущем можно апгрейдить вплоть до 2990x, аналогов которого по мощности просто не существует для 2011v3.
А с Ryzen разница вообще не существенная, поэтому если нет ощущение что ECC память точно нужна — можно вполне идти с ним, благо там хороший сокет и при желании в будущем можно воткнуть даже 3650x, который уделывает в труху вообще все вышеперечисленное.
И что, у народа часто бывают проблемы с серверной памятью с Али?
ECC is not disabled. It works, but not validated for our consumer client platform.
Validated means run it through server/workstation grade testing. For the first Ryzen processors, focused on the prosumer/gaming market, this feature is enabled and working but not validated by AMD. You should not have issues creating a whitebox homelab or NAS with ECC memory enabled.
Yes, if you enable ECC support in the BIOS so check with the MB feature list before you buy.
Лично у меня стоит 3900X на ASUS Prime X570 — в настройках BIOS переключатель ECC присутствует. Но у меня память обычная, поэтому для меня он бесполезен (Auto\Disabled).
1) Не стремно использовать б/у, да еще и китайское?
2) Где вы взяли такие суровые челябинские децибелы?
По тексту — «с видеокартой уровень шума был на уровне 27-30 децибел, а после установки операционной системы уровень шума сервера снизился где-то до 8-14 децибел.»
8 децибел — это примерно писк комара, 14 — то, что в быту называют тихой комнатой, а 27-30 — это примерно «а что там в углу шуршит», а не «какая же она громкая»
Не стремно использовать б/у, да еще и китайское?
Оно наверняка нестабильно. С другой стороны – эти процессоры продают не потому, что они стали глючить, а потому, что их владельцы решили обновить парк машин. И я уверен, что ресурс у них изношен не до конца и ещё лет пять они проработают.
А китайское – у нас больше половины электроники производится в Китае, не важно в каком. И большой разницы в том, будет это материнская плата Asus или фирма с таким же осмысленным названием Huananzhi – не суть важно. Но китайцы могут сэкономить на диодах-предохранителях ещё на этапе проектирования, да. Но проектировать они уже должны были научиться, всё же уже не первый год реверсят технологии, могут уже создавать свои платы достаточно надёжными для повседневного использования, мне кажется.
Где вы взяли такие суровые челябинские децибелы?
Замерял двумя разными телефонами. Да, они совсем не подходят на роль точного измерителя уровня акустического шума, но, кмк, это лучше чем сказать "видеокарта в сервере была настолько шумная, что вынув её, стали слышны доносящиеся с улицы звуки."
Впрочем, этот пассаж можно было вообще выкинуть, он к делу мало относится. Но я просто зафиксировал малозначимый факт, что без шума временной видеокарты мне стало комфортнее.
ресурс у них изношен не до конца и ещё лет пять они проработают.
Лет 20 еще они проработают. Сижу смотрю на MacPro 1.1 (на сток дуалкорах X5150, 2006 год), в который завтра вонзятся E5345
Нет, особо сильных задач не планируется. Разве что раз в полгода-год нагрузочное тестирование чьего-нибудь пет-проекта, но подобное было пока что только один раз.
Кстати, что используете для мониторинга сервера? Я смотрел в сторону заббикса, но быстрый гуглинг выдал красивые бесплатные(кажется) опенсурсные eZ Server Monitor(и терминальная версия) и Netdata.
Насколько помню, основная беда китайских матерей — это то, что у них проблемы со спящими режимами.
Да, хочу замерить, но единственная "умная розетка", способная замерить напряжение и силу тока на входе в блок питания, оказалась уже год как сослана на дачу – а туда со всем происходящим сейчас в мире, попасть не так просто.
Когда замерю – сообщу.
Сколько я уж видел подобных сообщений на форумах… Надеюсь, я действительно напишу сюда, когда замерю потребляемую мощность.
У старого сервера потребление почти без нагрузки было чуть выше 25 Ватт, у нового – порядка 70 Ватт.
Кривой китайский ваттметр рапортует о пяти делениях в неделю, с ценой деления 1 кВт*ч. Наверное, это значит, что старый сервер преобразовывал в тепло 5000 ± 500 Вт*ч. То есть 29.76 ± 2.976 Вт*ч в час, что похоже на 25 Вт. Показания ваттметра бьются сами с собой, что уже хорошо. :)
А более точную потребляемую мощность нового сервера опишу уже во второй части, когда она будет готова.
aik
Как следствие из цели, оборудование должно иметь одно из лучших соотношений «попугай/рубль»Насколько корректно считать это соотношение для каждой отдельной части, а не для всего компьютера в сборе?
Например, сейчас у вас комп даёт 0.33 процессорного попугая/рубль.
Стоимость процессора у вас 10 тыс рублей, т.е. 20% от всего компьютера. Если взять, допустим, AMD Ryzen 9 3900X c 32.887 попугаев за 432$ = 32 тыс руб, то сам процессор будет втрое дороже — но сборка подорожает только на 22 тыс руб, так что отношение процессорные попугаи/рубль — станет 0.41, т.е. существенно улучшится.
Да, считать попугай/рубль определённо имеет смысл и для всей системы. Только тогда надо для неё же посчитать объём оперативки/рубль и объем диска/рубль, иначе этот показатель перестаёт быть объективным для оценки производительности системы, как мне кажется. Им слишком легко манипулировать, посудите сами: убрав три планки оперативки (-14к рублей) и поставив систему не на NVMe SSD, а на старый 80 GB HDD (-10к рублей), можно поднять отношение процессорных попугаев к рублю с 0.41 до 0.59.
Так что мне кажется корректным считать этот показатель для всей системы только когда мы считаем и другие для всей системы в целом.
Кстати, если мы их каким-то образом нормализуем и установим веса для этих трёх показателей в зависимости от того, в какую сторону перевес нам действительно нужен, можно будет найти локальный максимум среди множества всех доступных систем и сказать "эта самая дешёвая в пересчёте на рубль". Осталось только понять, откуда получить данные о компьютерных компонентах и как учитывать их совместимость. Это уже что-то из теории графов, похоже.
Только тогда надо для неё же посчитать объём оперативки/рубль и объем диска/рубльНе знаю специфики вашего конкретного использования, но обычно для оперативки считать показатель «объём/рубль» вообще некорректно — нужно считать «полезность/рубль», а для оперативки она резко ступенчатая, причём предельная полезность очень быстро приближается к нулю.
Что касается выбора процессоров при всей дешевизне AMD у моего поколения остались воспоминания, когда хоть что-то из софта хуже работало на AMD.
Да тот же эмулятор андроид студии, чтобы далеко не бегать. Только сейчас подпилили.
Как говорится ложечки нашлись…
Поэтому при всех отношениях процессорные попугаи/рубль я 100500 раз подумаю перед тем как AMD взять под промышленную нагрузку.
Для дома для семьи конечно вполне возможно.
По теплу раньше тоже AMD далеко проседал
Плюсую за Proxmox VE на этом сервере. Удобно, надежно (zfs же), универсально (привет, vmware).
По винтам — только не wd red с их SMR. На хабре есть статья по этому делу.
P.s. В догонку. Если надо оч быстро. Не знаю, умеет ли ваша матплата разваливать PCi-E x16 на x4+x4+x4+x4, но в природе существуют такие адаптеры как ASUS Hyper M.2 X16, ASRock Ultra Quad M.2 Card или «китаец» JEYI iHyper SSD 4x M.2 NVMe to PCIe Adapter (JP84A) Попробуйте поискать БИОС на 4pda.
0. CPU и chipset должны уметь vt -x + vt-d в случае с intel или SVM + IOMMU для AMD.
1. Обновляем БИОС.
2. Вкл. vt-x и vt-d для intel или SVM + IOMMU для AMD в настройках BIOS матплаты.
3. Устанавливаем (рекомендую ZFS — умеет из коробки), обновляем, перезагружаем Proxmox VE.
4. В shell от root-а:
if dmesg | grep -E -q "(IOMMU|DMAR)"; then
grep -iqw "vmx" /proc/cpuinfo && echo 'GRUB_CMDLINE_LINUX_DEFAULT="$GRUB_CMDLINE_LINUX_DEFAULT intel_iommu=on"' > /etc/default/grub.d/iommu.cfg
grep -iqw "svm" /proc/cpuinfo && echo 'GRUB_CMDLINE_LINUX_DEFAULT="$GRUB_CMDLINE_LINUX_DEFAULT amd_iommu=on iommu=pt"' > /etc/default/grub.d/iommu.cfg
echo 'GRUB_CMDLINE_LINUX_DEFAULT="$GRUB_CMDLINE_LINUX_DEFAULT pcie_acs_override=downstream,multifunction"' > /etc/default/grub.d/pcie_acs_override.cfg
fi
update-grub5. Перезагружаемся.
6. Проверяем возможность проброса PCI(-E) уст-в в настройках ВМ в web gui Proxmox-а. Должно работать в ВМ и для UEFI и для Legacy BIOS.
Это также позволит пользовать SR-IOV (для сетевых от интел и броадком, напр.), если такая возможность имеется.
Зы. Мне попадались дешевые матплаты для АМД (чипсет b320 и выше), к-ые умели SR-IOV в БИОС. У Интела с этим сложнее.
for module in vfio vfio_iommu_type1 vfio_pci vfio_virqfd; do
grep -qx "${module}" /etc/initramfs-tools/modules || printf '%s\n' "${module}" >> /etc/initramfs-tools/modules
done
update-initramfs -u -v -k allИ перезагрузиться.
Далее www.facebook.com/notes/chris-hsiang/pve-42-如何開啟-intel-nic-sr-iov-以及-passthrough/10209002585332379. Переводчик в помощь.
график процессоров рассеиваемая мощность на попугай. И там и там старый I3 вроде как на самом верху. Что мешает просто умножить на 4
Ну, тех i3-2130, что упомянуты в посте, потребуется штук 10, чтобы покрыть разницу в попугаях. (2x e5-2690 – 18967 попугаев, i3-2130 – 1839) Мощность выделения теплоты – плохой показатель, я всё же не обогреватель собираю. И не факт, что если их объединить в кластер, выйдет такая же производительность, и потребуется ещё пара корпусов под кроватью для управления им.
Зачем нужно лезть в Китай, или куда там еще, покупать что-то бэушное, жутко греющееся с двумя супербашнями кулерами
Достаточно производительный гибкий сервер, который не особенно жалко. Под гибким я подразумеваю, что на нём можно пустить как большую задачу на полдня и задействовать 80% его мощностей, либо сотню-другую фоновых мелких задач, либо что-то посередине: десяток фоновых задач и изредка глобальные задачи. Зачем гибкость – я не знаю, что именно мне потребуется в ближайшие лет пять. Вряд ли что-то особенное, но приятнее иметь запас.
Ну, и самая решающая причина – хобби. Оно уже года три зудит "купи себе бесплатно нормальный сервер, будешь на нём Пентагон взламывать." Теперь успокоилось. (правда, зря оно успокоилось, я же его настраивать ещё не начал. >_<)
Знакомый, для своей небольшой фирмы, уже купил, 2 сервера, сетевое оборудование и комплектующие к ним, доволен как слон. (Где он брал, не подскажу, мельком глянул на InJapan, есть неплохие варианты, может есть у кого опыт заказа с Японии)
Посмотрим с чем его едят. ))
З.Ы. А так то да- интел, асус, супермикро- все это прекрасно и гораздо лучше, но- дорого. А вот на счет амд- не уверен. Погонял тут Threadripper 2970WX- и если честно- мне не очень понравилась стабильность, некие микрофризы в отзывчивости интерфейсов итп мелочи… и это при цене компа более 120тр
Дешёвый сервер из китайских запчастей. Часть 1, железная