Серверная платформа SuperMicro SYS-5017A-EF или виртуализация на атоме (Часть 1)



Я давно являюсь поклонником энергоэффективных и компактных решений на платформе Mini-ITX и Barebone систем, на этот раз я решил перевести все домашние подсистемы на выделенный сервер. Выбор пал на новый атомный SoC процессор S1260 для серверов. Две недели ушло на поиск поставщика в Тюмени, т. к. единственный сервер на этом процессоре официально в Россию ещё не поставляется. И вот, примерно две недели назад мне пришла замечательная платформа от Supermicro на первом Atom cерверной линейки с поддержкой аппаратной виртуализации, VT-x и VT-d. Материнская плата обладает встроенным IPMI2.0 контроллером с выделенным Ethernet портом и управлением через iKVM. Сервер заказывался в следующей конфигурации:

Компонент Модель Цена
Платформа SuperMicro SYS-5017A-EF 18860 р.
Крепеж для вентилятора MCP-320-81302-0B 275 р.
Шасси для жёсткого диска 2х2.5 (2 шт.) MCP-220-00044-0N 275 р.
Память оперативная Transcend TS1GSK72V3H-I 6000 р.
Серверный жёсткий диск Western Digital WD20NPVT 6676 р.
Серверный SSD диск OCZ D2CSTK251A20-0060 4329 р.


Итого весь сервер обошёлся в символическую сумму 36690 деревянных. Время ожидания — 7 недель и приехала память, ещё неделя — сам сервер с потрохами. Жёсткого диска пришлось ждать ещё три недели, хотя в Тюмени он был в то же время что и сервер. Поставщики заартачились с доставкой.

Основная цель покупки домашнего сервера — перенос функционала хостинга, телефонии, файловой помойки и интернет шлюза с сетевого хранилища DS411Slim на выделенные виртуальные машины, с целью повышения производительности и последующего масштабирования (GSM шлюз для Asterisk, полноценное LVM окружение, управление ресурсами и т. д.).

Традиционно привожу фотографии распаковки (unboxing) сервера (кликабельны). Прошу извинения за качество некоторых фотографий, т. к. фотограф из меня аховый, а супруга на момент распаковки была в Сургуте.

Платформа в коробке:



Содержимое коробки: Инструкция по сборке и установке, два кабеля питания — евро и американка, стяжки и набор крепёжных болтов для серверной стойки. Рельсы не заказывались, т. к. установка сервера будет настенной. Сам корпус сервера половинной глубины (HalfDepth) и весит всего 4.5 килограмма в сборе.


На лицевой стороне сервера ничего лишнего — индикация, кнопки питания, сброса и вентиляция. Рёбра у сервера — это отдельная тема разговора, они хорошо перфорированы по низу, сказывается проектирование корпуса для пассивного охлаждения.


Индикация крупным планом — индикатор сервера в стойке (включается через IPMI), индикаторы сетевой активности, жёсткого диска, питания и две кнопки — сброса и включения соответственно.


На задней панели мы видим единственный вентилятор блока питания, RS232, два порта USB3.0, три 1gE сетевых порта, один из которых зарезервирован для IPMI и DSUB видеовыход.


Сам сервер в сборе выглядит довольно компактно. Нет той мешанины воздуховодов и штабелей вентиляторов, которые мы привыкли видеть в серверах HP, охлаждение пассивное, что и следовало ожидать от процессора с TDP 8.5 ватт. И да, питание на материнскую плату заводится 20и пиновым ATX разьёмом, не 24+4 как на классических атомных платах.
На материнской плате присутствует впечатляющее количество джамперов для тонкой настройки, с помощью них можно включать и отключать такое оборудование, как например VGA контроллер. Вообще Supermicro постарались сделать платформу так, чтобы можно было снизить потребление сервера до минимума, оставив только необходимый функционал.


Все комплектующие сервера — крепёж для вентилятора, память, шасси, и SSD диск. Крепёж для вентилятора брался на всякий случай, если придётся охлаждать жёсткие диски (их всего четыре, два терабайтных диска перекочевало с сетевого хранилища).


Несмотря на марку Transcend и промышленный класс памяти я не избежал брака — ошибка работы в верхнем сегменте (стабильное зависание сервера при тесте памяти в области 6-8 гигабайта).


SSD диск от OCZ Deneva 2 позиционируемый для серверов имеет объём 60 гигабайт (именно гига, в гибибайтах он значительно меньше), выполнен по технологии Asynchronous MLC и официально обеспечивает скорость передачи данных 500 мегабайт/с. Реально показатель составляет около 480 мегабайт/с на чтение/запись, что довольно неплохо. Диск планируется использовать в качестве кэша на аппаратном контроллере с технологией HyperDUO.


Жёсткий диск для серверов от Western Digital класса Green, специально предназначен для файловых хранилищ и серверов с пассивным охлаждением. Он отличается низким уровнем шума и тепловыделением при большой ёмкости, и скорости работы, обеспечивая скорость чтения/записи 135 мегабайт/с, при объёме 2 терабайта. За такие характеристики приходится платить повышенной толщиной жёсткого диска. Из за толщины 15мм в ноутбуки такой жёсткий диск установить не представляется возможным, даже в MacBook в который влазят его терабайтные и полуторатерабайтные собратья.


Блок питания сертифицирован согласно классу Gold Plus и обладает суммарной выходной мощностью 200 ватт. К слову переферийное оборудование может подключаться до 50и ватт, но реальное потребление платформы не превышает 16и ватт под нагрузкой при использовании жёсткого и SSD диска, согласно американским тестам.

В заключение: На текущий момент сервер проработал две недели, в ходе эксплуатации были выявлены периодичные зависания сервера под нагрузкой. Прогон тестов показал зависание на тесте памяти в области 6-8 гигабайта (заводской брак Transcend), тестирование проводилось разными версиями memtest, включая 5.0RC. В связи с заменой памяти, виртуальные машины переведены на домашний комп под управлением Core2Duo E7500, субьективно виртуалки работают тормознее чем на атоме, может быть из за используемой памяти DDR2.

Как приедет новая память — выложу результаты тестов UnixBechmark и Phoronix Test Suite на физическом и виртуальном окружении.

Любые вопросы и критика приветствуются.
AdBlock has stolen the banner, but banners are not teeth — they will be back

More
Ads

Comments 47

    –2
    Интересный обзор, спасибо.
      0
      Ну раз приветствуются:

      1) WD green — осыпится через несколько месяцев гарантированно
      2) Зачем ставить 2.5 дюйма когда без проблем встанет и 3.5 дюйма
      3) Вообще дорого для АТОМа вышло. Можно Corei3 собрать за эти деньги.
        0
        1) Посмотрим как покажет себя этот индивид в эксплуатации — давно использую 2.5 дюймовые диски WD и Hitachi.
        2) 2.5 дюймовые диски намного тише, сервер эксплуатируется на стене лоджии которая одновременно является спальней — отсюда требования к уровню шума. Плюс на сервер переехали диски с сетевого хранилища (тоже 2.5 дюймовые).
          +1
          Ну пусть 2.5 — но не green, а black или red или RE в 3.5 дюйма

          В общем тут надо выбирать либо данные — либо тишина. SSD отлично решает проблему тишины. Цена — да — дорого.
            0
            Green три года уже отработал на home pc. Без проблем вообще. Работает комп много. Не скажу что 24\7, но часов 16-18 почти каждый день.
              +1
              В home pc — да. В сервере — нет. У нас в 20 серверах с разным сроком закупки были грины — ни один не дожил нормально до полугода.
                0
                А, так-же, по своей практике, не советую грины ставить в видеорегистраторы, сыплются стабильно…
                В моей фирме, когда мне передали сети безопасности в подчинение, настали такие времена, когда все сыпалось через одно и то же время после монтажа. Закупали все оборудование по тендерам для государственной конторы не разбирающиеся в этом люди.
                  +1
                  У гринов проблема, любят засыпать быстро. Почему и грины собственно.
                  Вот и убивает их раскрутка-торможение.
                    0
                    Намёк понял, спасибо. Покопаю винт сервисной утилитой перед вводом в эксплуатацию.
                      +1
                      idle3-tool нам в помощь, и всё будет в порядке.
          0
          3) В конце концов это серверный Atom, и бесшумный сервер на Corei3 для настенного монтажа собрать значительно сложнее.
            –1
              0
              • Всего 4е гига памяти.
              • Куда туда запихнуть жёсткий диск?
              • Где поддержка аппаратного SSD кэша (кроме дисков с аппаратным кэшем со стоимостью как у звездолёта)?
              • Какой гипервизор туда ставить?
                0
                1) расширяется до 16Гб
                2) можно запихнуть внутрь вместо стандартного (рейд не собрать конечно)
                3) см. Fusion Drive
                4) VirtualBox, Vmware Fusion, Parallels

                Но скорее всего это получится несколько дороже, чем вариант с супермикрой :)
                  +1
                  Можно при желании на на Mac mini собрать. Для эстетики. Для этого нужно найти Mac Mini Server предыдущего поколения (который с 2 HDD) ~ 35т.р. за i7 + купить оперативки

                  — Один HDD меняем на SSD
                  — Далее ставим туда ESXi и используем SSD-диск как кэш на уровне VMware (оно вроде умеет).
                  — Если VMware не «взлетит» по какой-то причине, ставим Linux и делаем не нем все что душе угодно, Tiering можно задействовать с помощью btrfs

                  Единственное огорчение — 1 LAN-порт.

                  Кстати, Вы какой гипервизор ставили на свой сервер? Какие гостевые ОС?
                    0
                    По гипервизору развёрнуто ответил ниже. ESXi не взлетает на этой платформе, пробовал Xen 4.2 и KVM от ядра 3.8, остановился на KVM, тк. живая миграция машин в кластере пока не планируется.

                    По поводу SSD кеша — можно и софтовым рейд массивом в линукс сделать (зеркало с приоритетом для SSD), хотя для SSD как раз лучше btrfs или nilfs2 использовать. Кстати у мелкомягких в Windows 2012 R2 появилась новая файловая система, ранее разрабатываемая WinFS, ныне ReFS.
                      0
                      Чтобы работала живая миграция в native-режиме, нужно, чтобы процессоры поддерживали одинаковый набор инструкций.

                      А работает она и на Xen, и на KVM. KVM вы выбрали правильно — развивается он активнее и работать должен быстрее. Кстати, Вам стоит использовать KSM, раз у Вас несколько VM с Linux.

                      Поставить можно было и Hyper-V сервер — с Linux работает не хуже KVM (видел бенчмарки, где RHEL под Hyper-V работает быстрее чем на KVM и VMware), а с виндой явно лучше.

                      Сомневаюсь, что Вы получите большое удовольствие от развертывания Testlab с 2012R2 на этом сервере — все же, я бы на вашем месте арендовал с кем-нибудь на пару дедик в каком-нибудь OVH — по минимуму по 1500/месяц с человека — 4х-ядерный Xeon, 32Гб оперативки, аппаратный RAID, 200Мбит/с в Интернет — www.ovh.com/fr/serveurs_dedies/sp-bestof.xml
                        0
                        Hyper-V требует лицензии. Если брать даже стандартный Hyper-V Core который бесплатен — с Power Shell много не навоюешь, нужен или дистрибутив Windows 2012, Windows 8 Enterprise или SCVMM консоль (которая опять же требует Windows Server и стоит не дёшево.
                          0
                          Ну Вы в любом случае собирались ставить Windows :)
                          Вы правда дома покупаете лицензии на все?
                            0
                            Да, покупаю, у меня даже XP Pro коробочный.

                            Windows (Evaluation + виртуалки от курса) я собираюсь ставить на виртуалку в тестовом окружении для прогона майкрософтовских курсов. Благо есть поддержка гостевой виртуализации.
            0
            Итак, за 4е года эксплуатации — винт таки начал сыпать бэды при чтении/записи, диагностика S.M.A.R.T. показала что всё в порядке. Почесал тыковку, снял винт, открутил печатную плату — оказалось WD сэкономили копейки на меди, и контакты окислились до невменяемого состояния. Протер ластиком, полет нормальный.
            0
            Один вопрос: почему атом, а не i3? Разницы по потреблению особой не будет, а вот производительность будет кратно различаться.
              0
              Несколько причин:
              1. У i3 TDP колеблется от 35и ватт у мобильной серии, и до 65и ватт у десктопной.
              2. Память у них только 800/1066, ECC не поддерживается
              3. Вроде как нет поддержки VT-d
              • UFO just landed and posted this here
                  0
                  VT-d — это технология виртуализации в IOMMU, то есть защита управляющего домена и гипервизора от шаловливых ручек гостей, перепрограммирующих dma-контроллер по своему усмотрению, то есть указывая там «свои» адреса, а не машинные.

                  Теперь вопрос: вы планируете делегировать pci-устройства гостям? Если нет, vt-d нафиг не сдался.

                  Что же касается tdp — речь про максимум. Минимум — единицы ватт. Говорю как обладатель x220i на базе i3, у которого idle режим (с включенным на минимальную яркость экраном и активным wifi) — около 5-6Вт. При прочих равных машина на i3 греется меньше, чем на атоме. Потому что у атома всё горячее в южном мосту, а по энергоэффективности вычислений i3 выше (то есть заданный объём вычислений i3 сделает с меньшим нагревом, чем атом).
                    0
                    1. Таки планировалось, но похоже придётся использовать метод «операция на ухе проводилась через задний проход».
                    2. В этом атоме нет южного моста, всё в проц вшили. Что будет дальше — боюсь представить — обещали Ethernet и KVM в процессор вшить.
                0
                Поправка. VT-d таки не поддерживается, это фича топовой линейки ксеонов и i7 у интела. S1260 поддерживает VT-x и EPT (хотя в ARC и не указано — есть в спеках на проц). В частности должен уметь гостевую виртуализацию (в планах гонять на виртуалке Hyper-V для майкрософтовских курсов).
                  0
                  Скажите, а есть ли существенный прирост в производительности при использования VT-d?
                    0
                    По сути VT-d это технология, которая позволяет отдать физическое устройство на PCI шине любой виртуалке. Если брать сетевые адаптеры — то это ~3-10% прироста. Не так много. Реально технология позволяет поддерживать то оборудование, на которое нет драйверов в хост системе, или запускать специализированные виртуальные машины. В моём случае это GSM шлюз для Asterisk. Использование VT-d препятствует живой миграции машин в кластере (Xen, VMWare).
                  0
                  Корпус симпатичный, использую такие по работе для размещения в удаленных небольших офиса NAS для резервных копий. Компактно, пусть и немного дорого, начинка там обычная интеловская мамка с атомом, так как требования невелики. По надежности винта — резервные копии думаю автор делает, гарантийник сохраняет. У меня штук 8 WD этой серии работаю нормально.
                    0
                    Хотел человек сервер на атоме, получил.
                    То что обычных комплектующик он был бы в разы понятно. Но тут главное «хотел на атоме»
                    я думаю автор прекрасно осозновал про производительность.

                    Но наверно было интересно на что способен атом.
                    Да мне тоже интересно на что способен.

                    К тому же я похожую конфигурацию тоже бы купил под нечто похожее. Надо в одном месте держать всего 2 ВМ.

                    Все мы ждем тестов.

                    Я так понял там 2 Гбитные сетевые. За сеть отвечают какие-то микросхемы или все цп завернули.
                    Как падает производительность CPU от нагрузки на сеть и\или дисковую подсистему.

                    Какой сейчас гипервизор, и что крутите, как нагружаете.
                      0
                      В связи с браком памяти сервер пока выведен из эксплуатации, но предварительно отвечу:
                      Сетевухи там не такие топорные как ставятся в чипсеты, но и не триком (не в проце, в проце обещали в Avoton) :) А если серьёзно, то вот что могу сказать по памяти за две недели эксплуатации на битой линейке:
                      1. Пробовал Xen 4.2 и KVM, остался на KVM от ядра 3.8, т.к. разницы в производительности нет, кластер я поднимать не собираюсь и на текущий момент Xen 4.2 плохо дружит с XAPI. Использую маппинг физической модели процессора с маппингом HT потоков где это нужно, например Asterisk.
                      2. Крутится 4е ВМ на 1.9 гигабайтах памяти, ещё 6 гиг свободно под виндовс виртуальные машины (для работы, тем более сейчас Server 12 R2 вышел и Windows 8.1, скоро линейка курсов будет, нужно погонять а не на чем — на работе всё занято). В простое (минимальная нагрузка 20ю торрентами на раздече, интернет шлюз, телефония, хостинг с постоянно что то сканящим гуглботом по разным сайтам) выходит около 3-5% загрузки ЦП всего сервера. При активной закачке торрента в 160 потоков на соединении в 50 мегабит получаем где-то 6.3 мегабайта/с (что несколько выше 50 мегабит) при загрузке ЦП виртуалки 50-60%. Реальная загрузка процессора при этом колеблется в районе 30%. Маршрутизация построена на отдельной виртуальной машине которой выделен физический интерфейс смотрящий в сторону провайдера (WAN) и 9ю виртуальными сетевыми интерфейсами часть из которых представляет собой виланы. Умный роутер от длинка DIR-655 (убил бы) отсекает тегированый вилан идущий на WiFi что благо с точки зрения безопасности.
                      3. Дисковый контроллер используется с аппаратной реализацией RAID 0,1 и HyperDUO (использование SSD в качестве кеша или горячей зоны в страйпе, второй метод не безопасен но обеспечивает максимальную производительность), соответственно нагрузка была бы минимальна, если бы не LVM. Так iowait под нагрузкой плавает от 30 до 70 процентов (резервное копирование сайтов, установка софта), в торрентах не замечено вообще.
                      4. Очень жду когда приедет новая память, сертифицированную поставить не могут — только штаты. Хочу сделать замер на своём домашнем Core2Duo и на серверном Атоме, сравнить результаты. Ну и выложить результат тестирования разработчикам бенчмарка — пока тестов этого проца нет.
                      5. На закуску будут фотографии размещения сервера (в принципе уже есть но статью писать пока рано, т.к. графиков производительности и температурного замера пока нет. При работе температура внутри корпуса порядка 50 градусов, температура ядра не выползает за пределы 80 градусов (при этом радиатор остаётся едва тёплым на ощупь). Основной греющийся и шумящий компонент — блок питания.
                        0
                        Если нагрузка не очень большая — возьмите Микросервер от HP. Для небольшого офиса до 5 человек нормально тянет тонкие клиенты. Память 16 Гб.
                      • UFO just landed and posted this here
                          0
                          новом celeron P1053
                          он очень даже не новый и тянет за собой не очень таки маленькую и совсем не тихую платформу на 34х0
                          • UFO just landed and posted this here
                          –3
                          А зачем для IPMI целая выделенная сетевушка? Или её можно использовать нормально в системе, и просто на ней плюсом еще будет IPMI доступен?
                          Просто помню на HPшных серверах IPMI запускался в выделенный для него VLAN и не мешал ни кому и отдельную сетевушку не просил.
                            +1
                            Здесь реализовано отдельным интерфейсом, но есть возможность переключить и на VLAN в существующем Ethernet интерфейсе. Просто здесь под IPMI выделен отдельный чип со вшитым линуксом. У супермикро всегда было две реализации удалённого управления.
                            +2
                            Не понимаю, зачем нужно это барахло для дома на СЕРВЕРНОМ АТОМЕ, да еще и за такие деньги.
                            Вместо этого можно было купить hp microserver или собрать что-то тихое на i3, да еще на мощный игровой тазик деньги останутся.
                            • UFO just landed and posted this here
                              0
                              Спасибо за обзор, выскажу личное мнение. Сервера супермикра — редкостная дрянь, не стабильны, глючны и быстро выходят из строя, wd-green еще большая дрянь живущая под нагрузкой пару месяцев. Доверить этой сборке свои данные — все равно что сразу забить гвоздь в винчестер.
                                0
                                т.е. на самосбор вы мамки не посоветуете «SuperMicro »?
                                Tyan у нас в город особо не возят
                                  0
                                  У нас в ДЦ около 30 серверов супермикр, проблемы со всеми, где-то рейд-контроллер неадекватен, где-то IPMI на стролько глючный, что приходится ставить отдельный IP-KVM. Рандомные зависания с разными ошибками или вообще без них, самые проблемные сервера из всех вендоров, потихоньку стараемся избавляться и ждем того счастливого момента, когда их не останется вообще. Сейчас если передо-мной будет выбор взять супермикру или, например, самосбор на мамке gigabit SOHO уровня на домашних комплектующих — выберу дешевый самосбор, у супермикр цена совершенно не соответствует качеству. Все сказанное ИМХО.
                                0
                                А можно фоткой место размещения сервера?
                                  0
                                  Можно, будет в следующей части, более подробно. Пока сервер ждёт замену памяти фотать нет смысла. Предварительно — сервер за левой панелью, по центру пятипортовый свитч, место справа — вакантно.
                                    0
                                    Есть огромная просьба, проверьте пожалуйста, перезапускается ли IPMI при перезапуске сервера.

                                    У SYS-5015 есть отвратительный баг, если сервер перезагрузить, то перезапускается BMC. Соответственно невозможно выбрать устройство для загрузки в BIOS по IP-KVM встроенном в IPMI.
                                      0
                                      Не увидел Вашего коммента. Такого бага не замечал, при ремтарте сервера IPMI не перегружается, как и при рестарте IPMI не происходит перезапуска сервера. С нетерпением жду выхода denverton и broadwell процессоров от Intel.

                                    Only users with full accounts can post comments. Log in, please.