HP DL120 G7 — вторая жизнь сервера



    Привет Хабр! За бортом 2017 год и на рынке доступны новые сервера поколения HP G9, а скоро думаю появятся и HP G10.

    Но «денег нет», и вы приняли решение купить БУ сервер или провести оптимизацию существующего парка серверов. И в этом случае я хочу обратить ваше внимание на пару моментов связанных с дисковой подсистемой сервера HP DL120 G7.

    Сервер уже пару месяцев лежал на складе после закрытия филиала, и я решил сделать из него что-то полезное в виде файлового хранилища.

    Мне достался сервер 628692-421 c хот плаг дисками 3,5(4 шт), процессором Xeon E3-1240, 16гб рам и контроллер Smart Array P212/256MB c дисками SAS 10k 400GB.

    HP Smart Array P212


    Этот контроллер можно встретить почти во всех серверах HP поколения G5/G6/G7. Список серверов можно найти на сайте HPE QuickSpecs.

    Если в сервере установлен опциональный контроллер Smart Array, вы сможете мониторить состояние дисков через ILO3.



    На скриншоте вы можете наблюдать состояние диска HGST HTS721010A, устанавливая не оригинальные диски в сервера HP вы рискуете получать не достоверную информацию про диски. В данном случаи не правильно определяется температура диска, в результате сервер выводит обороты вентиляторов на 100% скорости и серверная превращается в пилораму.

    Вывод № 1 – не все диски одинаково полезны, «выбирайте оригинальные диски HP».

    По умолчанию контроллер HP Smart Array P212 кэширует только операции чтения, а для включения кэширования операций записи рекомендуется установка Battery Kit.



    При отсутствии Battery Kit есть вероятность потерять данные при отключении электричества. Если вы включили кэширование операций записи без батарейки — делаете это вы на свой страх и риск.

    Если вы не включите кэш на запись — HDD будут показывать результаты по скорости заметно ниже. Большой кэш на чтения ощутимого влияния на результат не даст.

    Давайте посмотрим на то как настройки кэширования влияют на скорость.


    В качестве попугаев я выбрал скорость клонирования VM размером 38 ГБ.

    1 — Копирование с диска SAS 10k на диск SATA 7k
    2 — Копирование с диска SAS 10k на диск SAS 10k(2,5inch)
    3 — Копирование с диска SATA 7k на диск SAS 10k
    4 — Копирование с диска SATA 7k на диск SAS 10k(2,5inch)
    5 — Копирование с диска SAS 10k(2,5inch) на диск SATA 7k



    Вывод № 2 – отдавайте на запись не менее 50% от размера кеш памяти.

    Про SAS диски


    Обратите внимание на копирование между SAS 10к дисками, в некоторых случаях 10к проигрывает 7к SATA дискам.

    Стоит признать что локальные диски SAS 10k в серверах все менее актуальны, эти диски не могут конкурировать по количеству операций с SSD.

    HP Smart Array P212 + SSD


    В серверах у меня все еще нету SSD и я решил посмотреть как не самый новый Smart Array контроллер переживет подключение SSD.

    У меня был один единственный SSD Kingston SHFS37 на 120 ГБ который я вынул из ноутбука. Хочу сразу отметить что для серверов необходимо выбирать SSD с защитой от пропадания питания, такая защита заявлена производителями в дисках Intel DC и Kingston KC400.

    SSD определился и его состояние можно наблюдать через ILO3.



    Тестирование SSD


    1,2 — Копирование с диска SATA на диск SSD
    3,4 — Копирование с диска SSD на диск SATA
    5,6 — Копирование с диска SATA на диск SATA
    7,8,9 — Копирование с диска SSD на диск SSD



    Если отключить кэширование записи, потеря скорости SSD не заметна, в то время как SATA HDD заметно проседает.



    Вывод № 3 – SSD показывает отличную скорость и его можно использовать без кэширования операций записи.

    HP Smart Array B110i


    Если опциональный HP Smart Array контролер отсутствует в сервере, диски будут работать с контроллером на материнской плате HP Smart Array B110i. К B110i можно подключить только SATA диски.

    HP Smart Array B110i Можно встретить в серверах HP ML110, ML150, ML330, DL120, DL160, DL180, DL320 поколения G6, и в серверах ML110, DL120, DL165 поколения G7. Также этот контроллер встречается в некоторых серверах серии SL.

    Контроллер по умолчанию работает в режиме SATA Legacy, сразу отмечу что это не самый удачный режим, с такими настройками диски будут работать очень медленно.

    По умолчанию кеш дисков отключен, если вы его включите есть вероятность потерять данные при отключении электричества.

    Доступны три режима работы контроллера:
    1 — SATA RAID
    2 — SATA AHCI
    3 — SATA Legacy



    VMware ESXi не умеет работать с дисками собранными в рейд и подключенные к этому контроллеру, и по этому дальше я буду тестировать сервер установив на него WS2012R2.

    1 — SATA Legacy


    В режиме SATA Legacy Windows по умолчанию включает программный кеш на запись, и это означает что есть вероятность потерять данные при отключении электричества.



    После отключения кэширования падение скорости для обычных дисков ужасна, 20 MB/s это очень удачный скриншот — и результаты могут быть гораздо хуже.


    2 — SATA AHCI


    Программное кэширование операций записи также включено по умолчанию.


    После отключения кэширования HDD просели не так сильно как в случаи SATA Legacy.



    Вывод номер 4 – В случаи если вам не нужен аппаратный RAID, HDD должны работать в режиме AHCI, а программное кэширование операций записи следует отключить чтобы гарантировать сохранность данных.

    3 — SATA RAID


    HP Smart Array B110i поддерживает только «программный рейд» R10 и R1. Хочется написать про него что-то плохое — но не думаю что у вас могут быть с ним проблемы, но все же при любой возможности делайте апдейт до полноценного HP HP Smart Array, с кэш памятью и батарейками.

    Включить кэширование записи в Windows не получится, данная ф-ция не поддерживается драйверами контроллера. Для HP Smart Array P212 программное кэширование включить также не получится.



    В этот раз я объединил два сата диска в R1, и по этому средняя скорость получилась больше.




    Про надежность и сохранность данных


    В процессе того как я переключал диски между контроллерами и менял диски, несколько раз была потеряна конфигурация контроллеров и все массивы развалились. Будьте осторожны при подобных рокировках.

    Обращаю внимание на это по тому что HP ранее заявляли совместимость конфигурация рейд массивов при перестановки дисков между контроллерами или между серверами.



    Вывод номер 5 – храните резервные копии на отдельном устройстве.

    ИТОГО


    1 – Не все диски одинаково полезны, «выбирайте оригинальные диски HP».
    2 – Отдавайте на запись не менее 50% от размера кеш памяти.
    3 – SSD показывает отличную скорость и его можно использовать без кэширования операций записи.
    4 – В случаи если вам не нужен аппаратный RAID, HDD должны работать в режиме AHCI, а программное кэширование операций записи следует отключить чтобы гарантировать сохранность данных.
    5 – храните резервные копии на отдельном устройстве.

    П.С.


    Для настройки дисковой подсистемы из графической консоли нужно скачать образ загрузочного диска HP Smart Start CD 8.70(B).

    Для большего удобства при работе с сервером не помешает лицензия на HP ILO Advanced, демо лицензию можно получить тут.
    Поделиться публикацией
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 44

      0
      А где сейчас можно найти SAS 10K диски?
      Еще старые-добрые 512547-B21 SAS SFF диски, которыми я барыжил в 2008 году, были уже 15K оборотов.
      А если и есть такие… То тут вопрос не в выборе между SAS и SATA, а в выборе между «эта штука у меня точно заработает» и «эта штука у меня скорее всего не поддерживается»…
        0
        Извините, очепятка… Весной 2007-го года я был продакт-менеджером по серверам HP у одного из не очень крупных дистрибьюторов…
          0
          Купить 10к диски не проблема, но если вам нужен объем то это только 7к диски, и в этом случае необходимость SAS интерфейса под вопросом.
          15к диски тоже не могут конкурировать с SSD.
            0
            Как раз SFF 10k (и LFF 15k) всегда были мейнстримом под SAS, а SFF 15k никогда особой популярностью не пользователись из-за огромной цены.
              0
              Ну не знаю… В 2007м году, когда у дистрибьютора работал, так и не удалось положить на склад ни одного SFF 15K диска… Когда поставка очередная приходила, уже была очередь, в тот же час все расходились по заказчикам. Остальные варианты почти всегда на складе были в каких-то количествах. Просто тогда еще SSD не было. И 15K SSF диски по латентности уделывали всех. Т.е. если был нужен быстрый сторадж, то или они, или гигантские объемы кэша, которые еще дороже стоили.
            0
            Тестирование копированием файлов это конечно замечательно, но нельзя ли хотя бы CrystalMark запустить?
              0
              а зачем CrystalMark? первое что я делаю после подготовки сервера заливаю на него ВМ, а это почти банальное копирование.
              у меня есть скрины с iometer, но количество случайных иопсов никак не поможет оценить влияние настроек кеш памяти.
              0
              SSD показывает отличную скорость и его можно использовать без кэширования операций записи.

              Скандалы, интриги, расследования :)
              https://www.hpe.com/h20195/v2/GetPDF.aspx/4AA4-8144ENW.pdf

              VMware ESXi не умеет работать с дисками собранными в рейд и подключенные к этому контроллеру

              Умеет в версиях 5.5, 6.0, 6.5
              http://h20564.www2.hpe.com/hpsc/swd/public/readIndex?sp4ts.oid=3958194
              Для серверов HPE вообще рекомендуется использовать HP Custom Image for ESXi, чтобы таких заключений не возникало.
              http://h20564.www2.hpe.com/hpsc/swd/public/detail?swItemId=MTX_92f4a00ff5384796a7a883c497

              Для большего удобства при работе с сервером не помешает лицензия на HP ILO Advanced

              Она для rack'ового сервера необходима, если нужно в консоли что-то дальше post'а видеть.

              Обращаю внимание на это по тому что HP ранее заявляли совместимость конфигурация рейд массивов при перестановки дисков между контроллерами или между серверами.

              Можно увидеть документ от HPE, в котром заявлена совместимость массивов между P и B-контроллерами?

              Для настройки дисковой подсистемы из графической консоли нужно скачать образ загрузочного диска HP Smart Start CD 8.70(B).

              SmartStart — это для поколений серверов пенсионного возраста.
              Для G7 можно и нужно использовать Service Pack for ProLiant, конкретно для этого сервера — можно и последнюю его версию, 2017.04.0.
              Для конфигурирования и обновления firmware&drivers.
              http://h20564.www2.hpe.com/hpsc/swd/public/readIndex?sp4ts.oid=5075937&swLangOid=8&swEnvOid=4168
                0
                Сервер HP DL120 G7 отсутствует в списках VMware Compatibility Guide ;-)
                И без бубна HP Custom Image for ESXi не поможет вам с работать с рейд массивом на B110i.

                  0
                  О кастомном образе я в целом для серверов HPE, а не о DL120 G7.
                  А то устанавливая чистый образ от VMware можно не только с raid-контроллерами натанцеваться.
                  Например, нет в образе драйверов для сетевого адаптера — установка просто не пройдёт. Ну и так далее.

                  Установку же гипервизора на non-HCL сервер я просто не стал комментировать, это личный выбор вида боли сзади ;-)
                    +1
                    VMware-ESXi-5.5.0-Update1-1746018-HP-5.75.4-Dec2014 не видит собранный массив из 2х дисков на B110i.



                    П.С.
                    http://saddastus.blogspot.com/2012/09/vmware-vsphere-client-50-hp-proliant.html
                    https://community.spiceworks.com/topic/214698-new-hp-server-with-vm-ware-raid-question

                      –1
                      не видит собранный массив из 2х дисков на B110i.


                      Диски HPE использовались?
                        0
                        VMware ESXi не умеет работать с дисками собранными в рейд и подключенные к этому контроллеру
                        Умеет в версиях 5.5, 6.0, 6.5


                        Это я наврал всё-таки.
                        Нашёл чёртову железяку, на складе уже — но там всё же B120 стоит, а не B110, ProLiant ML10.
                        Виноват, каюсь.
                        0
                        Да так и есть, все как вы написали.
                    0
                    а скоро думаю появятся и HP G10.

                    Уже.
                    https://news.hpe.com/discover-las-vegas-2017/
                    On June 5, 2017, Hewlett Packard Enterprise revealed the world’s most secure industry standard servers with the introduction of its next-generation ProLiant portfolio.
                      0
                      Оффтопик: А вот эти салазки для hdd, что на фото — они стандартизированные? У меня в корпусе подобные и всегда было интересно это стандарт такой или у каждого свои?
                        +1
                        У всех свои.
                        О других вендорах не скажу, а у HPE даже между поколениями серверов могут быть несовместимы.
                          +1
                          Не все так страшно у HPE.
                          Салазки для HP/HPE серверов есть «до G7 включительно» и «от G8».
                          то есть всего ДВА вида (естественно, каждого типа есть для 2.5" и 3.5").
                          Салазки «до G7» — это вообще тупые метало-пластиковые конструкции,
                          «от G8» — имеют на борту малюсенький контроллер, который красиво моргает светодиодами и умеет подавать на backplane сигнал об отключении диска при нажатии кнопки.
                          При установке в сервера дисков Enterprise-класса от разных производителей никаких проблем не возникает, достаточно пройтись по серверу свежим PSP, который найдет все «не по ХеПе-шному» прошитые диски и перепрошьёт их как надо.
                          --в хозяйстве несколько десятков серверов (ML/DL/BL) от G5 до G9 с полутора сотней разных дисков…
                            0
                            Да я вроде и не говорил, что там что-то страшно — просто не вдавался в подробности.
                            А размером «хозяйства» впечатлили, да )))
                              0
                              я не о размере хозяйства.
                              — разнообразие HP-зоопарка в наличии достаточно большое, чтоб знать тонкости.
                          +2
                          Каждый производитель как хочет так и…
                          В серверах HP поколения G5/G6/G7 салазки для дисков одинаковые и эти диски можно переставить в HP MSA, это очень удобно. Но для серверов G8/G9 сделали новые салазки и переставить в головное устройство HP MSA уже не получится, только в опциональную внешнюю полку.
                            0
                            Странно. У меня g8 и msa2040 из числа первых. Визуально салазки одинаковые были. Хотя и отличные от тех, что на фото. С красной кнопкой фиксатора.
                              0
                              На фото в сервере нет дисков, это просто заглушки =).

                              П.С.

                                0
                                Сходил посмотрел. Я ошибся. Действительно как на фото.
                          0
                          Являюсь счастливым обладателем HPE ProLiant MicroServer Gen8, там стоит тот же RAID-контроллер HP Smart Array B110i.
                          В режиме AHCI(для меня приоритетный вариант) возможна загрузка только с SD или USB на материнке, потому загрузчик примонтирован на SD, система на SSD в ODD, а корзина под диски. Как понимаю в представленном сервере нет такого ограничения?
                            0
                            В сервере HPE ProLiant MicroServer Gen8 установлен Smart Array B120i Controller. ESXi я всегда устанавливаю на SD карту… На диски подключенные к b110 я установил все без проблем — драйвер для b110 лежат на сайте HP.

                              0
                              в сервере HPE ProLiant MicroServer Gen8 установлен Smart Array B120i Controller
                              Да, верно, тут я проглядел

                              ESXi я всегда устанавливаю на SD карту…
                              Спасибо за ответ!
                                +1
                                ESXi я всегда устанавливаю на SD карту…

                                Спасибо за ответ!


                                Добавлю, что если при таком варианте нужно иметь доступ к логам/дампам — то SD лучше брать от 16 ГБ и больше. Либо внешний коллектор использовать.
                                https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2004784
                                  0
                                  то SD лучше брать от 16 ГБ и больше. Либо внешний коллектор использовать

                                  ЕМНИП, на флешку оно всё равно логи/дампы писать не станет и выберет локальный датастор при его появлении.
                                    0
                                    Станет.
                                    Для <16GB носителей можно и принудительно заставить, через правку boot.cfg, но зачем.
                                      0
                                      И правда создаёт даже при 8 ГБ (как по ссылке), спасибо за информацию!
                            +1
                            выбирайте оригинальные диски HP

                            Еще бы «оригинальные» диски не стоили таких совершенно конских денег.
                            Я бы еще смог внутренне смириться с такими ценами, если бы НР сам производил винты по космическим нанотехнологиям… Например сейчас столкнулись при апгрейде, что SSD на 400 Гб стоит 120 т.р. — это ж за пределами добра и зла…
                              0
                              Таки да, новый диски от HP стоят минимум два раза дороже.
                              бу диск HP SFF SAS 600gb 10k (салазки G6/G7) можно купить за 130-150 уе.
                                0
                                Это что ж за диски такие?
                                Вот как раз кручу 360 Gen9, в котором в том числе 3 шт. SSD 400GB
                                HPE 400GB 12G SAS MU-3 SFF SC SSD (822555-B21) — в спеке 72188,02 за штуку, с НДС.
                                Причём это Mixed Use SSD, а не Read или Write-untensive.
                                  0
                                  HPE MSA 400GB 12G SAS Mixed Use SFF (2.5in) 3yr Warranty Solid State Drive N9X95A
                                  HP MSA 400GB 12G ME SAS SFF (2.5in) Enterprise Mainstream 3yr Warranty Solid State Drive J9F37A

                                  Для полки MSA2040, регулярная цена 1847 баксов.
                                  0
                                  Это вы ещё на 3PAR и прочие мидреньджи цен не видели, но HP всегда были жлобами — иначе не удержать первое место по прибыли с меньшим количеством отгруженных машин.
                                  0
                                  Ничто не мешает выбрать диски «enterprise класса» напрямую от «канонических» производителей.
                                  Надежность — будет такой же.
                                  Поддержка — 95% будет сразу же, 5% — прошить свежим HP-шным PSP.
                                  Скорость — выбирайте правильные диски «enterprise класса», у каждого производителя есть выбор.
                                    0
                                    Я вижу выбор между оригинал или не оригинал так:

                                    1 — у вас маленький парк серверов и тут нужна гарантия нормальной работы — и в этом случаи нужны оригиналы.

                                    2 — У Вас очень большой парк серверов и тут я бы выбрал оригиналы из за того что на больших объемах не хватало еще вникать «будет работать или нет» — заказал парт номера HP установил и забыл.
                                      +1
                                      Или не особо большой парк, но зато разбросан географически и не на всех площадках есть свои руки — туда инженера HPE на замену не оригинального диска не отправишь.
                                        0
                                        Ну вообще то исходный производитель дисков (и даже продавец) тоже отвечает по гарантии.
                                        В случае выхода из строя — гарантия от HP или гарантия от Segate/WD/HGST — она все таки гарантия.
                                        Заведется или нет — наверное стоит попробовать, купив по паре от разных производителей, особенно если у вас десяток дисковых полок отработали более 10 лет и диски просто начали от старости сыпаться.
                                        Вопрос цены тут выползает на первое место.
                                        — слегка мимо темы:
                                        Диски для СХД NetApp, кторые SATA на 3.5", стоят вообще нечеловечьих денег, там в салазках стоит контроллер для реализации двухпортового интерфейса (как на SAS DP). А под наклейкой NetApp сверкает наклейка WD Black. Заменили на такой же WD Black — 5 лет, полет нормальный После окончания гарантии это, кажется, нормальный подход.
                                    0
                                    Всё время забываю о полках, не пользуемся )
                                    Там да, тяжело с ценниками, MU SSD — самые «маленькие».
                                    В сервер-то можно read intensive посмотреть, если DWPD <1. А в 2040 таких вариантов даже не предлагают.
                                      0
                                      Работаю, никого не трогаю, выбираю не оригинальные диски для сервера HP, пытаюсь понять в чем разница между дисками HGST HUS726040ALE614/0F23025 и HGST HUS726040ALA614/0F23102.

                                      И как оказалась — разница в том как логически представляется физический сектор, как-то эту тему я упустил… На хабре на данную тему была статья еще в 2014 году Диски, контроллеры, ОС и Advanced Format, статья обязательна для ознакомления в случаи выбора не оригинальных дисков…

                                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                      Самое читаемое