Сказ о том, как сервер Dell PowerEdge ураган Сэнди пережил

    В прошлом году Америке не слишком повезло – в конце октября на нее обрушился тропический ураган Сэнди – восемнадцатый атлантический циклон с женским именем и неженским характером. Не соврем, если скажем, что запомнился он жителям всей планеты, хотя и не был самым мощным в истории человечества – тому виной вышедший ранее на большие экраны фильм-катастрофа «2012», в котором предсказания индейцев Майя о конце света, который якобы должен наступить именно в 2012 году, трактовались весьма однозначно: мир погибнет от сильнейших землетрясений и цунами. И вот, события фильма стали разворачиваться в режиме реального времени, и наблюдать за этим страшно было даже по телевизору – что уж говорить о жертвах и свидетелях разбушевавшейся стихии.

    Масштабы разрушений, вызванных ураганом Сэнди, были колоссальны. Погибло 185 человек, еще 22 считаются пропавшими без вести, а общий ущерб, нанесенный США, Канаде и странам Атлантического океана, оценивается в 146,5 млрд долларов. Трудно представить, сколько было разрушено домов и офисов, сколько бизнесов пострадали от разрушений и выхода из строя компьютерной техники, но нам достоверно известно, что хотя бы один сервер пережил ураган Сэнди практически без последствий.

    За неделю до того, как в водах Атлантики зародился убийственный циклон, системный администратор Вайн Миллер (Wayne Miller) приобрел для компании Davis & Warshow сервер 12 поколения Dell PowerEdge R720, работающий на базе новейших процессоров Intel Xeon E5. Он планировал перенести данные с сервера предыдущего поколения R710, и использовать старую машинку в качестве хранилища резервных копий. Это был продуманный шаг, поскольку бизнес Davis & Warshow, нью-йоркского поставщика товаров для кухни и ванной комнаты, активно разрастался – у компании имелось уже 10 магазинов на Манхэттене, Лонг-Айленде и Бруклине, и в планах было открытие еще нескольких.

    Дальнейшие события нетрудно предсказать. Головной офис Davis & Warshow в Квинсе был полностью затоплен, и новенький сервер Dell PowerEdge R720 в течение нескольких дней плавал в ядреном коктейле из соленой океанской воды и жидкости, вытекшей из аккумуляторов ИБП, расположенных в этой же серверной (взболтать, но не смешивать – явно не про этот случай).



    Красная линия — уровень воды.

    Безусловно, у Миллера не было никаких надежд на то, что сервер удастся реанимировать, но, тем не менее, он решил предпринять хотя бы попытку – на сервере хранились важнейшие данные, а попытка — не пытка.
    Зная, что гарантия на «подмоченное» устройство уже точно не будет действовать, Миллер промыл сервер пресной водой из поливочного шланга, хорошенько просушил и засыпал сухим рисом, который должен был абсорбировать максимальное количество влаги.





    Через неделю, когда стихия перестала бушевать, и электроснабжение возобновилось, Миллер удалил остатки риса и из любопытства включил сервер. На удивление, на экране появился логотип Dell, вентиляторы закрутились, выплевывая последние рисовые зернышки. В конечном итоге, Миллеру удалось спасти все четыре виртуальных сервера и перенести данные, несмотря на то, что условия эксплуатации R720 явно были нарушены.

    Не хотим казаться предвзятыми, но вряд ли случившееся стоит считать случайностью. Все-таки, устройство пережило не кратковременный контакт с водой – оно буквально плавало в ней в течение нескольких дней, причем, вода была не пресной, а соленой. Одним словом, прочность серверов Dell PowerEdge проверена в экстремальных условиях, и у нас нет повода сомневаться в их долговечности и надежности. Но рекомендуем все же держать под рукой пару мешков риса. Так, на всякий случай.

    P.S.
    Кстати, на этом «знакомство» Dell и Сэнди не закончилось. Dell создала для Американской организации Красного Креста (American Red Cross) Red Cross Digital Operations Center (DigiDOC), ― первый в мире командный социальный медиа-центр для оказания гуманитарной помощи. Digidoc был успешно задействован во время урагана Сэнди, урагана Исаак и нескольких других стихийных бедствий в 2012 году.
    Но об этом мы расскажем в следующий раз!
    Dell Technologies
    Компания

    Комментарии 19

      +11
      Несколько вопросов —
      1) Почему не отклеились и не «покорёжились» бумажные наклейки после воды?
      2) Почему сервер моется и сушится в собранном состоянии? Без снятых вентиляторов, плат расширения и прочего? Вскрытого БП и снятых плат?
      3) Почему нельзя было просто попробовать подключить диски и вытащить информацию с них? Я бы не рискнул подключать компьютер, с критичными данными, который побывал в воде.
      4) Почему рис, а не, к примеру, силикагель? Или любое другое вещество обладающее гораздо более мощной абсорбцией и не гниющее при этом?
        +11
        Это ж блог Dell.
          +2
          Предположу, что:
          1) наклейки как минимум ламинированные, или вообще пластиковые;
          2) потому что было ясное понимание весьма небольшой вероятности успеха реанимационных мероприятий. То есть, получится, так получится, нет задачи спасать оборудование во что бы то ни стало, и не стоит тратить дополнительные усилия на разборку-сборку;
          3) см. п.2 плюс наверняка там был сконфигурирован какой-нибудь хитрый RAID;
          4) см п.2 плюс быстрее и дешевле найти десяток кг риса, чем то же количество силикагеля.
          Конечно, квалифицированное спасение данных в такой ситуации должно выглядеть совсем по другому, да и под рукой (а вернее — как можно дальше от сервера) надо держать не пару мешков с рисом, а пару свежих бэкапов.
          • НЛО прилетело и опубликовало эту надпись здесь
              0
              Обычная пресная вода это тот же коктейль из солей, несколько меньший концентрации чем морская но тоже достаточно вредный для дорожек, контактов, подшибников итп. Если уж и промывать то дистилированной водой (которая не так дорого стоит с баумарктах). Сушить не разбирая и рисом несколько удивляет, а как в пространствах кудда он не добрался? На одну такую удачную попытку может прийтись 5 неудачных, когда сгоревшая плата потянет за собой и диски. Да и дорожки окислятся в течении недели а то и быстрее. Если данные действительно важны надо идти к профи а не заниматься рискованной кустарщиной. А то что тут описали это вред, т.к. люди начнут думать что так делать можно.
                +1
                Рис сосет влагу из атмосферы. Т.е. рису вовсе не обязательно с чем-то там соприкасаться, достаточно чтобы он высасывал воду из воздуха снижая насыщеность пара.
            +1
            >Почему не отклеились и не «покорёжились» бумажные наклейки после воды?
            Они не бумажные и их даже кипятком и растворителем не всегда удается отклеить аккуратно.

            >Почему рис, а не, к примеру, силикагель?
            Вы пробовали купить пару кило силикагеля в ближайшем продпром-маге? А рис продается везде.

            по остальным пунктам я не знать — может он банально протупил?
              0
              В пром-маге может быть и нет, а в зоомаге — хоть засыпься, и совсем недорого.
              И стоит, думаю, дешевле риса.
              image
                0
                o_0
                О как. Не знал. Занятно, буду иметь в виду. Спасибо.
            0
            А почему он его хотя бы не разобрал, когда промывал?
            У меня однажды 2 сервера HP оказались почти в воде, в серверной прорвало отопление и пара там было столько, что вода ручьем по стенам бежала. Выжили оба, только через месяц осыпались все винты.
              0
              К сожалению, затрудняемся ответить на этот вопрос. Миллер сделал ровно то, что сделал. Результатом он остался доволен.
              А про диски хорошо замечено, попробуем выяснить их дальнейшую судьбу.
                0
                Скорей всего диски таки умерли, из-за окисления контактов например и коррозии.
                Раз диски стартанули, значит в гермоблок вода не попала.
              0
              Больше всего на фото понравился конкретный дедушка в должности сисадмина. В России таких на работу не берут.
                0
                Это некий Tom Vandewart.

                Больше подробностей этой истоии на сайте dell
                  0
                  В топике же написано:
                  системный администратор Вайн Миллер (Wayne Miller)
                  Или это разные люди?
                0
                У меня netgear-овский Nas попал в пожар-реально по сути в вентиляционный короб, по которому валил дым. Сразу после инцидента был (всухую) прочищен и завелся. Сам до сих пор жив, а диски через полгода передохли по очереди.
                  0
                  жидкости, вытекшей из аккумуляторов ИБП

                  Аккумуляторы применяемые в ИБП (даже в авто уже такие используют давно) герметичны (внутрь).

                  Да и про непопадание воды в банку HDD — верится с большим трудом.
                    0
                    Да и про непопадание воды в банку HDD — верится с большим трудом.
                    Почему же? Вся механика (блины, головки) работает в условиях вакуума, так что с герметичностью у винтов там все в порядке, главное, чтобы электроника выжила…

                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                Самое читаемое