AWS US-EAST-1 обесточился из-за грозы, пострадавшим нужно запустить chkdsk

    В очередном падении AWS не было бы ничего необычного, если бы не причина сбоя. Энергоснабжение дата-центра в регионе US-EAST-1 (Северная Виргиния) нарушено из-за грозы. Ушли в офлайн Netflix, Instagram, Pinterest и многие другие сайты.

    Согласно статус-репортам, потеря энергоснабжения начались около 20:21 PDT (сегодня в 07:21 МСК). Через 28 минут подача электричества в дата-центр было восстановлено, и компания Amazon приступила к восстановлению пострадавших томов и инстансов. Эта работа продолжается до сих пор. По состоянию на 10:19 МСК было восстановлено примерно 50% пострадавших инстансов и 33% пострадавших томов.

    Amazon сообщает, что из-за потери питания в некоторых восстановленных томах EBS могут быть потерянные кластеры: если ваш оказался среди них, то в консоли AWS в колонке “Status Checks” вы увидите статус “Impaired”. В этом случае для верификации данных рекомендуется запустить утилиту fsck или chkdsk.

    P.S. Для справки. Когда над нами висит грозовое облако, напряжённость электрического поля в вертикальном направлении может достигать нескольких десятков кВ/м. Многие видели, что при приближении грозы отключённые провода начинают искриться. Заряд скапливается перед грозой и во время грозы: пробой происходит при максимальном заряде линии относительно нулевого потенциала. Так что это погодное явление очень опасно для электроники.
    Поделиться публикацией
    Похожие публикации
    Ой, у вас баннер убежал!

    Ну. И что?
    Реклама
    Комментарии 28
    • +4
      Кстати, а они питание не резервируют? Дизели там, упсы?
      • –2
        Экономят, походу :)
        • 0
          Надолго его не хватит с таким количество энергопотребителей.
          • +1
            Дизеля? Извините, любой уважающий себя ДЦ должен иметь запас дизеля хотя бы на сутки, плюс договор с АЗС на поставку большего количества.

            И не надо меня убеждать, что суточный запас дизельного топлива на ДЦ с 10-20 мегаваттами это много. Несколько цистерн, да, но по объёму сильно меньше, чем машинный зал, да и особых условий для хранения там не нужно (особенно с их погодой).
            • 0
              Кто ж знает как у них там с дизелем. Но судя по ситуации — не очень.
            • 0
              Считаю, что резервное питания должно быть рассчитано на то количество потребителей, сколько у них есть. Плюс запасик.
              • 0
                Я согласен. Когда буду брать себе в деревню дизельгенератор, так и сделаю. Но только у них видимо фигово было все расчитано, что удивляет.
          • +8
            Природа не любит Amazon.
            • 0
              У меня беда — ELB не видит живыми хосты. Всё работает, а лоад балансер тупит. Жесть.
              • +8
                Амазон — самый стабильный хостинг!
              • 0
                Пользуюсь OVH более 3 лет и даунтаймы были только когда я обновлял Ubuntu на серверах)
                Тут, кстати, в ролике про новый дата-центр в канаде, указано что дата-центр питается от 3-х источников — думаю в европе у французских дата-центров они тоже не хуже продумали. Реально, читаю что то Heroku слег, то Amazon то еще кто-то(про русские тучи облака так вообще каждую неделю почти пишут на хабре), и все радуюсь выбору в пользу OVH.
                • 0
                  Самый невезучий датацентр. Пратически всё, что случалось в этом году у AWS — в нём. И почти каждый раз дело в питании.
                  • +2
                    Опять «us-east-1 упал», а сервера во всех 4 зонах работают. Что ж вы пугаете так, и репутацию им портите.
                    • –2
                      Почему они падают от отключения питания? У них нет ни резервного питания, ни упсов, ни дизелей? Как они вообще так работают
                      • 0
                        Ох. Вы видимо не страдали от кошки, попавшей в распределительный щиток -=)

                        А вообще — гроза вещь опасная и оно вполне себе может потушить всё оборудование ненадолго. ДЦ у них, насколько я понимаю, в пустынной местности — там громоотводы могут не спасать.
                        • 0
                          В распределительный щиток чего? Дата-центра? Может там ещё тараканы у них могут вызвать КЗ в сервере? А вообще, всё равно не понимаю я! Во-первых какая связь между кошкой и грозой/отсутствием у них резервного питания, а во-вторых, даже если из-за грозы отключили питание, то как она влияет на оборудование внутри дата-центра? Оборудованного надо полагать грозозащитой и с отключенными внешними линиями?
                          • 0
                            Если предположить, что грозы действительно такая серьезная опасность, то не только дата-центры бы ложились через день, но и в обычных помещениях бы всё выгорало (ибо нет стольких слоёв защиты). Вон Лас-Вегас тоже посреди пустыни расположен, как часто там казино прекращают работу из-за грозы? Или хотя бы данные теряют? Ни одного такого случая не слышал, ибо там миллионы в минуту крутятся, и если прекратится работа информационных систем из-за такой ерунды, то кое-кто, отвечающий за экслупатацию, а может и за проектирование вычислительных систем казино лишится в лучшем случае работы…
                            • 0
                              Лас-вегас — это огромный город. И поверьте, там были случаи, когда отдельные здания страдали от гроз. Просто nobody cares.

                              А данные компании не теряют потому, что они хранят в бою репликация. Поверьте, один ДЦ на данный момент никакой гарантии от потерь данных не даёт.
                              • 0
                                Может гарантий и не даёт, а вот только страдают от потерь сплошь «облака», да «хостинги». Много вы слышали о потерях данных в банках? А в мире их тысячи, куда больше, чем «облаков» и дата-центры у них не маленькие
                                • 0
                                  Ещё раз повторюсь. Вы свои данные храните в одной копии, в одном ДЦ. Все те, кому его данные важны — бэкапят их, а те, кому они совсем важны — держат несколько инстансов под нагрузкой.

                                  Именно поэтому у банков данные не теряются. Единичные же машины у них разваливаются регулярно пачками.
                              • 0
                                А в обычных помещениях все и выгорает периодически. Точнее, все выключается. Полчаса без электричества — фигня. После этой грозы многим простым людям придется несколько дней посидеть в темноте.
                                • 0
                                  Так обычные помещения вроде бы и не оборудованы специальными штуками, ну такими для дата-центров, называются резервное питание от независимых вводов, дизель-генераторы, батарейное питание, кондиционирование питания (всякие штуки от грозы, варисторы разного рода).

                                  Вот например слышали ещё про одну такую штуку, где тоже данные не теряются, называется медицина — люди остаются подключены к жизнеобеспечению, несмотря на грозы и всё такое, а всё почему? Потому что если люди будут умирать от какой-то жалкой грозы в больнице, то больница будет наказана, и те, кто должен следить за больницами будут наказаны, ну и т.д.
                                  • 0
                                    Я это только к тому, что грозы — действительно, серьезная опасность и неприятностей доставляют много. В ответ на «если бы...»
                                    • 0
                                      А, ну да :) Серьезная и изученная неплохо, и защита стандартизирована и всё такое, ведь безопасности людей касается, хрен с ними с железками. А там просто выше писали, типа гроза такая штука, непредсказуемая.
                                  • 0
                                    А всякие облака ответственности не несут, даром что там «фотохостинги за миллиард» хостятся, подумаешь, не смогли пару фоток расшарить. Собственные системы амазона, отвечающие за продажи/склад и финансы небось в любую грозу работают.
                            • 0
                              Только одна из 4 зон в N.Virginia сейчас не полностью функциональна (скриншот)
                              • 0
                                У меня всё поднялось. У instagram похоже проблемы…

                                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                Самое читаемое