AWS US-EAST-1 обесточился из-за грозы, пострадавшим нужно запустить chkdsk

    В очередном падении AWS не было бы ничего необычного, если бы не причина сбоя. Энергоснабжение дата-центра в регионе US-EAST-1 (Северная Виргиния) нарушено из-за грозы. Ушли в офлайн Netflix, Instagram, Pinterest и многие другие сайты.

    Согласно статус-репортам, потеря энергоснабжения начались около 20:21 PDT (сегодня в 07:21 МСК). Через 28 минут подача электричества в дата-центр было восстановлено, и компания Amazon приступила к восстановлению пострадавших томов и инстансов. Эта работа продолжается до сих пор. По состоянию на 10:19 МСК было восстановлено примерно 50% пострадавших инстансов и 33% пострадавших томов.

    Amazon сообщает, что из-за потери питания в некоторых восстановленных томах EBS могут быть потерянные кластеры: если ваш оказался среди них, то в консоли AWS в колонке “Status Checks” вы увидите статус “Impaired”. В этом случае для верификации данных рекомендуется запустить утилиту fsck или chkdsk.

    P.S. Для справки. Когда над нами висит грозовое облако, напряжённость электрического поля в вертикальном направлении может достигать нескольких десятков кВ/м. Многие видели, что при приближении грозы отключённые провода начинают искриться. Заряд скапливается перед грозой и во время грозы: пробой происходит при максимальном заряде линии относительно нулевого потенциала. Так что это погодное явление очень опасно для электроники.
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 28

      +4
      Кстати, а они питание не резервируют? Дизели там, упсы?
        –2
        Экономят, походу :)
          0
          Надолго его не хватит с таким количество энергопотребителей.
            +1
            Дизеля? Извините, любой уважающий себя ДЦ должен иметь запас дизеля хотя бы на сутки, плюс договор с АЗС на поставку большего количества.

            И не надо меня убеждать, что суточный запас дизельного топлива на ДЦ с 10-20 мегаваттами это много. Несколько цистерн, да, но по объёму сильно меньше, чем машинный зал, да и особых условий для хранения там не нужно (особенно с их погодой).
              0
              Кто ж знает как у них там с дизелем. Но судя по ситуации — не очень.
              0
              Считаю, что резервное питания должно быть рассчитано на то количество потребителей, сколько у них есть. Плюс запасик.
                0
                Я согласен. Когда буду брать себе в деревню дизельгенератор, так и сделаю. Но только у них видимо фигово было все расчитано, что удивляет.
            +8
            Природа не любит Amazon.
              0
              У меня беда — ELB не видит живыми хосты. Всё работает, а лоад балансер тупит. Жесть.
                +8
                Амазон — самый стабильный хостинг!
                  +16
                  Стабильно падает от гроз :)
                  0
                  Пользуюсь OVH более 3 лет и даунтаймы были только когда я обновлял Ubuntu на серверах)
                  Тут, кстати, в ролике про новый дата-центр в канаде, указано что дата-центр питается от 3-х источников — думаю в европе у французских дата-центров они тоже не хуже продумали. Реально, читаю что то Heroku слег, то Amazon то еще кто-то(про русские тучи облака так вообще каждую неделю почти пишут на хабре), и все радуюсь выбору в пользу OVH.
                    0
                    Самый невезучий датацентр. Пратически всё, что случалось в этом году у AWS — в нём. И почти каждый раз дело в питании.
                      +2
                      Опять «us-east-1 упал», а сервера во всех 4 зонах работают. Что ж вы пугаете так, и репутацию им портите.
                        –2
                        Почему они падают от отключения питания? У них нет ни резервного питания, ни упсов, ни дизелей? Как они вообще так работают
                          0
                          Ох. Вы видимо не страдали от кошки, попавшей в распределительный щиток -=)

                          А вообще — гроза вещь опасная и оно вполне себе может потушить всё оборудование ненадолго. ДЦ у них, насколько я понимаю, в пустынной местности — там громоотводы могут не спасать.
                            0
                            В распределительный щиток чего? Дата-центра? Может там ещё тараканы у них могут вызвать КЗ в сервере? А вообще, всё равно не понимаю я! Во-первых какая связь между кошкой и грозой/отсутствием у них резервного питания, а во-вторых, даже если из-за грозы отключили питание, то как она влияет на оборудование внутри дата-центра? Оборудованного надо полагать грозозащитой и с отключенными внешними линиями?
                              0
                              Если предположить, что грозы действительно такая серьезная опасность, то не только дата-центры бы ложились через день, но и в обычных помещениях бы всё выгорало (ибо нет стольких слоёв защиты). Вон Лас-Вегас тоже посреди пустыни расположен, как часто там казино прекращают работу из-за грозы? Или хотя бы данные теряют? Ни одного такого случая не слышал, ибо там миллионы в минуту крутятся, и если прекратится работа информационных систем из-за такой ерунды, то кое-кто, отвечающий за экслупатацию, а может и за проектирование вычислительных систем казино лишится в лучшем случае работы…
                                0
                                Лас-вегас — это огромный город. И поверьте, там были случаи, когда отдельные здания страдали от гроз. Просто nobody cares.

                                А данные компании не теряют потому, что они хранят в бою репликация. Поверьте, один ДЦ на данный момент никакой гарантии от потерь данных не даёт.
                                  0
                                  Может гарантий и не даёт, а вот только страдают от потерь сплошь «облака», да «хостинги». Много вы слышали о потерях данных в банках? А в мире их тысячи, куда больше, чем «облаков» и дата-центры у них не маленькие
                                    0
                                    Ещё раз повторюсь. Вы свои данные храните в одной копии, в одном ДЦ. Все те, кому его данные важны — бэкапят их, а те, кому они совсем важны — держат несколько инстансов под нагрузкой.

                                    Именно поэтому у банков данные не теряются. Единичные же машины у них разваливаются регулярно пачками.
                                  0
                                  А в обычных помещениях все и выгорает периодически. Точнее, все выключается. Полчаса без электричества — фигня. После этой грозы многим простым людям придется несколько дней посидеть в темноте.
                                    0
                                    Так обычные помещения вроде бы и не оборудованы специальными штуками, ну такими для дата-центров, называются резервное питание от независимых вводов, дизель-генераторы, батарейное питание, кондиционирование питания (всякие штуки от грозы, варисторы разного рода).

                                    Вот например слышали ещё про одну такую штуку, где тоже данные не теряются, называется медицина — люди остаются подключены к жизнеобеспечению, несмотря на грозы и всё такое, а всё почему? Потому что если люди будут умирать от какой-то жалкой грозы в больнице, то больница будет наказана, и те, кто должен следить за больницами будут наказаны, ну и т.д.
                                      0
                                      Я это только к тому, что грозы — действительно, серьезная опасность и неприятностей доставляют много. В ответ на «если бы...»
                                        0
                                        А, ну да :) Серьезная и изученная неплохо, и защита стандартизирована и всё такое, ведь безопасности людей касается, хрен с ними с железками. А там просто выше писали, типа гроза такая штука, непредсказуемая.
                                      0
                                      А всякие облака ответственности не несут, даром что там «фотохостинги за миллиард» хостятся, подумаешь, не смогли пару фоток расшарить. Собственные системы амазона, отвечающие за продажи/склад и финансы небось в любую грозу работают.
                                0
                                Только одна из 4 зон в N.Virginia сейчас не полностью функциональна (скриншот)
                                  0
                                  У меня всё поднялось. У instagram похоже проблемы…

                                  Only users with full accounts can post comments. Log in, please.