Возле дата-центра Amazon упал столб: пятый даунтайм за неделю

    Во вторник один из дата-центров Amazon полностью лишился электропитания из-за того, что возле здания автомобиль случайно врезался в столб и повредил линию электропередачи. К сожалению, переключение на питание от генераторов не сработало как нужно, и в результате серверы EC2 стояли обесточенными некоторое время. Как сообщается, для некоторых клиентов с восточного побережья США даунтайм продлился больше часа. Это уже пятый (!) сбой в работе Amazon EC2 за последнюю неделю.

    Подробности инцидента тоже весьма любопытны. Дело в том, что сначала питание нормально переключилось на генераторы, но от упавшего столба произошёл мощный импульс в землю возле дата-центра, и от него сработал предохранительный датчик, который должен отслеживать проблемы с заземлением внутри дата-центра. Из-за ошибочного срабатывания датчика система безопасности мгновенно автоматически обесточила здание, чтобы защитить оборудование.
    Поддержать автора
    Поделиться публикацией

    Комментарии 66

      +20
      Не везет так не везет по полной!
      • НЛО прилетело и опубликовало эту надпись здесь
          +8
          а что было в прошлые разы? нло не прилетало?
            +11
            Мне их жалко уже
              +5
              конкуренты сбили столб )
                +7
                Не сбили а демонтировали.
                  +4
                  Демонтировали путем сбивания его на машине. Гугль открывает сеть бесплатных наливаек возле дата-центров Амазона? :)
                    +2
                    Интересно, в стрит вью скринкаст будет?
                +19
                вся проблема в американских деревянных столбах
                  +3
                  другое дело у нас — если врезался так на смерть, чего тут мелочиться)
                    0
                    При скорости соударения выше 60-80 км/ч, наши столбы тоже нагнутся.
                      –1
                      а водитель сломается пополам, мда)
                        –1
                        Надпись на могиле.
                        «Он испортил два года аптайма подряд». =)
                  +7
                  пятый случайный даунтайм за неделю, не пора ли задуматься случайность ли?
                    +13
                    Amazoff :(
                      0
                      Amazing!
                      +25
                      Гугл знает, какой именно столб нужно сбить :)
                        +1
                        (по мотивам анекдота)
                        — Чего «мее, мее», товарищ Гугль знает, какой столб сбивать.
                          +2
                          Маркетологи увеличивают спрос на Microsoft Azure
                        • НЛО прилетело и опубликовало эту надпись здесь
                            +14
                            5 раз — традиция
                              +10
                              … А потом у них закончились столбы.
                                +1
                                не… после столбов будет ИРА (ирландская республиканская армия). И бабахнут европейский датацентр в Ирландии. :-)
                                +1
                                Статистика)
                              +2
                              А неделя то еще не закончилась :( Что следующее ждем? FiberFinder?
                                +3
                                А я то думал, почему мое приложение на Heroku было недоступно несколько часов. ;-) Вот тебе и надежность облачных вычислений. Впрочем, они и так гораздо надежнее чем другие виды хостинга.
                                  –11
                                  чем же лучше? Судя по описанию Оверсана мне трудно представить 5 сбоев за неделю в их ДЦ. Да даже некоторые украинские ДЦ понадёжнее будут в этом плане.
                                    +2
                                    Амазон это не облако, а виртуальные ноды, с четко известным внутренним ip-адресом. Легко переносимы друг на друга, но ноды. Вот AppEngine — это облако, где понятия не имеешь, где экземпляр приложения запущен.
                                      +1
                                      Так же можно говорить, что не знаешь где на амазоне запущены «ноды», разве не так?
                                        +3
                                        Не совсем. ip ардес и пр. виртуальные параметры известны. Я с таким не сталкивался, но предположим что легла ec2 нода — автоматика это должна распознать, перетащить образ на новую ноду, и запустить ее (это занимает не менее пары минут).

                                        В случае аппенжина система при запросе узнает о траблах с оборудованием и немедленно перенаправит запрос на другой «сервер», где уже все подготовлено, ибо приложение хранится как минимум в 3-х экземплярах в «облаке» приложений. И все прозрачно, нет никакой привязки. Т.е на AppEngine архитектура выше как минимум на 1 уровень (есть сервера приложений и сервера-фронтенды, + облачные сервисы и пр.)

                                        И еще, на AppEngine мы не знаем, где будет запущен конкретный инстанс (а если приложение под нагрузкой, то существующих инстансов будет несколько в облаке, в зависимости от нагрузки). Теоретически может быть будет выбран даже другой датацентр для нового инстанса. Все решает только автоматика (в зависимости от нагрузки, географии запросов и пр.), и это и есть реальное «облако».

                                        По сути архитектура AppEngine на сегодняшний день выглядит так, без учета синхронизации данных между даиацентрами.
                                          0
                                          Интересно, а как у Азуре и ракспейса например?
                                            0
                                            Не знаю, я занимаюсь разработкой только под AppEngine, соответственно про нее знаю практически все. Но что-то мне кажется, что Azure сильно похожа на AppEngine.
                                            0
                                            не надо сравнивать разные сервисы — AppEngine это виртуализация приложений по сути, а в Amazon вы работаете с ОС голой (хоть и есть несколько сервисов вокруг)
                                              0
                                              Вы видели к чему я коммент написал?
                                              >«Вот тебе и надежность облачных вычислений.»
                                    • НЛО прилетело и опубликовало эту надпись здесь
                                        +2
                                        Столб ни с того ни с сего никогда на дата-центр не свалится…
                                          0
                                          Не столб, а опора :)
                                            +1
                                            В RSS-потоке забавно выглядит заголовок:
                                            «Высокая производительность / Возле дата-центра Amazon упал столб»
                                            • НЛО прилетело и опубликовало эту надпись здесь
                                                0
                                                «наличие градиента по земле»?! Одним из основных требований требований является малый перепад уровня «земли» в пределах системы (здания). Это база и на этом держится вся электробезопасность. Если допустить обратное, то однажды Вас убьёт током от корпуса компьютера, или поплавится проводка от паразитных токов в «земле». Так что в серьёзных системах автоматика в том числе отслеживает равенство потенциальной земли.
                                                Короче говоря, если бы автоматика не сработала то был бы неплохой шанс что из перекоса земли или убило кого-нибудь или выгорела бы к чертям мааса аппаратуры и даунт-айм был бы не час, а неделю.
                                                А так — обошлись малой кровью — данные и оборудование спасены, жертв нет. Проложат резервную «землю» во всех дата-центрах и больше подобные вещи будут не страшны.
                                                  0
                                                  Да, и кстати дело не в том как проведена линия. Была бы в земле — нашёлся бы экскаватор, дядя Вася, мыши, утечка воды или газа и т.п. Это системный косяк и не только у Амазона. Все умные сделают правильные выводы и уберут это слабое место.
                                                  +1
                                                  что-то как-то ниразу не серъёзно питание к ДЦ проводить воздушной линией… да ещё и второй резервной линии питания нет. жесть)
                                                    +3
                                                    Амазон срочно задумался над переездом в Оверсан.
                                                    0
                                                    Пятый? По ссылке
                                                    Amazon’s EC2 cloud computing service suffered its fourth power outage in a week on Tuesday
                                                      +5
                                                      И немного по-разному звучит
                                                      Amazon Web Services said a “small number of instances” on EC2 lost service at 12:05 p.m.

                                                      и
                                                      серверы EC2 стояли обесточенными некоторое время.

                                                      Кроме того, отмечено, что этот даунтайм коснулся не той зоны, что прошлые, то есть никто из клиентов не пострадал все четыре раза. Заметка на русском выглядит несколько раздуто :-)
                                                        +4
                                                        Футболист Петров выиграл в лотерею «Волгу»! Ну, не футболист Петров, а Рабинович, не выиграл, а проиграл, и не в лотерею, а в преферанс и не «Волгу», а сто рублей.
                                                          +9
                                                          Ну это же alizar, главный генератор желтых постов всего Хабра. Вы на остальные его статьи посмотрите, они все такие.
                                                          0
                                                          Ну что же, теперь в TIA-942 можно добавить ещё одно требование: не должно быть близкорасположенных столбов, которые могут упасть на датацентр. Сейчас есть похожее требование «поблизости не должно быть зданий, с которых в случае землетрясения могли бы падать обломки».
                                                            +2
                                                            Это заговор
                                                              0
                                                              Интересный способ парализации конкурента. Главное что не придерешься что специально =)
                                                                0
                                                                непруха для Амазон :) тем не менее, считаю сервера Амазон одними из самых надежных
                                                                  0
                                                                  Вижу не только у меня 3.14здец на этой неделе (я про обрывы магистральных ВОЛС на Украине)…
                                                                  • НЛО прилетело и опубликовало эту надпись здесь
                                                                      +1
                                                                      Следите:
                                                                      Столб с мощной линией упал.
                                                                      Кабеля повредились и коснулись друг-друга, земли и чёрте-чего еще. Потенциал земли изменился (пусть не на долго).
                                                                      Автоматика заметила изменение потенциала земли отключила всё электропитание в здании (отключить частично нельзя, т.к. «земля» общая, мощная и не отключаемая (по требованиям электро-безопасности), да, и не понятно в каком месте она в таком случае «правильная»). Людишки поняли что отключено питание по причине неравенства потенциала «земли», разобрались чем это вызвано и включили всё обратно. Это заняло час (кстати, совсем не много).
                                                                      В такой ситуации не спасло бы ничего. Возможно, действительно могли помочь бесперебойники прямо у стоек, но даже они скорее всего всего бесполезны — если «земля» пропала, то нужно отключать всё, т.к. с ней связаны экраны кабелей, корпуса компьютеров и прочее и в случае «перекоса» «земли» по ним начинают течь паразитные выравнивающие токи — есть очень и очень хороший шанс выжечь всё оборудования по цепочке.
                                                                      +2
                                                                      Не видел ни одного комментария по поводу «кто будет возмещать убытки?»
                                                                      Неужто водитель того «автомобиля, который случайно врезался в столб»
                                                                        0
                                                                        Если что то может сломаться — оно ломается, если что-то не может сломаться — оно ломается тоже…
                                                                          +1
                                                                          Грузовик несудьбы?
                                                                            0
                                                                            столб? обычная воздушная электролиния — интересное решение для питания ДЦ, разве не безопасней было кабель под землю закопать?! =)
                                                                              +2
                                                                              гугл наняли бы кротов
                                                                              0
                                                                              проклятый ДЦ?
                                                                                0
                                                                                Высокопроизводительный специально обученный столб сделал свое дело.
                                                                                  0
                                                                                  «Горе от ума» © Грибоедов
                                                                                  • НЛО прилетело и опубликовало эту надпись здесь
                                                                                      0
                                                                                      Навожу порчу на дата-центры. Тел 223-322-223-322.
                                                                                        0
                                                                                        А если на узел нашего CDN упадет столб, никакого даунтайма у услуг не будет :)
                                                                                          0
                                                                                          Ваш CDN — это узскоспециализорованное решение, которое изначально расчитано на вылет датацентров из зоны доступности. Так не стоит об этом тут так кричать. У меня тоже есть CDN, который в случае выхода из строя датацентра просто перекинет его нагрузку в другие ДЦ. Вот только там надо всего-то обновить таблицу маршрутов, чтобы полсотни IP завернуть в другое место и всё.

                                                                                          А тут как бы нехилый объём клиентских данных, которые не так-то просто все передавать между разными ДЦ.

                                                                                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                                        Самое читаемое