Amazon S3 отключился на два часа и заплатит за это

    «Самый надёжный в мире хостинг» Amazon S3, а заодно и родственная служба Amazon EC2 в пятницу утром ушли в даун. Вместе с ними отключились сотни сайтов и веб-сервисов, в основном стартапов Веб 2.0, которые пользуются услугами хостинга S3. Среди прочих, например, это Twitter и блогохостинг WordPress. В частности, «твиттер» хранит на S3 статические файлы юзеров, так что во время аварии микроблоги имели такой потешный вид.

    Отключение S3 произошло в пятницу утром, примерно в 4 часа 30 минут по тихоокеанскому времени (15.30 по Москве). Последствия аварии почти полностью устранили уже к 7:00, то есть через два с половиной часа, но этого вполне достаточно, чтобы поставить под сомнение надёжность «инфраструктуры для веб-стартапов», которую пытается построить компания Amazon. Такого рода сервисы должны иметь аптайм 99,999%.

    Предыдущий сбой в системе сервисов Amazon произошёл в октябре прошлого года, когда некоторые клиенты EC2 лишились части своих файлов. После того случая компания Amazon составила специальное гарантийное соглашение, по которому она обязуется выплачивать компенсацию всем своим клиентам, если аптайм хостинга S3 по итогам определённого месяца составит меньше 99,9% (то есть даунтайм не должен превышать 43 минуты за 30 дней). Ну что ж, в марте компании определённо придётся раскошелиться.
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 69

      0
      брр... чудовищный подрыв репутации. впрочем, достойных альтернатив практически нет
      • UFO just landed and posted this here
          +3
          можно список?
            +2
            Список может и лениво, а вот на вскидку http://nirvanix.com
              0
              Вот здесь:
              http://en.wikipedia.org/wiki/Content_del…
              приличный список, если я правильно понимаю функции Amazon S3...
                0
                спасибо
              • UFO just landed and posted this here
                  0
                  ты хабраовец =)
              +3
              Ну это с какой стороны посмотреть. Сейчас они всем компенсацию выплатят, и гордо скажут - "мы отвечаем за свои слова!" и пообещают работать над увеличением стабильности. и у меня, например, не будет причины им не поверить.
              • UFO just landed and posted this here
              +5
              Оффициальный ответ от их поддержки :

              Here’s some additional detail about the problem we experienced earlier today.

              Early this morning, at 3:30am PST, we started seeing elevated levels of authenticated requests from multiple users in one of our locations. While we carefully monitor our overall request volumes and these remained within normal ranges, we had not been monitoring the proportion of authenticated requests. Importantly, these cryptographic requests consume more resources per call than other request types.

              Shortly before 4:00am PST, we began to see several other users significantly increase their volume of authenticated calls. The last of these pushed the authentication service over its maximum capacity before we could complete putting new capacity in place. In addition to processing authenticated requests, the authentication service also performs account validation on every request Amazon S3 handles. This caused Amazon S3 to be unable to process any requests in that location, beginning at 4:31am PST. By 6:48am PST, we had moved enough capacity online to resolve the issue.

              As we said earlier today, though we're proud of our uptime track record over the past two years with this service, any amount of downtime is unacceptable. As part of the post mortem for this event, we have identified a set of short-term actions as well as longer term improvements. We are taking immediate action on the following: (a) improving our monitoring of the proportion of authenticated requests; (b) further increasing our authentication service capacity; and (c) adding additional defensive measures around the authenticated calls. Additionally, we’ve begun work on a service health dashboard, and expect to release that shortly.

              Sincerely,
              The Amazon Web Services Team
              Насколько я понял из текста, они просто не выдержали нагрузки :)
                +4
                Достойный ответ. Не какие-нибудь "технические проблемы".
                  0
                  все бы так честно признавались бы в причинах сбоев.
                  • UFO just landed and posted this here
                      +8
                      они не могут себе позволить "тупо мазаться"
                      0
                      И что бы это изменило? Как это спасет ваш бизнес?
                        0
                        Не вилика катастрофа, всего 2 часа провала, что за бизнес такой что может "не спастись" за 2 часа да еще и в середине рабочего дня. Все прекрасно помнят, как например, башорг лежал несколько дней, всем конечно было не приятно, но пользователям это врядли помешало приходить туда и сейчас. В любом случае можно предусмотреть резервный вариант, на случае если на амазоне хостится фондовая биржа.
                      0
                      ... они просто не выдержали нагрузки
                      Интересно, что же будет, когда их начнут целенаправленно DDoS-ить? Или найдут дыру в системе?
                        0
                        От DDoSа, насколько я понимаю, можно грамотно защититься, распознавая "мусорные" запросы среди прочих. Поправьте меня кто-нибудь, если я неправ. То, с чем столкнулся Амазон — они обусловливают это увеличением количества нормальных человеческих запросов, которые нельзя отсекать в целях защиты.
                          +3
                          ддосить же не только мусорными запросами можно
                            0
                            Помнится, как лёг сайт президента и рады, когда туда 20000 человек зашло «почитать» одновременно. Это было сразу после отключения ex.ua :)
                        0
                        Вот бы наши так! А то "обесточены все энерговводы дата-центра" и "в связи с аварией на почтовой подсистеме..." уже надоели.
                        +1
                        Все мы люди, думаю, никто из-за этого не погиб. А форс-мажоры случаются у всех. Ничего постыдного в этом нет, думаю, это пинимает большинство. С их стороны очень правильно написать настоящую причину, а не лепить отмазы про сломавшийся RAID (c).

                        Молодцы ребята.
                          0
                          В смысле RAID не может сломаться?

                          В данном случае, правда, не те объемы. Чтобы скрывать что-то, больше кривотолков будет. :-)
                            0
                            это про школьный сайт имхо)
                          0
                          Простите, а если вкратце для "несведущих" - что это за S3 и EC2? :) Я правильно понимаю, что S3 - это storage хостинг (ну например, если надо разместить пару Тб видео по дешевке), а EC2 - это нечто типа VPS, предлагаемых нашими хостерами, только дешевле мощнее? Ну вобщем, чем всё это круче, чем выделенный сервер на каком-нибудь "мастерхосте"?
                            0
                            Только я так понял, что EC2 - это не нечто вроде VPS, хотя бы потому что VPS стоит $15 в месяц, а там выходит ~$72.
                              0
                              Тут видать VPS масштабируемый, 72 за 1 юнит около 1ггц проц и тп, а если хочешь, то можешь купить хоть 100 таких юнитов. Но опять же, чем оно лучше чем куча простых dedicated...или вся фишка в 99,999% аптайме?
                              • UFO just landed and posted this here
                                  0
                                  Пока непонятно, но темой я очень заинтересовался. Там сейчас даже книжка выходит от o'Reilly о веб-сервисах Амазона. Вот: http://www.amazon.com/Programming-S3-EC2-SQS-FPS/dp/0596515812/
                                  • UFO just landed and posted this here
                                      0
                                      Книжки хороши тем, что дают общую картину. Не стоит их недооценивать. И еще зависит от вашего опыта в принципе. Кто-то за одну ночь по мануалу разберется, кому-то нужно более подробное вступление.
                                      0
                                      Там в описании EC2 и S3 обнаружились ссылки на FAQ, после него боле-менее понятно становится что куда :)
                                        0
                                        Один из примеров реализации сервиса на основе EC2 http://weoceo.weogeo.com/ Все то, что заложено в сервисе тока удобно и автоматом по потребности.
                                        Надеюсь поможет разобраться, картинки есть! ;)
                              • UFO just landed and posted this here
                                  0
                                  Ну конечно, а у амазона что по-вашему?
                                  +11
                                  Понимаете, до нас дошло эхо "генеральского эффекта", зародившегося некоторое время назад в России...

                                  Sincerely,
                                  The Amazon Web Services Team
                                    0
                                    Я как раз про тоже намекал :-)
                                      0
                                      только в хорошем смысле :)
                                      мне нравится Амазон :)
                                      +1
                                      Так быть может за школьным порталом стоят наши чекисты?
                                      И истинная цель портала - направленным генеральским эффектом вырубить информационные структуры запада? =) Эдакое наноинформационное оружие -)
                                      (шутка, для тех кто в танке)
                                        0
                                        видимо попался один танкист -)
                                    • UFO just landed and posted this here
                                        +6
                                        Ага, дополнительные факты о Чаке Норрисе:
                                        -После деления на ноль, Чак любит ударить ногой с разворота по серверу конкурентов
                                        -Когда Чаку грустно он отнимает у Амазона 0,0000384% аптайма
                                        -Сервера собственного хостинга Чака имеют имена "Чак-0", "Чак-1", "НунЧак" и "Чак-Собчак"
                                        -Название хостинг Чака в переводе означает "С разворота ногой"
                                        -Чеполино и 300 спартанцев, на самом деле являются лирическими героями Чака и являются рекламной компанией для хостинга Чака
                                        -Личный компьютер Чака имеет имя "Анатолий Вассерман"
                                        -Во время плановых перезагрузок у Чака перестают расти ногти на ногах.
                                        -Чак не нажимал F12, никогда.
                                        –5
                                        "Такого рода сервисы должны иметь аптайм 99,999%."
                                        Это личное мнение? Почему не 99,99843 к примеру? А, эта цифра не такая красивая...
                                        • UFO just landed and posted this here
                                          • UFO just landed and posted this here
                                          –1
                                          Если какие то серьезные компании и думали об использовании s3, то сейчас перестали думать точно.
                                            0
                                            думают об akamai?
                                              0
                                              не думаю, если честно.
                                              как писалось выше форс-мажор бывает у всех.
                                              0
                                              А у них сейчас меньший аптайм? Назовите цифру, пожалуйста.
                                                0
                                                " В частности, «твиттер» хранит на S3 статические файлы юзеров, так что во время аварии микроблоги имели такой потешный вид. "

                                                что-то я потешный вид не осилил О_о
                                                  0
                                                  "«твиттер» хранит на S3 статические файлы юзеров"
                                                  Интересно, в какой момент (при каком объёме трафика) имеет смысл выносить статику с проекта на S3?
                                                    0
                                                    Спольски писал как-то про "аптайм 99.9(9)%" — а точнее о том, что это ерунда :)
                                                    И ещё упомянул (между делом), что штрафы за невыполнение обещанного аптайма обычно крайне малы, так что насчёт "раскошелиться" — это перебор. Деньги на этом не заработать.

                                                    http://www.joelonsoftware.com/items/2008…
                                                      0
                                                      Интересно, какая политика на stackoverflow его и иже с ними относительно простоя, например, в показе баннеров и проданых рекламных мест) и что он напишет, когда они упадут на «пару часиков». Не подумайте, что я не люблю Джоэля, наоборот, просто интересен этот момент.
                                                      0
                                                      Я думаю больший фурор вызвал бы пост "Amazon S3 отключился на два часа и НЕ заплатит за это!". Никто кстати не в курсе выплачивал ли компенсации Мастерхост в связи с недавним инцидентом?
                                                      • UFO just landed and posted this here
                                                          +2
                                                          Интересно размер выплат Амазона, так как у некоторых хостеров компенсации все же прописаны, но они очень мизерные.
                                                        +1
                                                        А вот и IBM похоже решила заняться хостингом, и сделать это собирается с масштабом присущим IBM:)
                                                        IBM создает систему с 67 миллионами процессоров:
                                                        "IBM сообщила, что работает над супермасштабируемой вычислительной системой, способной служить хостом для всего Интернета, который будет запущен на ней в качестве приложения. Эта система основана на модернизированной версии суперкомпьютера BlueGene/L, самого мощного компьютера в мире на настоящий момент. Титаническая система будет работать на Linux с набором наиболее распространенных веб-приложений: Apache, MySQL, Ruby on Rails..."
                                                        • UFO just landed and posted this here
                                                            +1
                                                            После того как Sun купила MySQL, а Microsoft хочет поглотить Yahoo, в IBM подумали и решили купить весь Internet:)
                                                            • UFO just landed and posted this here
                                                              • UFO just landed and posted this here
                                                                • UFO just landed and posted this here
                                                                    0
                                                                    Ага, на советских МК. Десяток ячеек памяти и стековая нотация — что может быть лучше! :-)
                                                                    • UFO just landed and posted this here
                                                                        0
                                                                        В МК152 поболе будет. Кстати, щупал это чудо техники...
                                                                        Клавиатура там никуда не годится...
                                                                          0
                                                                          угу, в Кваку не погонять
                                                                0
                                                                99.999% аптайм, это чуть больше 8 часов дауна в год.

                                                                2 часа они отстояли. еще 6 впереди :)
                                                                  0
                                                                  отлежали :)

                                                                Only users with full accounts can post comments. Log in, please.