Дата-центр Amazon EC2 упал, отправив в даун сотни сайтов и сервисов

[ruskar]

Вот теперь и думай, что выбирать в качестве самого надёжного хостинга для критичных приложений.

[codecity]

Нет абсолютно надежных. Все могут поломаться, даже самые надежные. Причем это происходит в самый ответственный момент. По этому нужно автоматически запускать сервер в другом датаценре EC2, если не доступен в вашем.

P.S.
У нас сервер на EC2 в US East — работает. У них же там (в US East) 4-ре датацентра — на то оно и облако.

[philpirj]

А что делать с базой? Регулярная репликация между датацентрами дорого выйдет?

[codecity]

Высокая доступность стоит дорого. Для среднего сервиса высокая доступность не нужна — 1 день простоя не страшно.

[bav]

Насчет 1 дня я бы не был так уверен. Вопрос в том что теряется.
К примеру если речь об сайте которому пользователи доверили свои деньги, то падение на день подрывает доверие и к тому же может иметь финансовые последствия.

Есть знакомый у которого интернет-магазин с оплатой через Paypal. Так вот как только магазин падает на сколько-нибудь серьёзное время сразу идут запросы на отмену платежей (диспуты и чарджбеки) и за день можно порерять сколько сколько за месяц заработать.

[ncix]

даже для крупного сервиса это не так страшно. События последних дней тому пример ;)

[vanxant]

А еще есть надежность каналов связи. От банды пьяных экскаваторщиков защититься очень сложно.

[Lisio]

Да что там банда экскаваторщиков. Дайте бабке лопату и скажите, что там лежит медь. Тактическая распределенная группировка бабушек вообще весь интернет положит.

[Anton_DS]

Кстати чистая правда — пруфлинк

[eill]

тактическая группа — это одна бабушка с лопатой.

а несколько — это уже стратегическая с разделяющейся головной частью.

[scandi]

Вот мы и узнаем, что жизнь без этих сервисов и стартапов вполне реальна.

[Dim0FF]

Завтра в новостях: «Производительность труда внезапно выросла на 83%».

[Moze]

Скорее так:
Завтра в новостях: «У 83% рабочего персонала пропал урожай на ферме! Как это отразится на мире во всём мире?!».

[charon]

а мне вот Спрингпад (тоже под раздачу попал) совсем не мешал работать. Так что ехидничество считаю неуместным — не только игры пострадали

[aleks_raiden]

как быть тем, для кого эти игры это и есть работа? ;)

[codecity]

Не поверите, но теоретически жизнь реальна и без Интернета вообще.

[GreenAngel]

На самом деле уже нет.
И дело тут не столько в фейсбуке сколько в том, что существенная часть механизмов экономики и военной безопасности держится именно на интернете.

[SmartBye]

Думаю как-нибудь перебьемся без интернета и механизмов экономики. Голивуд доказывает это в каждом втором фильме.

[p_a]

Мне кажется, что голливудские фильмы — не самый надежный источник информации.

[ncix]

теоретически и за МКАДом жизнь есть

[zinchenko]

In theory theory and practice are the same. In practice they are not.
Теоретически, теория и практика должні совпадать. На практике же, они не совпадают.

:)

[RussianNeuroMancer]

...at this time.

[reaferon]

Скайнет вообще должен был ударить сначала в августе 1997, но второй Т-800 с Джоном оттянули конец на 2004-ый.
Все прибаутки последних дней по поводу Скайнета — липа.

[dasty]

Неужели?

[tangro]

>From the information I have and to answer your questions, SkyNet did not have anything to do with the service event at this time.
Не, ну ясное дело — автора ответа уже в заложниках держат.

[yul]

Конечно нет, это Джон Коннор нанес превентивный удар. Дата опять отложена.

[igorshubovych]

Среди сервисов, которые испытали и продолжают испытывать проблемы — Heroku, Quora, About.me, Foursquare, FormSpring, Lighthouse, Nvidia's Developer Portal, reddit, SpringPad.
Полный список пострадавших сервисов:
http://www.ec2disabled.com/

[igorshubovych]

Кстати Foursquare возобновил работу примерно через час.
Остальные сервисы повесили fail-whale страницы.

Сразу стало понятно, кто делает бекапы, а кто уже делает бекапы.

[A1lfeG]

Тут чуть сложнее.
Надо было делать бекап в другую Availability Zone.
Потому как бекапы у меня например были. Но забрать я их так и не смог из-за постоянных ошибок :)

[igorshubovych]

Бекапы лучше держать на сторонних серверах.
Сказал я, и записал это себе в TODO-list. :(

[GreenAngel]

… и разместил его на Amazon EC2…

[A1lfeG]

Вот самое противное что пострадала только база и её рабочие ESB.
Остальные серваки нормально работают, несмотря на то что находятся в одной зоне.

[igorshubovych]

Много интересного здесь:
search.twitter.com/search?had_popular=true&q=ec2&result_type=recent

[mehanizator]

а я как раз зарегался пощупать амазон, думаю чего это у меня инстансы не запускаются…

[Sterhel]

Доигрался?

[mehanizator]

упс…

[second_pilot]

вступите в Единую Россию пожалуйста

[ivv]

амазон забыл продлить домен?

[delmot]

Обидно за assembla.com, тоже пострадала. Только начал привыкать

[igorshubovych]

По поводу Скайнета: есть версия, что запуск Скайнета не состоялся, так как они тоже хостились на Амазоне…

[Levsha100]

Значит все таки смогли вырубить =(

[odiszapc]

Либо забыли продлить свой скайнет-домен

[voa]

Когда падают облака всех накривает туманом :)

[vanfukov]

fog of war?

[Sterhel]

blacksheepwall в помощь.

[igorshubovych]

Вот хорошая статья, где объясняется, что и как упало для простых смертных:
justinsb.posterous.com/aws-down-why-the-sky-is-falling

[Moze]

Для смертных знающих английский язык.

[fortyseven]

собственно, с технической точки зрения там ничего не объяснено. только сказано, что упали сразу несколько «зон доступности» («Availability Zones» якобы независимые ЦОДы или что-то в этом роде) в одном и том же регионе (восток США). почему? неизвестно.

[thinking]

И поэтому репозитории на Assembla.com тоже частично отвалились. Вот и накрылись все стартапы :)

[igorshubovych]

Кстати умные рекламщики быстро сообразили и начали выкладывать в Твиттер по тегу #ec2 рекламу VPS и конкурирующих cloud-решений — RackSpace, elastichosts.

[igorshubovych]

я там прочитал про elastichosts.

Еще интереснейший твит был от @starbucks:
twitter.com/#!/Starbucks/status/61139468912041984

[igorshubovych]

В этих ваших твиттерах пишут, что Амазон уже поднялся. Все сервера моей компании поднялись.
Статусная страница самого Амазона пока молчит.

[sadist007]

Однако у assembla пока еще проблемы с репозиторяими :(

[amarao]

В такие моменты я могу им только сочувствовать. Никто и никогда не может дать 100% гарантии 100% работоспособности. Потому что любое резервирование имеет запас прочности и существует вероятность, что случится именно так, что не поможет.

Кроме того, есть человеческий фактор — вынутый невовремя или не тот кабель, ошибка в команде, ошибка в коде и т.д.

[Lisio]

… garbage collector со шваброй.

[VolCh]

В цикле или по хрону запрашивать сервис на доступность, и если таймаут превысил нужный включать сирену через что-то вроде habrahabr.ru/blogs/DIY/112511/

[geosub]

Я настроил для этого консольную sip звонилку linphone которая при необходимости инициирует звонок на мой alarm phone в котором стоит громкая сирена в качестве звонка. Если интересно могу по пунктам рассказать, как чего настраивать.

[geosub]

Рассказываю.

Делал это я для мониторинга LA на своем серваке. Звонилка тоже на этом же серваке живет, но ничего не мешает поставить звонилку на любой VDS чтобы она мониторила другие серваки.

Для начала настраиваем саму звонилку, вот подробный мануал: www.linux16.net/node/538

Только в качестве сип шлюза я выбрал voipdiscount так как у меня там был аккаунт. Кстати алярм звонки мне обходятся совершенно бесплатно. Время разговора 0 сек.

Настроив все по мануалу который я указал выше, я подправил под себя скриптик alarm.call

#!/usr/bin/expect -f
set timeout 60
spawn linphonec
expect "Registration on sip:voipdiscount.com successful."
send "call +your_phone_number\n"
expect "Connected."
set timeout 3
send "terminate\n"
expect "User is busy."
send "terminate\n"
send "quit\n"


И второй скриптик для мониторинга LA и инициирования звонка, который запускается по крону раз в пару минут:

<?php

$maxLA = 40;

if (getLA() >= $maxLA)
exec("./alarm.call");

function getLA()
{
$la = `cat /proc/loadavg`;
$la = explode(" ",$la);
return $la[0];
}

?>


Уже пару раз просыпался под веселые звуки сирены когда мой сервак умирал при странных обстоятельствах.

[geosub]

Ну в начале я написал, у меня запущена звонилка на том-же серваке который она мониторит. Это, конечно, не правильно. По идее надо брать отдельный vds где настраивать звонилку и скрипт который будет мониторить аптайм серваков.

Просто для меня была задача мониторить только LA.

[fortyseven]

просто и надежно, возьму на заметку!

[gothy]

Сирена не сирена, а sms можно получить :) попробуйте monitorius.com или любой другой uptime monitoring сервис ;)

[teobon]

Еще есть pingdom.com из простых и более-менее бюджетных (поминутная проверка, $10 в месяц + $0,45 за sms), год пользуюсь — доволен.

[SLIDERWEB]

Как хорошо что у меня свой сервер.
Пострадавшим — сочувствую

[codemorgan]

Это, как бы, тоже не проблема для «бабушек с лопатами» или «банды экскаваторщиков».

[SLIDERWEB]

Это Вы к чему вообще?

[codemorgan]

Вот

[codemorgan]

(Прошу прощения ссылка не вставилась)
habrahabr.ru/blogs/cloud_computing/117933/#comment_3840602

[SLIDERWEB]

Ну, когда семля налетит на небесную ось — вообще все ляжет и все лягут.
Сколько чего не резервируй, а вероятность падения все равно остается. Не пойму почему минусят, разве иметь свой маленький ДЦ уже не комильфо? Я вот так не считаю. Живу себе свокойно, и если недай-бог чего падает — сам себе нехороший человек.
Но по сравнению с резервной площадкой у хостера — аптайм моих сервисов в собственном ДЦ куда дольше. За последние 3 года моя собственная площадка была не доступна два раза. У хостера — 5 раз.
Я не претендую на истинность. Лично мне так проще и дешевле. Аппетиты у меня скромные и своего облака из 8 лезвий мне пока хватает за глаза.

[amarao]

Э… вся ваша независимость заканчивается ближайшей подстанции. И да, дизеля на две недели будет тяжко покупать.

А ещё, если датацентр маленький, то есть соседи сверху с отоплением и ванной/сортиром.

[volhovec]

На старой работе весь моск съели в своё время, что надо на амазон переезжать, чтобы клиентам всё было доступно 24/7. Там, мол, все круто и мы лэйбл добавим, что у нас всё на амазоне, клиентов привлечем этим.

А с месяц тому они всё таки переехали на амазон. Надо узнать задело их или нет, что ли.

[A1lfeG]

Те сервисы которые держали критично важные серваки в разных зонах не пострадали. Или смогли быстро перейти на резервы

[volhovec]

Узнал. они не в этом ДЦ обитают, их вообще не задело.

[smileonl]

Ну тогда я спокоен :)

[bav]

Учебная тревога от амазона прошла успешно. Кто не зареплицировался я не виноват.

[Aleksey]

Мне понравился ответ от компании Quora — «We’d point fingers, but we wouldn’t be where we are today without EC2»

[alekslitvinenk]

Хорошо, что Европы не коснулось

[cursed]

[disserman]

А ведь предупреждал.

habrahabr.ru/blogs/cloud_computing/96607/#comment_2960694

[xana4ok]

мы быстро починили, смонтировав ami образы с последнего backup EBS
хотя это все зависит от вашей архитектуры

пилим нормальный деплой через SVN и байбай EBS