Облачные вычисления *

Amazon наконец-то опубликовала подробный отчёт о причинах сбоя в четверг 21 апреля, в результате которого одна из зон доступности на восточном побережье США почти полностью не работала в течение двух суток, а другие зоны в том же регионе глючили некоторое время.

Итак, первопричиной сбоя стала ошибка в сетевых настройках кластера Amazon Elastic Block Store (“EBS”) во время обычной работы по изменению масштабируемости. Сетевые настройки должны были увеличить ёмкость основной сети. Одним из стандартных этапов этой процедуры является снятие трафика с одного из перегруженных маршрутизаторов, чтобы сделать апгрейд. Трафик должен пойти в основную сеть. Но из-за ошибки изменение маршрутизации трафика произошло некорректно: вместо основной сети он пошёл в сеть низкой пропускной способности (в EBS используется две сети: основная для трафика и вторая для коммуникации EBS-узлов в кластере между собой и репликации).

Самым популярным трендом в it можно смело назвать облака, все от мала до велика строят свои или используют чужие. Кто то поставил сайт в облако и экономит, кто то строит свои гигантские облака и зарабатывает.
Что может пригодится обычному юзеру, вебмастеру, админу в облаках и почему в России их так мало(или много)?

Облачные вдс/впс

На рынке России предоставляют облачные впсы уже наверно более 10 компаний, у кого то более облачные, у кого то менее. В чем же отличие облачных вдсов от обычных? В большинстве своем все одинаково, железо тоже самое, теже сервера, теже саны(хотя до сих пор некоторые хостеры держат вдски на локальных дисках), теже каналы связей(все с теми же свичами и маршрутизаторами), единственной особенностью этих вдс была возможность миграции между серверами, что повышало их доступность.

Недавно, увидев на хабре анонс, я решил попробовать облачный хостинг от Selectel, и теперь, после 2-х месяцев использования в 2 подхода, я готов поделиться своими мнениями и результатами.

А главное — вы наконец узнаете, сколько это стоит, т.к. ценовая политика очень необычная: нет абонентской платы, деньги берут только за потребленные ресурсы, но ресурсов этих много разных.

21 апреля в 01:41 по тихоокеанскому времени произошёл серьёзный сбой в одном из дата-центров Amazon Web Services, «облака» для многих сайтов. Некоторые крупные проекты (Reddit, Quora, Foursquare) ушли в офлайн или сильно пострадали. Я уже видел кучу дезинформации с намёком на то, что проблемы пострадавших сайтов связаны только с ленью инженеров этих проектов, но в данном случае причина в другом. И вот почему.

У AWS две концепции относительно доступности: регионы (Regions) и зоны доступности (Availability Zones, AZ). Есть пять регионов: два в США (западное и восточное побережье), один в Европе (Ирландия) и два в Азии (Токио, Сингапур). В каждом регионе расположены несколько AZ, которые должны быть изолированы друг от друга и не иметь общей точки сбоя, кроме стихийного бедствия или чего-нибудь подобного масштаба.

Сегодня в районе 2 ночи по тихоокеанскому времени сервера, «находящиеся» в дата-центре Amazon в North Virginia (US-East), внезапно полегли.

Судя по странице статусов амазона, дата-центр всё еще в дауне.

По причине недоступности серверов лежат Quora, Foursquare, Reddit, множество facebook-игр, да и сотни разных стартапов.

P.S. Вроде как сегодня должна была начаться атака SkyNet-а. Они выбрали интересный способ :)

Upd. Список пострадавших

 

Прочитав вчера отчёт, который утверждает, что облачный хостинг Rackspace выгоднее, чем Amazon, я решил сегодня это проверить.

У меня нет времени делать формальные бенчмарки, так что я сделал на хостинге Rackspace клон системы, которая с трудом выдерживает нагрузку на EC2. Я выбрал самый дешёвый тариф на Rackspace, гигабайтный 32-битный сервер Windows 2003, который стоит $0,08 в час, то есть $59 в месяц. Это значительно дешевле, чем мини-сервер за $90 у Amazon. Результат оказался шокирующим.

Вступление:

Наиболее интересная часть разработки обычно приходится на первые 33% жизненного цикла проекта. А самое интересное — это создание чернового прототипа, демонстрирующего вашу идею. После этого момента возбуждение начинает постепенно снижаться по мере того, как вы начинаете высматривать, что бы подштопать, и стараетесь сделать ваше приложение достаточно масштабируемым, чтобы оно могло выдержать свою успешность. В настоящее время я — актёр-одиночка, так что с одной стороны у меня нет ресурсов, чтобы самому возиться с железом, а с другой — у моих проектов нет потребности в дата-центрах.

Цель моего анализа — сравнить двух основных игроков в мире облачных вычислений, Google App Engine (GAE) и Amazon Web Services (AWS). Оба неслабо разогнались за последние годы, но кто из них больше мне подойдёт? Давайте разбираться.

В этот раз отличилась компания Cycle Computing.
Специально для вычисления одного из заданий фармацевтической компании Genentech было создан вычислительный кластер из 10 тыс. ядер на сервисе Amazon Elastic Compute Cloud.
На каждом из узлов кластера была установлена система CentOS. Для управления всей этой махиной использовалось программное обеспечение CycleCloud software, а также ПО Condor и Chef (open source)

В процессе подсчета белковых связей на даном кластере компания Genentech понесла очень небольшие затраты.
За восемь часов работы данного кластера она выплатила всего 8500 долларов (включены все выплаты Amazon и Cycle Computing).
Немного технических характеристик полученного кластера:
Быстродействие: ~66TFlops
Оперативная память: 8,75 Тб
Дисковое пространство: 2 Пт

Кластер состоял из 1250 физических машин, в каждой использовалось 8 ядер.

Microsoft и Toyota объявили о стратегическом партнёрстве в области создания телематических сервисов нового поколения на базе платформы Windows Azure (пресс-релиз Microsoft).

Сначала «облачную телематику» внедрят в электрических и гибридных автомобилях Toyota (RAV4, Prius), но к 2015 году будут ставить на все новые модели. Toyota является крупнейшим в мире производителем автомобилей и по праву считается самым инновационным. Подключение автомобильных компьютеров к интернету и облаку Azure позволит поставлять современные цифровые информационные сервисы и как-то эффективнее управлять зарядом автомобильных батарей, а также общаться автомобилям между собой.

Учитывая развернувшийся в последнее время маркетинговый хайп по поводу SaaS и поднимающееся анти-SaaS движение, захотелось разобраться в чем же фундаментальное отличие SaaS от традиционного ПО и вот представляю свои мысли по этому поводу на ваш суд. Уточню, что сравнение сделано как бы от лица принимающего решение о выборе SaaS, а не его разработчика или провайдера, у которых критерии заниматься ли SaaS бизнесом или нет, конечно же другие.

Облачные вычисления всё прочнее занимают свои позиции. Всё большее количество людей осознаёт этот факт и уже сейчас предпринимает шаги для переноса своих приложений в «облако». Так случилось и с нашим проектом, заказчик сказал, что хочет «витать в облаках». Т.к. приложение разрабатывалось на Silverlight, то никаких сомнений в выборе Cloud-а не возникло и решено было использовать Windows Azure.

Хочу обратить внимание хабраюзеров на потенциально очень любопытный новый сервис: DotCloud.

Чем он любопытен? Около трех лет назад появились первые более или менее популярные PaaS'ы (Platform as a Service): Heroku и Google App Engine, каждый из которых ориентирован на конкретный стек технологий (Ruby и Python соответственно). С тех пор разных PaaS'ов появилось довольно много, но ничего принципиально нового у них не было.

Официально анонсирован выход новых версий инструментов разработки Windows Azure SDK 1.4 и портала управления облачными сервисами Windows Azure Management Portal.

Новая версия Windows Azure SDK 1.4 включает в себя новые функции для работы с Windows Azure Connect (организация сети между экземплярами в облаке) и Windows Azure Content Delivery Network (сеть доставки контента CDN):

• Windows Azure Connect:
  
  • поддержка нескольких административных записей в Admin UI;
  • обновленный Client UI с улучшениями в части уведомлений и диагностики;
  • возможность установить Windows Azure Connect на локализации Windows отличные от английской;
• Windows Azure CDN:
  • услуга WindowsAzure CDN for Hosted Services: разработчики могут использовать роли web и VM как источники объектов распространяемых через CDN. Таким образом, статический контент сайтов будет автоматически закэширован на разных узлах по всему миру: в США, Европе, Азии, Австралии и Южной Америке для быстрейшего доступа и снижения задержек по сети при доступе пользователя к контенту;
  • добавлена поддержка и настройка доставки контента из CDN по защищенным каналам через HTTPS.
• портал Windows Azure Management Portal был обновлен, теперь пользовательский интерфейс более отзывчивый.

Для того, чтобы загрузить обновленный Windows Azure SDK 1.4 перейдите по следующей ссылке. Начать использовать Windows Azure и портал Windows Azure Management Portal  можно отсюда.

Свершилось то, о чём так долго говорили в рассылке xen-api — вышла версия 1.0 Xen Cloud Platform.

Ключевые изменения:

• Обновление версии ядра (у зена это всегда очень специфичный топик)
• Поддержка blktap2
• Поддержка Bexar (точнее, наоборот, Bexar поддерживает XCP)
• Поддержка RDAC mulipath на уровне XAPI
• Локальное кеширование данных сетевых хранилищ
• Управляемые автобэкапы машин
• Загрузка хостов с сетевых хранилищ (требуется соответствующий HBA)

От себя добавлю (что заметил нового при ковырянии с RC-версиями):

• Thin provision на LVM (включая iscsiolvm)
• Поддержка pure virtual networks между хостами (маршрутизация трафика через GRE-инкапсуляцию)
• xapi наконец-таки стало устанавливаться как RPM-пакеты, а не как помойка blob-кода в /opt.
• Существенная переработка документации

Запись в блоге Xen'а: blog.xen.org/index.php/2011/03/03/xcp-1-0-released
Ссылка на страницу загрузки: www.xen.org/download/xcp/index_1.0.0.html

В блоге зена анонсировали переезд нестабильной ветки XCP на github.

Чтобы понять значимость этого события, нужно понять историю Xen Cloud Platform. Компания Xensource, основанная автором Xen'а развивала опенсорсную версию гипервизора и две независимые ветви его «обвязки»: xend и xapi. Xend шёл под свободной лицензией (и входит в состав большинства дистрибутивов), а xapi был «сердцем» платной (и весьма дорогой) платформы для виртуализации XenServer. Через некоторое время покупки Xensource Citrix'ом была опуликована опенсорсная версия xapi (GPL), лёгшая в основу Xen Cloud Platform.

Версия формально была в открытом доступе, но фактически, её разработкой занимались только сотрудники Citrix, так как только у них был доступ к репозиторию, а механизма приёма патчей от сторонних разработчиков толком не было.

И вот, переезд на github с первыми коммитами со стороны не сотрудников цитрикс. Собственно, именно в этот момент XCP становится по-настоящему открытой платформой для построения облачных систем.

Ключевые отличия xapi по сравнению с xend'ом:

В продолжение к FAQ по Windows Azure Platform публикую ответы на наиболее часто задаваемые вопросы по SQL Azure.

Платформа OpenStack, предназначена для развертывания приватных и публичных cloud-сервисов.
В настоящий момент в рамках проекта развиваются два продукта: распределенное, отказоустойчивое и высоконадежное хранилище объектов OpenStack Object Storage и инструментарий OpenStack Compute, позволяющий автоматически создавать и управлять работой больших групп VPS-серверов."

Как мне кажется её открытость снимает один из пугающих минусов SaaS и облаков — привязку к поставщику (vendor lock in).
Кроме того часть хранилища для актуальной информации можно разместить у себя. А заоблачной частью пользоваться для архивов.

В последнее время услышал много различных вопросов о Windows Azure Platform. В данной серии FAQ отвечу на наиболее часто задаваемые из них.

Наверное, все собравшиеся помнят высказывания Ларри Эллисона относительно облаков. Вот лишь один пример:


Внутри компании мы попытались порассуждать, что же ждет ИТ-службы с приходом облака, так, как его понимают маркетологи. И вот что у нас получилось. (Внимание, кросспост)