Облачные вычисления *

Занимаясь стартапами я, наконец-то, дошел до той точки, когда нужно быть готовым отмасштабировать приложение на N серверов для 1M просмотров в день и я начал думать, как же это сделать наиболее эффективно с использованием Amazon Ec2.

Примерный план известен всем — сервер помощнее для базы данных и набор небольших серверов, которые запускаются/останавливаются по мере необходимости в зависимости от нагрузки.

Из недорогих серверов у амазона особого выбора нет. Изначально я планировал использовать для этого Small Instance — именно этот вариант рекомендует amazon по умолчанию. В нем 1.7 GB RAM, что довольно комфортно для windows, но только 1 ECU. На практике в памяти можно разместить 5-8 рабочих процессов, однако, толком работать одновременно они не способны — ядро одно и очень слабое: 1 ECU это всего-то 1 Ghz одного ядра Xeon образца 2007 года. По моим оценкам, примерный эквивалент — процессор Celeron на частоте 1.5 Ghz. Стоит такой сервер $0.12 в час ~ $86 в месяц, десяток — $860 в месяц… Было очевидно, что эта конфигурация сервера не совсем отвечает моим задачам.

Поэтому я решил попробовать Micro instance — всего-навсего 613 MB памяти, но зато:

• производительность достигает 2 ECU
• он в 4 раза дешевле
• можно использовать 64 битную платформу Windows Server 2008 R2 Core

Эпидемия падений облачных хостингов продолжается. На этот раз упал Parking.ru, вместе со своим главным сайтом. Виртуальные машины недоступны, телефон техподдержки тем более.

Cloud Hosting — это очень надёжно?

Update. Служба поддержки наконец смогла выдавить из себя письмо, в ответ на тикет:

From: Parking.ru. Cлужба поддержки. [mailto:helpdesk@parking.ru] 
Sent: Tuesday, May 31, 2011 11:24 AM
 
Уважаемые пользователи!


Сегодня, в связи с аварией системы охлаждения в ЦОД МГУ возможны перебои
в работоспособности серверов. О сроках восстановления сообщим дополнительно.

C уважением, 

И***** В****** 
Parking.ru

Непонятно, зачем было держать в неведении, имея аккаунт на Хабре, не говоря уж о микроблоге в Твиттере. Рассылок по пользователям, видимо, тоже уже не существует.

Облачные хранилища данных, несомненно, одно из самых интересных и актуальных направлений в IT. Достаточно сказать, что за лидерство здесь идет активная борьба между такими гигантами как Microsoft, Google, Amazon. Интерес к этому активно подогревается также сторонними разработками, активно использующими эти сервисы. Например, менеджер Dropbox, который, как теперь уже кажется, был всегда. Уже не верится, что каких то 2 года назад он почти не был известен.

Со временем я «оброс» различными хранилищами, хранилища в свою очередь обросли сервисами. И недавнее гугление по названию Gladinet при чтении комментариев здесь, на Хабре (извиняюсь, не смог найти комментарий), привело на сайт разработчиков desktop приложения Gladinet, вполне достойного пристального внимания.

Установив бесплатную версию приложения, обнаружил, что к вновь созданному устройству могу подключить практически все облака, которыми раньше пользовался. Все данные при первом запуске подключаются как ссылки. Загрузка происходит уже при фактическом обращении к файлам.

Приложение встраивается в проводник и другие файл-менеджеры (в моем случае Total Comander) как дополнительный диск, в котором собираются все виртуальные устройства.

А что ты перенес в облака из своего обихода?

Примерно год назад я задумался о переходе в облака всего, что меня окружает. Я долго рассматривал разные варианты и основной платформой выбрал для себя гугл. Сменил телефон на андроидофон и понеслась.

1)Емайл: Я полностью отказался от купленного the bat и перешел на гуглопочту, настроил на всех почтах перенаправления на основную и дал разрешение основной почте слать письма от всех моих ящиков. Сразу обращу внимание на безопасность и возможность привязки гуглопочты к номеру сотового телефона, что позволит при потере контроля или взломе вернуть себе доступ к ящику.

Хотите получить облачное хранилище, но при этом иметь больше контроля над вашим сервисом, чем вы могли бы получить от Dropbox и его конкурентов? Здесь представлены несколько способов, чтобы создать ваше собственное хранилище в стиле Dropbox.

Amazon наконец-то опубликовала подробный отчёт о причинах сбоя в четверг 21 апреля, в результате которого одна из зон доступности на восточном побережье США почти полностью не работала в течение двух суток, а другие зоны в том же регионе глючили некоторое время.

Итак, первопричиной сбоя стала ошибка в сетевых настройках кластера Amazon Elastic Block Store (“EBS”) во время обычной работы по изменению масштабируемости. Сетевые настройки должны были увеличить ёмкость основной сети. Одним из стандартных этапов этой процедуры является снятие трафика с одного из перегруженных маршрутизаторов, чтобы сделать апгрейд. Трафик должен пойти в основную сеть. Но из-за ошибки изменение маршрутизации трафика произошло некорректно: вместо основной сети он пошёл в сеть низкой пропускной способности (в EBS используется две сети: основная для трафика и вторая для коммуникации EBS-узлов в кластере между собой и репликации).

Самым популярным трендом в it можно смело назвать облака, все от мала до велика строят свои или используют чужие. Кто то поставил сайт в облако и экономит, кто то строит свои гигантские облака и зарабатывает.
Что может пригодится обычному юзеру, вебмастеру, админу в облаках и почему в России их так мало(или много)?

Облачные вдс/впс

На рынке России предоставляют облачные впсы уже наверно более 10 компаний, у кого то более облачные, у кого то менее. В чем же отличие облачных вдсов от обычных? В большинстве своем все одинаково, железо тоже самое, теже сервера, теже саны(хотя до сих пор некоторые хостеры держат вдски на локальных дисках), теже каналы связей(все с теми же свичами и маршрутизаторами), единственной особенностью этих вдс была возможность миграции между серверами, что повышало их доступность.

Недавно, увидев на хабре анонс, я решил попробовать облачный хостинг от Selectel, и теперь, после 2-х месяцев использования в 2 подхода, я готов поделиться своими мнениями и результатами.

А главное — вы наконец узнаете, сколько это стоит, т.к. ценовая политика очень необычная: нет абонентской платы, деньги берут только за потребленные ресурсы, но ресурсов этих много разных.

21 апреля в 01:41 по тихоокеанскому времени произошёл серьёзный сбой в одном из дата-центров Amazon Web Services, «облака» для многих сайтов. Некоторые крупные проекты (Reddit, Quora, Foursquare) ушли в офлайн или сильно пострадали. Я уже видел кучу дезинформации с намёком на то, что проблемы пострадавших сайтов связаны только с ленью инженеров этих проектов, но в данном случае причина в другом. И вот почему.

У AWS две концепции относительно доступности: регионы (Regions) и зоны доступности (Availability Zones, AZ). Есть пять регионов: два в США (западное и восточное побережье), один в Европе (Ирландия) и два в Азии (Токио, Сингапур). В каждом регионе расположены несколько AZ, которые должны быть изолированы друг от друга и не иметь общей точки сбоя, кроме стихийного бедствия или чего-нибудь подобного масштаба.

Сегодня в районе 2 ночи по тихоокеанскому времени сервера, «находящиеся» в дата-центре Amazon в North Virginia (US-East), внезапно полегли.

Судя по странице статусов амазона, дата-центр всё еще в дауне.

По причине недоступности серверов лежат Quora, Foursquare, Reddit, множество facebook-игр, да и сотни разных стартапов.

P.S. Вроде как сегодня должна была начаться атака SkyNet-а. Они выбрали интересный способ :)

Upd. Список пострадавших

 

Прочитав вчера отчёт, который утверждает, что облачный хостинг Rackspace выгоднее, чем Amazon, я решил сегодня это проверить.

У меня нет времени делать формальные бенчмарки, так что я сделал на хостинге Rackspace клон системы, которая с трудом выдерживает нагрузку на EC2. Я выбрал самый дешёвый тариф на Rackspace, гигабайтный 32-битный сервер Windows 2003, который стоит $0,08 в час, то есть $59 в месяц. Это значительно дешевле, чем мини-сервер за $90 у Amazon. Результат оказался шокирующим.

Вступление:

Наиболее интересная часть разработки обычно приходится на первые 33% жизненного цикла проекта. А самое интересное — это создание чернового прототипа, демонстрирующего вашу идею. После этого момента возбуждение начинает постепенно снижаться по мере того, как вы начинаете высматривать, что бы подштопать, и стараетесь сделать ваше приложение достаточно масштабируемым, чтобы оно могло выдержать свою успешность. В настоящее время я — актёр-одиночка, так что с одной стороны у меня нет ресурсов, чтобы самому возиться с железом, а с другой — у моих проектов нет потребности в дата-центрах.

Цель моего анализа — сравнить двух основных игроков в мире облачных вычислений, Google App Engine (GAE) и Amazon Web Services (AWS). Оба неслабо разогнались за последние годы, но кто из них больше мне подойдёт? Давайте разбираться.

В этот раз отличилась компания Cycle Computing.
Специально для вычисления одного из заданий фармацевтической компании Genentech было создан вычислительный кластер из 10 тыс. ядер на сервисе Amazon Elastic Compute Cloud.
На каждом из узлов кластера была установлена система CentOS. Для управления всей этой махиной использовалось программное обеспечение CycleCloud software, а также ПО Condor и Chef (open source)

В процессе подсчета белковых связей на даном кластере компания Genentech понесла очень небольшие затраты.
За восемь часов работы данного кластера она выплатила всего 8500 долларов (включены все выплаты Amazon и Cycle Computing).
Немного технических характеристик полученного кластера:
Быстродействие: ~66TFlops
Оперативная память: 8,75 Тб
Дисковое пространство: 2 Пт

Кластер состоял из 1250 физических машин, в каждой использовалось 8 ядер.

Microsoft и Toyota объявили о стратегическом партнёрстве в области создания телематических сервисов нового поколения на базе платформы Windows Azure (пресс-релиз Microsoft).

Сначала «облачную телематику» внедрят в электрических и гибридных автомобилях Toyota (RAV4, Prius), но к 2015 году будут ставить на все новые модели. Toyota является крупнейшим в мире производителем автомобилей и по праву считается самым инновационным. Подключение автомобильных компьютеров к интернету и облаку Azure позволит поставлять современные цифровые информационные сервисы и как-то эффективнее управлять зарядом автомобильных батарей, а также общаться автомобилям между собой.

Учитывая развернувшийся в последнее время маркетинговый хайп по поводу SaaS и поднимающееся анти-SaaS движение, захотелось разобраться в чем же фундаментальное отличие SaaS от традиционного ПО и вот представляю свои мысли по этому поводу на ваш суд. Уточню, что сравнение сделано как бы от лица принимающего решение о выборе SaaS, а не его разработчика или провайдера, у которых критерии заниматься ли SaaS бизнесом или нет, конечно же другие.

Облачные вычисления всё прочнее занимают свои позиции. Всё большее количество людей осознаёт этот факт и уже сейчас предпринимает шаги для переноса своих приложений в «облако». Так случилось и с нашим проектом, заказчик сказал, что хочет «витать в облаках». Т.к. приложение разрабатывалось на Silverlight, то никаких сомнений в выборе Cloud-а не возникло и решено было использовать Windows Azure.

Хочу обратить внимание хабраюзеров на потенциально очень любопытный новый сервис: DotCloud.

Чем он любопытен? Около трех лет назад появились первые более или менее популярные PaaS'ы (Platform as a Service): Heroku и Google App Engine, каждый из которых ориентирован на конкретный стек технологий (Ruby и Python соответственно). С тех пор разных PaaS'ов появилось довольно много, но ничего принципиально нового у них не было.

Официально анонсирован выход новых версий инструментов разработки Windows Azure SDK 1.4 и портала управления облачными сервисами Windows Azure Management Portal.

Новая версия Windows Azure SDK 1.4 включает в себя новые функции для работы с Windows Azure Connect (организация сети между экземплярами в облаке) и Windows Azure Content Delivery Network (сеть доставки контента CDN):

• Windows Azure Connect:
  
  • поддержка нескольких административных записей в Admin UI;
  • обновленный Client UI с улучшениями в части уведомлений и диагностики;
  • возможность установить Windows Azure Connect на локализации Windows отличные от английской;
• Windows Azure CDN:
  • услуга WindowsAzure CDN for Hosted Services: разработчики могут использовать роли web и VM как источники объектов распространяемых через CDN. Таким образом, статический контент сайтов будет автоматически закэширован на разных узлах по всему миру: в США, Европе, Азии, Австралии и Южной Америке для быстрейшего доступа и снижения задержек по сети при доступе пользователя к контенту;
  • добавлена поддержка и настройка доставки контента из CDN по защищенным каналам через HTTPS.
• портал Windows Azure Management Portal был обновлен, теперь пользовательский интерфейс более отзывчивый.

Для того, чтобы загрузить обновленный Windows Azure SDK 1.4 перейдите по следующей ссылке. Начать использовать Windows Azure и портал Windows Azure Management Portal  можно отсюда.

Свершилось то, о чём так долго говорили в рассылке xen-api — вышла версия 1.0 Xen Cloud Platform.

Ключевые изменения:

• Обновление версии ядра (у зена это всегда очень специфичный топик)
• Поддержка blktap2
• Поддержка Bexar (точнее, наоборот, Bexar поддерживает XCP)
• Поддержка RDAC mulipath на уровне XAPI
• Локальное кеширование данных сетевых хранилищ
• Управляемые автобэкапы машин
• Загрузка хостов с сетевых хранилищ (требуется соответствующий HBA)

От себя добавлю (что заметил нового при ковырянии с RC-версиями):

• Thin provision на LVM (включая iscsiolvm)
• Поддержка pure virtual networks между хостами (маршрутизация трафика через GRE-инкапсуляцию)
• xapi наконец-таки стало устанавливаться как RPM-пакеты, а не как помойка blob-кода в /opt.
• Существенная переработка документации

Запись в блоге Xen'а: blog.xen.org/index.php/2011/03/03/xcp-1-0-released
Ссылка на страницу загрузки: www.xen.org/download/xcp/index_1.0.0.html