Прочитав вчера отчёт, который утверждает, что облачный хостинг Rackspace выгоднее, чем Amazon, я решил сегодня это проверить.

У меня нет времени делать формальные бенчмарки, так что я сделал на хостинге Rackspace клон системы, которая с трудом выдерживает нагрузку на EC2. Я выбрал самый дешёвый тариф на Rackspace, гигабайтный 32-битный сервер Windows 2003, который стоит $0,08 в час, то есть $59 в месяц. Это значительно дешевле, чем мини-сервер за $90 у Amazon. Результат оказался шокирующим.

Вступление:

Наиболее интересная часть разработки обычно приходится на первые 33% жизненного цикла проекта. А самое интересное — это создание чернового прототипа, демонстрирующего вашу идею. После этого момента возбуждение начинает постепенно снижаться по мере того, как вы начинаете высматривать, что бы подштопать, и стараетесь сделать ваше приложение достаточно масштабируемым, чтобы оно могло выдержать свою успешность. В настоящее время я — актёр-одиночка, так что с одной стороны у меня нет ресурсов, чтобы самому возиться с железом, а с другой — у моих проектов нет потребности в дата-центрах.

Цель моего анализа — сравнить двух основных игроков в мире облачных вычислений, Google App Engine (GAE) и Amazon Web Services (AWS). Оба неслабо разогнались за последние годы, но кто из них больше мне подойдёт? Давайте разбираться.

В этот раз отличилась компания Cycle Computing.
Специально для вычисления одного из заданий фармацевтической компании Genentech было создан вычислительный кластер из 10 тыс. ядер на сервисе Amazon Elastic Compute Cloud.
На каждом из узлов кластера была установлена система CentOS. Для управления всей этой махиной использовалось программное обеспечение CycleCloud software, а также ПО Condor и Chef (open source)

В процессе подсчета белковых связей на даном кластере компания Genentech понесла очень небольшие затраты.
За восемь часов работы данного кластера она выплатила всего 8500 долларов (включены все выплаты Amazon и Cycle Computing).
Немного технических характеристик полученного кластера:
Быстродействие: ~66TFlops
Оперативная память: 8,75 Тб
Дисковое пространство: 2 Пт

Кластер состоял из 1250 физических машин, в каждой использовалось 8 ядер.

Microsoft и Toyota объявили о стратегическом партнёрстве в области создания телематических сервисов нового поколения на базе платформы Windows Azure (пресс-релиз Microsoft).

Сначала «облачную телематику» внедрят в электрических и гибридных автомобилях Toyota (RAV4, Prius), но к 2015 году будут ставить на все новые модели. Toyota является крупнейшим в мире производителем автомобилей и по праву считается самым инновационным. Подключение автомобильных компьютеров к интернету и облаку Azure позволит поставлять современные цифровые информационные сервисы и как-то эффективнее управлять зарядом автомобильных батарей, а также общаться автомобилям между собой.

Учитывая развернувшийся в последнее время маркетинговый хайп по поводу SaaS и поднимающееся анти-SaaS движение, захотелось разобраться в чем же фундаментальное отличие SaaS от традиционного ПО и вот представляю свои мысли по этому поводу на ваш суд. Уточню, что сравнение сделано как бы от лица принимающего решение о выборе SaaS, а не его разработчика или провайдера, у которых критерии заниматься ли SaaS бизнесом или нет, конечно же другие.

Облачные вычисления всё прочнее занимают свои позиции. Всё большее количество людей осознаёт этот факт и уже сейчас предпринимает шаги для переноса своих приложений в «облако». Так случилось и с нашим проектом, заказчик сказал, что хочет «витать в облаках». Т.к. приложение разрабатывалось на Silverlight, то никаких сомнений в выборе Cloud-а не возникло и решено было использовать Windows Azure.

Хочу обратить внимание хабраюзеров на потенциально очень любопытный новый сервис: DotCloud.

Чем он любопытен? Около трех лет назад появились первые более или менее популярные PaaS'ы (Platform as a Service): Heroku и Google App Engine, каждый из которых ориентирован на конкретный стек технологий (Ruby и Python соответственно). С тех пор разных PaaS'ов появилось довольно много, но ничего принципиально нового у них не было.

Официально анонсирован выход новых версий инструментов разработки Windows Azure SDK 1.4 и портала управления облачными сервисами Windows Azure Management Portal.

Новая версия Windows Azure SDK 1.4 включает в себя новые функции для работы с Windows Azure Connect (организация сети между экземплярами в облаке) и Windows Azure Content Delivery Network (сеть доставки контента CDN):

• Windows Azure Connect:
  
  • поддержка нескольких административных записей в Admin UI;
  • обновленный Client UI с улучшениями в части уведомлений и диагностики;
  • возможность установить Windows Azure Connect на локализации Windows отличные от английской;
• Windows Azure CDN:
  • услуга WindowsAzure CDN for Hosted Services: разработчики могут использовать роли web и VM как источники объектов распространяемых через CDN. Таким образом, статический контент сайтов будет автоматически закэширован на разных узлах по всему миру: в США, Европе, Азии, Австралии и Южной Америке для быстрейшего доступа и снижения задержек по сети при доступе пользователя к контенту;
  • добавлена поддержка и настройка доставки контента из CDN по защищенным каналам через HTTPS.
• портал Windows Azure Management Portal был обновлен, теперь пользовательский интерфейс более отзывчивый.

Для того, чтобы загрузить обновленный Windows Azure SDK 1.4 перейдите по следующей ссылке. Начать использовать Windows Azure и портал Windows Azure Management Portal  можно отсюда.

Свершилось то, о чём так долго говорили в рассылке xen-api — вышла версия 1.0 Xen Cloud Platform.

Ключевые изменения:

• Обновление версии ядра (у зена это всегда очень специфичный топик)
• Поддержка blktap2
• Поддержка Bexar (точнее, наоборот, Bexar поддерживает XCP)
• Поддержка RDAC mulipath на уровне XAPI
• Локальное кеширование данных сетевых хранилищ
• Управляемые автобэкапы машин
• Загрузка хостов с сетевых хранилищ (требуется соответствующий HBA)

От себя добавлю (что заметил нового при ковырянии с RC-версиями):

• Thin provision на LVM (включая iscsiolvm)
• Поддержка pure virtual networks между хостами (маршрутизация трафика через GRE-инкапсуляцию)
• xapi наконец-таки стало устанавливаться как RPM-пакеты, а не как помойка blob-кода в /opt.
• Существенная переработка документации

Запись в блоге Xen'а: blog.xen.org/index.php/2011/03/03/xcp-1-0-released
Ссылка на страницу загрузки: www.xen.org/download/xcp/index_1.0.0.html

В блоге зена анонсировали переезд нестабильной ветки XCP на github.

Чтобы понять значимость этого события, нужно понять историю Xen Cloud Platform. Компания Xensource, основанная автором Xen'а развивала опенсорсную версию гипервизора и две независимые ветви его «обвязки»: xend и xapi. Xend шёл под свободной лицензией (и входит в состав большинства дистрибутивов), а xapi был «сердцем» платной (и весьма дорогой) платформы для виртуализации XenServer. Через некоторое время покупки Xensource Citrix'ом была опуликована опенсорсная версия xapi (GPL), лёгшая в основу Xen Cloud Platform.

Версия формально была в открытом доступе, но фактически, её разработкой занимались только сотрудники Citrix, так как только у них был доступ к репозиторию, а механизма приёма патчей от сторонних разработчиков толком не было.

И вот, переезд на github с первыми коммитами со стороны не сотрудников цитрикс. Собственно, именно в этот момент XCP становится по-настоящему открытой платформой для построения облачных систем.

Ключевые отличия xapi по сравнению с xend'ом:

В продолжение к FAQ по Windows Azure Platform публикую ответы на наиболее часто задаваемые вопросы по SQL Azure.

Платформа OpenStack, предназначена для развертывания приватных и публичных cloud-сервисов.
В настоящий момент в рамках проекта развиваются два продукта: распределенное, отказоустойчивое и высоконадежное хранилище объектов OpenStack Object Storage и инструментарий OpenStack Compute, позволяющий автоматически создавать и управлять работой больших групп VPS-серверов."

Как мне кажется её открытость снимает один из пугающих минусов SaaS и облаков — привязку к поставщику (vendor lock in).
Кроме того часть хранилища для актуальной информации можно разместить у себя. А заоблачной частью пользоваться для архивов.

В последнее время услышал много различных вопросов о Windows Azure Platform. В данной серии FAQ отвечу на наиболее часто задаваемые из них.

Наверное, все собравшиеся помнят высказывания Ларри Эллисона относительно облаков. Вот лишь один пример:


Внутри компании мы попытались порассуждать, что же ждет ИТ-службы с приходом облака, так, как его понимают маркетологи. И вот что у нас получилось. (Внимание, кросспост)

Одним из ключевых вопросов доступности контента явяляется физическое расположение сервисов CDN. Для справки, сеть распределения контента (Windows Azure Content Delivery Network, CDN) предоставляет в распоряжение разработчиков глобальное и надежное решение для доставки контента, требующего высокой пропускной способности (high-bandwidth content). Сеть Windows Azure CDN реализована в виде узлов, которые располагаются в США, Европе, Азии, Австралии и Южной Америке. Сеть кеширует бинарные объекты, хранящиеся на уровне платформы Windows Azure для того, чтобы обеспечить максимальную пропускную способность по доставке контента глобально распределенным пользователям.

Рад сообщить, что 31.01.11 был запущен сервис CDN и в Москве, который улучшит доступность контента на территории России.

Полезные материалы:

• Центр разработки для Windows Azure
• Электронная книга «Windows Azure – облачная платформа Microsoft”

В последнее время услышал достаточно большое колличество вопросов касательно безопасности облачных датацентров Microsoft. В данной статье мы кратко рассмотрим модель обеспечения безопасности датацентров и развеем все мифы и противоречивые слухи касательно безопасности облачных сервисов Microsoft.

Серию официальных постов в блоге компании про то, как работать с облаком я ещё продолжу, но параллельно мне хочется рассказать про те проблемы, с которыми мы столкнулись во время адаптации Xen Cloud Platform под нашу модель работы облака. Эти посты будут чуток сложнее и предполагают, что читатель хотя бы в общих чертах знает, как работает Xen.

Когда концепция «оплата по потреблению» только-только оформлялась, а я судорожно искал «как считать», мне казалось, что процессор и память — это два самых простых ресурса.

Действительно, у нас есть xencontrol (библиотека управления гипервизором Xen), которая может точно сказать про каждый домен (запущенную виртуальную машину), сколько у неё есть памяти, сколько наносекунд времени было потрачено. Эта библиотека запрашивает информацию напрямую (через xenbus) у гипервизора и подвергает её минимальной обработке.

Выглядит эта информация примерно так (вывод биндинга xencontrol для питона):

{
    'paused': 0, 
    'cpu_time': 1038829778010L, 
    'ssidref': 0, 
    'hvm': 0, 
    'shutdown_reason': 0, 
    'dying': 0, 
    'mem_kb': 262144L, 
    'domid': 3, 
    'max_vcpu_id': 7, 
    'crashed': 0, 
    'running': 0, 
    'maxmem_kb': 943684L, 
    'shutdown': 0, 
    'online_vcpus': 8, 
    'handle': [148, 37, 12, 110, 141, 24, 149, 226, 8, 104, 198, 5, 239, 16, 20, 25], 
    'blocked': 1
}

Как мы видим, есть поле mem_kb, соответствующее выделенной памяти для виртуальной машины и есть поле cpu_time, содержащее какое-то умопомрачительное число (хотя на самом деле это всего лишь 17 минут). cpu_time считает с точностью до наносекунд (точнее, величина, которая тут хранится считается в наносекундах, реальная точность около микросекунды). Память, как понятно, в килобайтах (хотя внутренней единицей учёта, что гипервизора, что ядра линукс является страница — её размер по-умолчанию 4 килобайта).

Казалось бы «бери и считай», однако, дьявол кроется в деталях…

Извините за жёлтый заголовок ниже, но именно так звучал вопрос в полемике в ходе обсуждения одной из проблем:

Hyper-threading + Xen = воровство денег у клиентов

В своей работе очень часто сталкиваюсь с тем, приходится делать краткие обзоры ИТ технологий для начальника, коллег и др. Данная информация обычно оформляется в статью и отвечает на следующие вопросы:
— почему «это» лучше чем «то» (специально написал обезличено, так как такой вопрос задают очень часто и на различные тематики связанные с ИТ и не только);
— в чем достоинства и недостатки при переходе на «то» или «это»;
— как лучше сделать чтобы … и др.

Проблема в том, что написание краткой статьи по «этому» или «тому» неизбежно, хотя объяснить намного быстрее, чем набирать текст, но надо текст и с этим ничего не поделаешь, а так жалко времени, которое бесценно и убегает с каждой секундой. Я думаю, что я не один сталкиваюсь с такой проблемой, поэтому предлагаю начать раздел под названием – «Начальнику в помощь» в котором будем публиковать статьи подобного рода (тем более, что они и так будут написаны вами), тем самым сэкономим время и поможем друг другу. В один прекрасный момент и к вам обратятся с таким вопросом, и возможно, кто-то уже написал ответ на этом вопрос и будет легче написать статью или просто скинуть ссылку на уже написанную, сэкономив драгоценное время.

Итак приступим. Вопрос с которым ко мне обратились был следующим. «Почему облачные вычисления лучше, чем классическая схема построения сетевой инфраструктуры, какова основная причина того, многие организации „перебираются в облака“?». Далее мои мысли по этому поводу.

Времени остается все меньше и меньше до нового года. Наконец-то могу сказать про самый главный и полезный подарок к новому году. Сегодня мы запускаем абсолютно новый центр по Windows Azure на MSDN, который содержит большое количество полезных материалов на русском языке, а именно cерию статей “Windows Azure – облачная платформа Microsoft”. Краткий список материалов:

• Введение в Windows Azure
• Облачные вычисления (5 статей)
• Технические возможности платформы Windows Azure (8 статей)
• Архитектура приложений в облаке (4 статьи)
• Дополнительные материалы (6 статей)

Полный список под катом