Одна из первых проблем, с которой сталкиваешься, когда решаешь сделать в облаке «неограниченную память» — это то, что современные операционные системы не готовы к «неограниченной памяти». Связано это с дисковым кешем.

Ядро забирает себе всю свободную память для кеша. Если есть дисковые операции и есть свободная память — кеш будет расти. В случае сервера с единолично пользуемой памятью это благо, однако, если мы говорим о том, что все мегабайты платные, платить за дисковый кеш в 10-20Гб откровенно не хочется.

Я пытался найти возможность ограничить размер дискового кеша для линукса, но всё, что нашёл — это странный патч 2003 года (который, разумеется, в основную ветку не взяли).

Получается, что чем больше гость работает, тем больше его ядро берёт себе памяти от (неограниченного) объёма. Результат — если не ограничивать систему вообще, то она за весьма незначительное время вырастает либо до размера дисковых устройств (спасибо, дискового кеша больше, чем размер диска, не бывает), либо до максимально доступного на платформе объёма памяти. Заметим, что в этих условиях пасуют все технологии — и компрессия памяти, и дедупликация страниц памяти (у каждой ВМ свой кеш). Эта проблема стоит перед любой системой виртуализации. Ниже описываются варианты решения с оглядкой на Xen Cloud Platform.

Слова «облако», «облачные вычисления», «облачный» используются для чего попало. Новое модное слово, buzzword. Мы видим «облачные антивирусы», «облачные блейд-сервера». Даже именитые вендоры сетевого оборудования, не стесняются выставлять коммутаторы с ярлыком «for cloud computing». Это вызывает инстинктивную неприязнь, примерно, как «органические» продукты питания.

Любой технарь, который попытается разобраться с технологиями, лежащими в основе «облака», после нескольких часов борьбы с потоком рекламных восторгов, обнаружит, что это облака — это те же VDSы, вид сбоку. Он будет прав. Облака, в том виде, как их делают сейчас — обычные виртуальные машины.

Однако, облака, это не только маркетинг и переименованные VDS. У слова «облако» (или, точнее у фразы «облачные вычисления») есть есть своя техническая правда. Она не такая патетичная и восхитительно-инновационная, как рассказывают маркетологи, но она всё-таки есть. Придумана она была много десятилетий назад, но только сейчас инфраструктура (в первую очередь, Интернет и технологии виртуализации x86) доросла до уровня, который позволяет реализовать её в массовом порядке.

Итак, сначала о причине, которая вообще породила потребность в облаках:

Вот как выглядит предоставляемая услуга для обычного VDS (на месте этого графика может быть любой ресурс: процессор, память, диск):


Обратите внимание: это недельный график. Существующие технологии временного увеличения лимита потребления ресурса (burst, grace period) не способны решить эту проблему на таких длинных интервалах. Т.е. машина недополучает ресурсы тогда, когда они ей больше всего нужны.

Вторая проблема — посмотрите на огромные интервалы (голубой цвет), когда ресурсы, фактически, пришлось оплатить, но использовать не удалось. Виртуальной машине ночью просто не нужно столько ресурсов. Она простаивает. И не смотря на это — владелец платит по полной.

Возникает проблема: человек вынужден заказывать ресурсов больше, чем нужно в среднем, для того, чтобы переживать без проблем пики. В остальное время ресурсы простаивают. Провайдер видит, что сервер не нагружен, начинает продавать ресурсов больше, чем есть (это называют «оверселл»). В какой-то момент, например, из-за пика нагрузки на нескольких клиентов, провайдер нарушает свои обязательства. Он обещал 70 человекам по 1Ггц — но у него есть только 40 (2.5*16 ядер). Нехорошо.

Продавать полосу честно (без оверселла) невыгодно (и цены нерыночные получаются). Оверселлить — снижать качество сервиса, нарушать условия договора.

Эта проблема не связана с VDS или виртуализацией, это общий вопрос: как честно продавать простаивающие ресурсы?

Именно ответом на эту проблему и стала идея «облачных вычислений». Слова хоть и модные, но своей основой уходящие во времена больших мейнфреймов, когда продавалось машинное время.

Облачные вычисления делают то же самое — вместо лимитов и квот, которые оплачиваются вне зависимости от реального потрбления, пользователям предоставляется возможность использовать ресурсы без ограничения, с оплатой реального потребления (и только того, что было реально использовано). Это и есть суть «облака».

Обычно на хабре пишут готовые статьи с ответами, но мне хочется поднять вопрос, ответ на который, мне кажется, будет отрицательным.

Суть проблемы: Системы виртуализации с высокой степенью виртуализации (я это говорю, чтобы отмести в сторону openvz) предоставляют место виртуальным машинам в форме виртуального диска. Или, точнее, виртуального блочного устройства. Иногда эмулируется скази (VMWare Server, Virtual PC), иногда «неопределённое блочное устройство», иногда прямым текстом «виртуальный диск» (Xen для PV-машин). Важным является то, что это устройство полностью повторяет свойства блочного устройства — набор секторов, которые можно читать и писать.

Большинство систем виртуализации позволяет изменять размер дисков. Многие системы позволяют это делать на ходу, в онлайне.

Вопрос звучит так: а может ли гостевая ОС воспользоваться этим местом свободно? Этот вопрос выходит за рамки виртуализации и является общим вопросом: есть ли у нас файловые системы, которые способны динамически изменяться в размере в штатном режиме?

Недавно был пост о том, что плохо в облачных вычислениях. Пост был не очень, но там прозвучало невысказанное.

Так что правильнее было бы поговорить, чего боятся в облачных вычислениях?

Сокращение персонала

Сейчас на обслуживание IT-инфраструктуры предприятия тратятся существенные ресурсы. 35-40 тысяч в месяц — это минимум. Обычно, суммы от 60 до 100+ тысяч. Это не только услуги связи, электричества, но зарплаты персонала. (разумеется, размер компаний разный, и у кого-то расходы могут быть миллионными). Персонал объективно ощущает, что если завтра все пересядут на хромос/ипады (или их наследников) и будут работать в гугльдоксах, то за что им будут платить деньги? Это подспудное ощущение, которое слегка кусает любого сисадмина. Скайп «каннибализирует» не только воип, но и навыки специалистов по астериску/офисным АТС. Гугльдоксы пока страшно выглядят, но стремятся к всё более приличному состоянию. Интернет становится всё доступнее, его всё меньше хочется заворачивать через прокси, системы контроля доступа, системы учёта трафика и все прочие признаки корпоративной сети. Компанию на 20 человек прекрасно обслужит SOHO-железяка, а возможно, и просто WiFi точка доступа с ноутбуками вокруг. Всего IT — один принтер, воткнутый в сетевой порт того же самого WiFi. На компьютерах скайп, гугльдоки и веб-почта.… Вы действительно думаете, что тут нужен сисадмин?

Страшно. Казавшиеся сложными и требовавшими Высоких Знаний технологии низводятся до уровня обычного домашнего пользователя… и работают. Active Directory, Exchange, sharepoint, офисы на локальных машинах, ISA, сервер WSUS, squd, собственный DNS-сервер, MX'ы, групповые политики…

Я продолжаю пристально изучать Xen Cloud Platform и в ходе экспериментов мне удалось создать «призрак»: виртуальную машину, которая (с точки зрения гипервизора) отсутствовала.

Эта виртуальная машина когда-то имела диск, но диск был удалён (и осталась только его кешированная копия в памяти), что, в принципе, не мешало на этот диск писать/читать.

Эта виртуальная машина когда-то имела виртуальный сетевой адаптер, но он был удалён, что в принципе, не мешало отправлять и получать ip-пакеты.

Эта виртуальная машина была — и её не стало. Её не было видно ни на высоком уровне, ни на низком. Её не существовало. Всё осложнялось тем, что я не знал, на каком из серверов облака эта виртуальная работала.

Другими словами, я имел настоящий полноценный призрак. После того, как я перегрузил нужный (лабораторный) сервер, виртуальная машина умерла. Но вопрос остался открытым:

Введение

Среди множества вариантов хранения данных, несомненно, можно выделить новую и интересную для изучения технологию хранения информации в облаке. На данный момент существует несколько сервисов по предоставлению услуг подобного вида, их можно сосчитать на пальцах – это Amazon Web Services, Sun Cloud, Windows Azure. Каждый из этих сервисов предоставляет свои интерфейсы для доступа к данным, в этой статье я бы хотел остановиться на сервисе Windows Azure.
Даная платформа облачных вычислений предоставляет 3 вида сервисов хранения информации:

Ниже представлены два интересных видео (английский язык), в которых рассказывается как создать свой диск VHD в облаке и работать с ним как с обычным диском, считывая и записывая файлы.

Первое видео подробно рассказывает, как создать VHD-образ диска и как загрузить его в облако.



Второе видео, под катом, рассказывает про то, как примонтировать загруженный вами образ в облаке и начать использовать его как обычный диск для доступа к файлам.

Похоже, Microsoft делает серьёзную ставку на облачные вычисления. Подтверждением тому — новость об объединении Windows Azure с подразделением Windows Server and Solutions. В результате сформирована новая организация под названием Server and Cloud Division, которая займётся в том числе публичным облаком Azure, частными облаками заказчиков и хостинг-партнёрами.

Такое решение Microsoft было вполне ожидаемым, поскольку Azure уже не является экспериментальным проектом, а должен приносить прибыль. Лучше всего это делать «в связке» с серверным бизнесом, который в Microsoft является хорошей машиной по зарабатыванию денег, там же есть и обширная база клиентов.

Ещё одна значимая новость в том, что с поста руководителя проекта Azure снят Рей Оззи (технический директор Microsoft), а назначен Амбит Шривастава (Amitabh Srivastava). Это сигнал, что Azure уже вырос из технического проекта в полноценный бизнес. Интересно, как это скажется на ценовой политике Azure?

Как объявлено, плату за использование Windows Azure предпологается насчитывать по машинному времени (machine hours). По такой схеме сейчас работает Amazon EC2. Как только вы развернули свое приложение — включается счетчик, на показания которого не влияет то, насколько сильно ваше приложение нагружает сервер. За месяц работы в любом случае прийдется выложить около 90 долларов + плата за трафик и хранение данных.

А теперь сравните это с ценовой политикой Google AppEngine: плата взымается за процессорное время (CPU Time). Чем меньше ваше приложение нагружает сервер, тем меньше нужно будет платить.

Этот топик родился после очередного просмотра статьи про облачные вычисления, в которой термин "облака" употребляется, кажется, в любых местах, куда только можно было его вставить. Так вот, после очередной такой статьи мне показалось, что некоторые люди совсем не понимают, что означает новое модное словечко «облачный».
Надо сказать, что я и сам иногда слишком сильно иду на поводу у моды и грешу использованием этого термина. Например, в моей первой статье об облачных вычислениях я сам иногда вставлял его, полностью не понимая его значения в том контексте. Пожалуйста, не повторяйте моих ошибок.
У меня есть одно конкретное предложение для всех: замените для себя термин «облачный» прилагательным "удалённый". Облачные вычисления — удаленные вычисления — вычисления, которые выполняются на удаленных серверах со всеми вытекающими из этого достоинствами и недостатками. Облачная платформа — удаленная платформа — платформа, которая позволяет выполнять ваши приложения на удаленном сервере.

Эта статья — обзор общей концепции облачных вычислений, а так же новой технологии, представляемой компанией Microsoft под названием SQL Azure. Авторы: я и хабраюзер zzzhenya.

Введение
Представьте, что у Вас есть идея создания инновационного стартапа, который, например, будет представлять собой новую социальную сеть. Вам необходимо в кратчайшие сроки разработать технологическую базу для Вашего стартапа. Плюс ко всему это должно затребовать минимальных финансовых вливаний. И было бы совсем здорово, если бы созданная инфраструктура для социальной сети не нуждалась в постоянной поддержке, сопровождении и контроле со стороны разработчиков. Кажется, что все вместе эти требования удовлетворить абсолютно нереально. Но нет, можно рассмотреть в качестве варианта использование облачных технологий.

Dot Net Solutions, совместно с командой евангелистов Microsoft из Рэдмонда и Monochrome выпустили новую версию WPF-приложения Wikipedia Explorer, активно использующего Windows Azure.

Что из себя представляет Wikipedia Explorer?
Это приложение для визуализации связей между статьями Википедии, построенное на мощной технологии Windows Presentation Foundation.

Причем здесь Windows Azure?
Оригинальная версия приложения подгружала информацию с Википедии налету. Это оказалось довольно медленным процессом. Теперь же нагрузку можно разделить на большое число мощных серверов, что заметно увеличивает быстродействие. На данный момент используется 50 серверов. Операция, которая на одной машине заняла бы 6 месяцев, в Windows Azure занимает около 4 дней.

Всем привет :)
Этот мой первый пост на Хабре — доклад на конференцию «Электронный бизнес и управление Интернет-проектами» , которая проходила в ГУ-ВШЭ 19-20 мая.
Буду рад любым Вашим комментариям и замечаниям.
UPD К сожалению, нет возможности перенести в тематический блог :( Пусть висит здесь :)
UPD2 Спасибо за карму, перенес в этот блог (блога Облачных вычислений не нашел, плохо искал?)
UPD3 Я реально попал на главную, или мне снится? о_О
Острожно: много букоф! :)

Аннотация: В этой работе рассматривается новая технология под названием облачные вычисления, основы ее применения, преимущества ее использования в целом по сравнению с другими технологиями и в сфере Интернет-стартапов в частности, а так же проблемы, возникающие при предоставлении и использовании облаков.

Введение
История знает множество примеров того, как некий продукт постепенно превращался в определенную общественную услугу. Достаточно вспомнить лишь переход от газовых горелок и газовых баллонов к публичной услуге предоставления газа. Такие примеры предоставляют нам понимание того, как уникальность технологии постепенно получает массовость, превращаясь в сервис.
Еще совсем недавно, буквально 20 лет назад, доля использования информационных технологий в бизнесе составляло меньше 5-10 %. Сейчас – практически 100%. Переход от уникальности к масштабности позволяет воспринимать вычислительные мощности уже не как отдельный компьютер-сервер, стоящий в здании организации, а как услугу, которая предоставляется неким далеким датацентром.

Вот тут украинские MVP создали интересный ресурс. MVP то украинские, а ресурс русскоязычный. Причем что интересно, ресурс сам по себе работает на Windows Azure.

Тут

blogs.msdn.com/windowsazure/archive/2009/03/18/windows-azure-delivers-new-ctp-capabilities.aspx
написали, что
во время конференции МИКС (http://www.visitmix.com) анонсировали новый релиз Windows Azure и соответсвующих SDK.

Обновился Azure Services Training Kit — отличная вещь для разработчика, желающего изучить Azure Services Platform.

Первая часть перевода

Детальный взгляд на технологии.

Получить общее представление о Azure Service Platform это важный первый шаг, однако, более глубокее понимание каждой из технологий тоже необходимо. В этом разделе каждый из членов семьи Azure рассматривается немного более детально.

Вторая часть перевода

Обзор платформы.

Использование компьютеров в облаке часто может быть очень неплохой идеей. Вместо того, чтобы покупать и обслуживать свое собственное железо, почему бы не использовать массу серверов, доступных и предлагаемых сегодня через интернет? Для некоторых приложений и код, и данные – и то, и другое — может жить в облаке, где кто-то другой поддерживает и обслуживает используемые ими системы. В других случаях, приложения, которые работают внутри организации — локальные (on-premises) приложения, могут хранить свои данные в облаке или использовать другую инфраструктуру из облака. Приложения, которые работаю на десктопах или мобильных устройствах могут использовать сервисы в облаке для синхронизации данных между разными системами или в каких-то других целях.

В любом случае, работает ли приложение само в облаке или использует сервисы, предоставленные облаком, либо оба варианта, нужно что-то типа платформы для таких приложений. Смотря шире, под платформой для приложений можно понимать все, что предоставляет разработчику службы для создания приложений. Для примера, в локальном мире Windows это включает такие технологии как .NET Framework, SQL Server и т.д. Чтобы приложения могли использовать облако должна существовать облачная платформа для приложений. И поскольку есть много разных применений облака для приложений, разные виды облачных платформ полезны в разных ситуациях.

Microsoft Azure Service Platform — это группа облачных технологий, каждая из которых предоставляет определенный набор сервисов для разработчиков.

Начну с того, что вчера мне прислали приглашение на участие в тестировании Windows Azure.
И теперь я хочу поделиться своим первым опытом создания облачных приложений. Это будет простой хостинг изображений.

Тем, кто еще не знает, что такое Windows Azure, я предлагаю прочитать статью «What is the Azure Services Platform?» на английском или короткое описание в википедии на русском.

Итак, приступим.

Компании, предоставляющие сервисы большим корпорациям или группам людей, часто работают 24/7 по принципу «Follow the Sun» — когда одни часовые пояса только просыпаются, другие уже работают или ложатся спать. Эта волна идёт вокруг земного шара, следуя за восходом Солнца (её «фронт» идет как раз в 8 — 10 часов утра). Это же время — пора пиковой нагрузки на электрические сети.