Объем данных, генерируемый и собираемый современными научно-исследовательским центрами, финансовыми институтами, социальными сетями, уже привычно измеряется петабайтами. Так в дата-центрах Facebook хранится уже более 15 млрд. изображений, нью-йоркская фондовая биржа NYSE создает и реплицирует ежедневно около 1 Тб данных, Большой адронный коллайдер получает около 1 Пб данных в секунду.

Очевидно, что задачи обработки больших объемов данных все чаще становятся не только перед крупными компаниями, но перед стартапами и небольшими исследовательскими группами.

Платформа Hadoop, которая, в принципе, успешно решает проблему Big Data для полу- и неструктурированных данных, в своем «чистом» виде предъявляет значительные требования как к квалификации администраторов Hadoop-кластера, так и к первоначальным финансовым затратам на аппаратное обеспечение такого кластера.

В такой ситуации симбиоз облачных технологий и платформы Hadoop все чаще представляется как крайне перспективный способ решения проблемы «Больших данных», имеющий крайне невысокий уровень входа (квалификация + затраты на запуск).

Использование статических адресов – часто используемая практика в интернете. Например, доступ к веб-сервисам Contoso может осуществляться только с определенных IP-адресов (рис. 1)

Рис. 1. Пример использования статических IP-адресов

Сразу возникает вопрос о времени жизни статических IP-адресов приложения в Windows Azure. В этой статье рассматривается процесс сохранения статических IP-адресов как для PaaS, так и для IaaS в Windows Azure.
Примечание: речь идет лишь о публичных VIP (виртуальные IP-адреса).

Продолжаем рассматривать полезные советы для начинающих, при создании отчетов в Microsoft Reporting Services.
Начало можно найти здесь: Microsoft Reporting Services советы начинающим.
Заинтересовавшихся, прошу под кат…

Классическая модель Хостинга vs Windows Azure

На хабре я недавно, но уже успел заметить много интересного материала и статей. В том числе от Андрея Кожокару korjik. Андрей много раз выкладывал информацию по подсчету стоимости хостинга, проводил на эту тему исследования для AWS и сравнивал его с другими решениями. Мне стало интересно, что же получится, если смотреть не только на AWS, но например, и на Windows Azure. Я провел небольшое исследование, сделал кое-какие выводы и буду рад обсудить их в комментариях. А вывод прост: цены приблизительно одинаковы для всех. Выбор сводится в основном к предпочтениям конкретного заказчика, а также к удобству использования того или иного решения для определенного технологического стека.
Ну, начнем.

Цель исследования

Статья сравнивает классическую модель хостинга приложений с хостингом в Windows Azure. Раскрываются преимущества и недостатки каждого решения и выбранных платформ, в соответствии с функциональными и не функциональными требованиями. Сравнивается максимальное количество опций, предоставляемых обоими провайдерами, которые подходят под предполагаемую архитектуру.

Добрый день, друзья! За несколько дней перед новогодними праздниками хотелось поделиться с вами хорошими новостями из мира облачной платформы Windows Azure.

В первую очередь стоит рассказать о декабрьском обновлении платформы, в котором для разработчиков появилось много новых полезных и удобных возможностей и инструментов.

Мы очень гордимся проведенной конференцией TechEd Russia 2012, на которой тема Windows Azure была представлена очень широко и самыми важными персонами из команды разработчиков: Скоттом Гатри, Марком Руссиновичем, Славой Кавсаном, Дмитрием Робсманом, Кириллом Гаврилюком и другими. Наш новогодний подарок для вас – это опубликованные видео-записи всех докладов на облачную тематику.

И еще одна хорошая и приятная новость – обновление обучающего пакета Windows Azure Training Kit, в которые добавлены новые материалы для самостоятельного изучения облачной платформы разработчиками или ИТ-профессионалами.

Обо всем об этом более подробно будет рассказано ниже.

Доступные инструменты значительно упрощают разработку приложений для Windows Azure. При изложении материала предполагается, что пользователь не имеет опыта работы с Windows Azure. Выполнение всех шагов данного руководства позволит запустить приложение на основе Django в облаке.

Из этого руководства вы узнаете:

• Как создать базовое приложение Django.
• Как запускать и отлаживать приложения Django локально с помощью тестового сервера Django.
• Как запускать приложения Django локально в эмуляторе среды.
• Как публиковать и повторно публиковать приложение на платформе Windows Azure.

Следуя приведенным инструкциям, вы создадите простое веб-приложение Hello World. Приложение будет размещено в экземпляре веб-роли, которая размещается в выделенной виртуальной машине на платформе Windows Azure.

Друзья, напоминаем вам о том, что только до 14 января будут действовать максимальные скидки на посещение конференции DevCon 2013. Торопитесь воспользоваться этим шансом и приобрести билеты по самой низкой цене.

Для того, чтобы успеть воспользоваться скидкой нужно всего лишь зарегистрироваться на сайте и выставить счет на оплату до 14 января. Да, мы знаем что сейчас у всех на уме новогодние праздники. Именно поэтому мы лишний раз напоминаем: пока вы еще способны думать трезво, зайдите на сайт и зарегистрируйтесь :-). Кстати, наша конференция заведена в списке мероприятий Хабра, присоединяйтесь.

Пользуясь случаем, команда конференции DevCon поздравляет вас с наступающими праздниками!

До встречи на конференции!

Использование сети доставки содержимого (Content Delivery Network, CDN) Windows Azure дает разработчикам возможность глобальной доставки содержимого с высокой пропускной способностью. Это достигается благодаря кэшированию BLOB-объектов и статического содержимого на физических узлах в Соединенных Штатах, Европе, Азии, Австралии и Южной Америке. Текущий список CDN-узлов см. в Windows Azure CDN Node Locations (Расположение узлов CDN Windows Azure).

Для реализации этой задачи выполните следующие действия:

• Шаг 1: Создайте учетную запись хранения
• Шаг 2: Включите CDN для учетной записи хранения
• Шаг 3: Получите доступ к содержимому CDN
• Шаг 4: Удалите содержимое CDN

Вот лишь некоторые преимущества использования CDN для кэширования данных Windows Azure:

• Более высокая производительность и удобство работы пользователей, расположенных далеко от источника содержимого (для таких пользователей загрузка содержимого может потребовать большого числа обращений к источнику).
• Более равномерное распределение ресурсов позволяет лучше справляться с высокой пиковой нагрузкой, например, при выпуске нового продукта.

В последнее время все чаще приходится сталкиваться с неправильными мнением относительно использования Open Source на базе Windows Azure. Будь то вопросы на мероприятии, или обсуждение на форуме периодически возникают мифы о платформе Windows Azure, самые популярные, на мой взгляд, я развею:

В официальном блоге Windows Azure объявлено об очередном снижении стоимости сервисов Windows Azure Storage. С 12 декабря клиенты Windows Azure, которым требуется хранить информацию в блобах, очередях, таблицах или дисках подсистемы Storage смогут приобрести необходимое хранилище на 28% дешевле.

Ниже представлены изменения цен в зависимости от объема:

Емкость	Гео-распределенное (старая цена)	Гео-распределенное (новая цена)	Локально распределенное (старая цена)	Локально распределенное (новая цена)
до 1 Тб в месяц	$0.125 за Гб	$0.095 за Гб	$0.093 за Гб	$0.07 за Гб
следующие 49 Тб	$0.11 за Гб	$0.08 за Гб	$0.083 за Гб	$0.065 за Гб
следующие 450 Тб	$0.095 за Гб	$0.07 за Гб	$0.073 за Гб	$0.06 за Гб
следующие 500 Тб	$0.09 за Гб	$0.065 за Гб	$0.063 за Гб	$0.055 за Гб
следующие 4000 Тб	$0.08 за Гб	$0.06 за Гб	$0.053 за Гб	$0.045 за Гб
следующие 4000 Тб	$0.055 за Гб		$0.037 за Гб
более 9000 Тб/месяц	персональная договоренность	персональная договоренность	персональная договоренность	персональная договоренность

Это очередное понижение цены, в последний раз 8 марта 2012 года цены были снижены на 12%. Помимо анонса снижения цены, в блоге разработчиков представлена статистика о том, что уже более 4 триллионов объектов сохранены в Windows Azure Storage компаниями и разработчиками со всего мира.

6 декабря в Москве состоится High Performance Conference 3.0 (http://hpc.itmozg.ru/) – третья конференция по высоконагруженным системам от ITmozg.

В программе – выступления экспертов Parallels, Microsoft Russia, Мамба, Jelastic Russia и часовая сессия вопросов-ответов.

В рамках конференции, я выступлю с докладом о применении облачной платформы Windows Azure для высоконагруженных задач. В рамках доклада будут рассмотрены кейсы проектов уже работающих с высокими нагрузками на Windows Azure. Рассмотрена архитектура обеспечения отказоустойчивой трансляции Олимпийских Игр 2012 года в Лондоне на базе Windows Azure Media Services.

Приглашаем опытных разработчиков, архитекторов, системных администраторов собраться вместе и поделиться опытом, обсудить все аспекты высоконагруженных систем.

В программе конференции (http://hpc.itmozg.ru/program):

В этой статье, хотел бы поделиться своими впечатлениями о прошедшем 27-28 ноября технологической конференции Microsoft TechEd. Сразу хочу сказать, что доклады по Lync, Exchange, Dynamics и InfoSec не были рассмотрены в данной статье.
Пленарное выступление открыл Николай Прянишникова – президент «Майкрософт Рус», который в своём докладе сделал основной акцент на приход новой эры облачных технологий и облачных сервисов, в свою очередь запись выступления Стива Балмера тоже была посвящена приходу этой новой золотой эры облачных решений для компаний, разработчиков и клиентов. Далее было выступление Кирилла Татаринова – президента Business Solutions, он особо отметил универсальные интерфейсы, которые однотипно позволяют управлять различными устройствами на платформах Microsoft, не требующие дополнительного обучения. Еще одна новая тенденция – это «большие данные» SQL Azure, данные которые обрабатываются в облаке, ну и конечно «Cloud Compute», «Big Compute». Также особо была отмечена единая система аунтефикации, которая позволяет управлять подписками, CRM-online и Office 365. Зимние олимпийские игры, которые пройдут в Сочи, также будут базироваться на всех основных продуктах компании. Далее Кирилл продолжил свой доклад про Microsoft Dynamics. После демонстрации Dynamics CRM на сцене появляется Скотт Гатри – корпоративный вице президент Microsoft Azure, который подчеркнул основное преимущество ОС Windows 8, которая интегрирована с работой в облаке. Демонстрацию Windows 8 провел Михаил Черономордиков – руководитель группы экспертов.
Об особенностях разработки ПО был посвящен доклад Стаса Павлова – эксперта по стратегическим технологиям. Была проведена демонстрация разработки корпоративного приложения «Авансовые отчеты» в Visual Studio 2012. Далее Михаил Черономордиков рассказал немного про устройства на WP8. Далее были проведены презентации по Office 2013, SharePoint2012 и Office365, Windows 2012. В конце пленарного выступления Скотт Гатри провел подробную демонстрацию облачной платформы Windows Azure.

Команда Internet Explorer опубликовала в сети забавный ролик, в котором главную роль играет хейтер браузера.



Многие онлайн-ресурсы назвали ролик троллингом. А вы что думаете?

Приветствую коллег разработчиков, архитекторов, тестировщиков и всех специалистов причастных к разработке программного обеспечения. Для тех из вас, кто пропустил конференцию Microsoft TechEd Russia, мне бы хотелось рассказать о том, что 27 ноября в рамках пленарного доклада конференции, Скотт Гатри со сцены TechEd Russia объявил о начале регистрации на очередную конференцию DevCon 2013 целиком и полностью посвященную вопросам разработки программного обеспечения.



Конференция DevCon проходит не первый год и уже успела полюбиться российским разработчикам и гостям из других стран. Ключевой особенностью данной серии конференций является ее загородный формат, место проведения тщательно выбирается из лучших пансионатов Подмосковья. При этом все участники конференции заезжают в загородный дом отдыха и проживают в нем два дня конференции, получая все приятные преимущества данных мест.

Мы гордимся уникальным форматом конференции и постоянно его совершенствуем: вместе с глубоким техническим материалом появляется отличная возможность провести встречи, повидаться с коллегами, поучаствовать в движении сообщества, попробовать свои силы в новых технологиях и написать код и сделать все это в очень приятном месте вне города на природе.

В следующем году DevCon обязательно продолжит добрую традицию загородных встреч и предложит участникам следующий формат:

Обработка данных in-memory является довольно широко обсуждаемой темой в последнее время. Многие компании, которые в прошлом не стали бы рассматривать использование in-memory технологий из-за высокой стоимости, сейчас перестраивают архитектуру своих информационных систем, чтобы использовать преимущества быстрой транзакционной обработки данных, предлагаемых данными решениями. Это является следствием стремительного падения стоимости оперативной памяти (RAM), в результате чего становится возможным хранение всего набора операционных данных в памяти, увеличивая скорость их обработки более чем в 1000 раз. In-Memory Compute Grid и In-Memory Data Grid продукты предоставляют необходимые инструменты для построения таких решений.

Задача In-Memory Data Grid (IMDG) — обеспечить сверхвысокую доступность данных посредством хранения их в оперативной памяти в распределённом состоянии. Современные IMDG способны удовлетворить большинство требований к обработке больших массивов данных.

Упрощенно, IMDG — это распределённое хранилище объектов, схожее по интерфейсу с обычной многопоточной хэш-таблицей. Вы храните объекты по ключам. Но, в отличие от традиционных систем, в которых ключи и значения ограничены типами данных «массив байт» и «строка», в IMDG Вы можете использовать любой объект из Вашей бизнес-модели в качестве ключа или значения. Это значительно повышет гибкость, позволяя Вам хранить в Data Grid в точности тот объект, с которым работает Ваша бизнес-логика, без дополнительной сериализации/де-сериализации, которую требуют альтернативные технологии. Это также упрощает использование Вашего Data Grid-а, поскольку в большинстве случаев Вы можете работать с распределённым хранилищем данных как с обычной хэш-таблицей. Возможность работать с объектами из бизнес-модели напрямую — одно из основных отличий IMDG от In-Memory баз данных (IMDB). В последнем случае пользователи всё ещё вынуждены осуществлять объектно-реляционное отображение (Object-To-Relational Mapping), которое, как правило, приводит к значительному снижению производительности.

Друзья! Сегодня начинается грандиозное событие в мире самых современных технологий – открывается конференция TechEd Russia 2012!

А вместе с ней и начинается онлайн трансляция в 10:00 по МСК. Все дня конференции – 27 и 28 ноября – оставайтесь с нами.



9 залов в эфире, огромное количество экспертов Microsoft и партнёров, ещё больше докладов.

Не пропустите открытие конференции с участием Скотта Гатри, корпоративного вице-президента подразделения серверов и инструментов Microsoft, и Кирилла Татаринова, вице-президента Microsoft Business Solutions, Николая Прянишникова, президента Microsoft Россия.

В течение 2 дней конференции экспертами Microsoft и партнёрами будет показано все новейшие разработки на платформе Microsoft и ультрасовременные устройства.

151,3 TФлопс на 8064 ядрах с 90,2 процентной эффективностью.

Windows Azure предлагает своим клиентам облачную платформу, которая экономически эффективно и надежно удовлетворяет требованиям масштабных вычислений (Big Compute). При разработке Windows Azure были использованы инфраструктура большой мощности и масштабируемости, новые конфигурации экземпляра, а также новый HPC Pack 2012, которые позволили Windows Azure стать лучшей платформой для приложений использующих масштабные вычисления. В действительности, Windows Azure была протестирована с помощью LINPACK бенчмарка, который подтвердил мощность Windows Azure в масштабных вычислениях. Сетевая производительность очень впечатляет, и составила 151,3 ТФлопс на 8064 ядрах с 90,2 процентной эффективностью – эти результаты были отправлены в Топ-500 и исследователями был получен сертификат, подтверждающий включение в топ 500-от мощных суперкомпьютеров в мире.

Оборудование для масштабных вычислений

В виду заинтересованности Microsoft в масштабных вычислениях, было представлено оборудование, разработанное для удовлетворения потребности клиентов в высокопроизводительных вычислениях. Были представлены две высокопроизводительные конфигурации.

Краткое содержание: история в картинках, как я «улучшал» Task Manager в Windows Server 2012

Преамбула

Началось всё с того, что я в тестовых целях (выяснить, есть ли принципиальное различие), поставил Windows Server 2012. Для тех, кто не знает, это такая Windows 8, только дороже. Ну, а ещё, от него можно оторвать GUI и поставить всякие разные роли.

Ну так вот, одна из наиболее приятных вещей в Windows 8 для меня — новый Таск Менеджер, и красивый и удобный. Какое же было моё удивление, когда я открыл его в WinServer 2012 и не увидел некоторых данных.
Вот пара картинок для понятности.

Когда вы тестируете SharePoint или любые другие продукты, использующие Active Directory, очень важно использовать большие объемы данных, приближенные к реальным. Например, если у вас в Active Directory 10 или 20 тестовых пользователей, а возможно 50 или 100 с именами типа Тест 1, Тест 2 и т.д., этого явно недостаточно.

Рассмотрим, как можно заполнить Active Directory большим (over 9000) количеством данных, максимально приближенных к реальности.

В связи с загруженностью в рамках подготовки к конференции TechEd Russia 2012 было мало времени на публикацию анонсов и новостей вокруг платформы Windows Azure. В этом посте хотелось бы наверстать упущенное и привести подборку наиболее значимых новостей за последнее время.

Аналитическая компания Forrester назвала Windows Azure SQL Database лидером облачных баз данных

Аналитическая компания Forrester опубликовала результаты (pdf) исследования облачных систем управления базами данных. Cогласно исследованию, Windows Azure SQL Database на сегодняшний момент является лидером среди подобных систем.



Вот заключение компании о облачной платформе Microsoft: “Microsoft предлагает наиболее полное облачное решение”. Более подробно читайте в опубликованном исследовании (pdf).