Microsoft Azure *

Собственно, идея резервировать базу в Облако не нова. Эта функциональность появилась в ныне здравствующем SQL Server 2012 с выходом 21.01.2013 кумулятивного обновления №2 к Service Pack 1 (Build 11.0.3339.0). Мы разбирали ее в посте Создание резервной копии БД в Azure Storage. Поэтому я не буду повторять, что это очень удобная возможность, которая обеспечивает миграцию данных из on-premise SQL Server в облачный (IaaS) и наоборот, а также облегчает перенос базы между двумя разнесенными on-premise SQL Serverами, когда Облако выполняет роль хаба. До сих пор это могло делаться только из скрипта T-SQL. В версии 2014 СТР в этот процесс добавились две новые возможности. Во-первых, выполнять резервное копирование в Windows Azure теперь можно непосредственно из интерфейса SQL Server Management Studio и включать его на регулярной основе в автоматизированный план поддержки базы, и во-вторых, что немаловажно, осуществлять шифрование резервных копий с использованием сертификатов или асимметричных ключей на основе криптостойких алгоритмов защиты. Впрочем, обо всем по порядку.

Некоторое время назад, в рамках конференции Strata + Hadoop World был анонсирован выход в коммерческой эксплуатацию Windows Azure HDInsight — облачного сервиса 100% совместимого с Apache Hadoop. Подробности о истории появления сервиса и его возможностях можно найти в этой статье на Хабре. Об анонсах конференции Strata + Hadoop World можно прочитать в другой свежей статье.

В этой статье речь пойдет о внутреннем устройстве кластеров HDInsight, старте работы с ними и первых задачах и запросах к Hive. В конце статьи приводятся реальные примеры использования Windows Azure HDInsight крупными международными организациями.

В рамках этого дайджеста новостей облачной платформы Windows Azure собраны основные анонсы для разработчиков, ИТ-профессионалов и для всех специалистов интересующихся облачными технологиями и платформой Windows Azure.

В этом выпуске:

• Коммерческая доступность сервиса резервного копирования в облако Windows Azure Backup
• Коммерческая доступность cервиса Windows Azure HDInsight (кластеры Hadoop как сервис)
• Публичное превью нового сервиса Hyper-V Recovery Manager
• Новые возможности работы с виртуальными машинами:
  
  • Удаление дисков;
  • Новые уведомления групп доступности;
  • Конфигурирование SQL Server AlwaysOn;
• Новые функции Active Directory:
  
  • Интеграция и управление сотнями сторонних SaaS-приложений;
  • Управление Windows Azure;
• Поддержка Windows Azure в SQL Server 2014 CTP2;
• Поддержка Windows Server 2012
• Windows Azure SDK 2.2
  
  • Поддержка Visual Studio 2013;
  • Удаленная отладка облачных сервисов;
  • Секционирование сущностей Windows Azure Service Bus;
  • Новые библиотеки управления Windows Azure Management Libraries for .NET;
  • Новые скрипты PowerShell и новый портал ScriptCenter;
• Снижение цен на ВМ с большим объемом памяти
• Опубликована предварительная программа конференции Cloud OS Summit

За последние пол месяца произошло 3 ИТ-события, лежащие в плоскости Big Data, Cloud Computing и на их симбиозе. По странному стечению обстоятельств эти события остались без должного внимания как со стороны хабросообщества, так и со стороны немногочисленных профессиональных сетевых сообществ в LinkedIn и Facebook.

События, о которых идет речь — конференция «Strata + Hadoop World», релиз стабильной версии Hadoop 2.2.0 и облачного сервиса Windows Azure HDInsight. О косвенной и прямой взаимосвязи этих событий речь и пойдет ниже.

Проблема кэширования встает перед любым высоконагруженным приложением. В Windows Azure, где основным алгоритмом увеличения производительности является добавление экземпляров приложения, роль кэша становится еще более важной, т.к. с его помощью можно обеспечить «общую память» для всех экземпляров.

Если вы хоть немного тестируете, то знаете, как не просто создать среду с новым билдом для проверки. Если решение не сложное, то можно сделать все руками — стерли старые файлы, почистили реестр, базу, скопировали новый билд. Но если у вас серьезное многозвенное решение, то лучше, чтобы все операции были автоматизированы. Так можно уменьшить влияние человеческого фактора. Если вы обнаружите проблему, то достаточно поправить скрипты чтобы устранить ошибки и запустить всё заново. В Team Foundation Server входит полный комплект инструментов для организации Lab Management – среды управления тестовыми окружениями. Интересным является то что вы можете организовать лабораторию тестирования без всяких инфраструктурных инвестиций. Все что для этого необходимо – уже есть в Azure и Team Foundation Service. Это тот самый случай новомодного IaaS когда вы смело можете вынести часть инфраструктуры в облако.

Компания Аплана подготовила обширный обзор сценариев использования платформенных сервисов Windows Azure. С удовольствием делимся с вами этим интересным документом, который будет полезен для любых отдельных разработчиков и компаний занимающихся созданием приложений и рассматривающих облако Windows Azure в качестве платформы для своих решений.

Данное руководство состоит из трех частей, это заключительная третья часть, в которой вы узнаете о сценариях решений для госорганизаций. Первая и вторая часть документа доступны по этой и этой ссылкам.

Решения для госорганизаций

Облачная платформа представляет собой удобную площадку для создания решений, предназначенных для госорганизаций. Примерами таких решений могут быть портал для госорганизаций и система управления содержимым для публикации открытых данных.

В этой статье мы рассмотрим способ разворачивания веб приложений, написанных с использованием различных технологий, в облаке Azure Cloud Services. А именно это будет Ruby, Python, Node.js, Perl и с некоторыми оговорками также Java и Railo (ColdFusion). В качестве примера Ruby приложения будем использовать Redmine, работающий на Ruby on Rails, в Python пойдет Lightning Fast Shop, работающий на Django, в Node.js будем использовать небольшой проект с использованием express.js, на Perl будем ставить пустой проект Mojolicious. Целью данной статьи не является экскурс по всем этим веб технологиям, а лишь показать удобный и универсальный способ публикации в облаке Azure. Так что кода на Ruby, Python или Perl в ней не будет. Зато будет много скриншотов, shell-скриптов и инструкций по упаковке и развертыванию приложений.

Гибридное Облако является достаточно привлекательной моделью при внедрении облачных вычислений в информационные системы предприятий, поскольку этот подход сочетает преимущества публичного и частного облака. С одной стороны, достигаются возможности гибкого привлечения внешних ресурсов по мере надобности и сокращения инфраструктурных издержек, с другой — сохраняется полный контроль за данными и приложениями, которые предприятие не хочет отдавать наружу. Однако в подобном сценарии мы неизбежно сталкиваемся с задачей интеграции данных из различных источников. Предположим, имеется таблица клиентов, которую мы вертикально разбили на две части. Обезличенная часть была отнесена в публичное облако, а персонифицирующая клиентов информация осталась в локальной базе. Для целостной обработки внутри приложения необходимо снова соединить обе части по CustomerID. Возможны различные способы это сделать. Условно их можно разбить на две большие категории: объединение данных на уровне on-premise сервера БД, который в этом случае будет выступать единой точкой входа для доступа к локальным и удаленным данным, и внутри бизнес-логики. В этой статье будет рассмотрен первый подход.

Компания Аплана подготовила обширный обзор сценариев использования платформенных сервисов Windows Azure. С удовольствием делимся с вами этим интересным документом, который будет полезен для любых отдельных разработчиков и компаний занимающихся созданием приложений и рассматривающих облако Windows Azure в качестве платформы для своих решений. Данное руководство состоит из трех частей, это вторая часть, в которой вы узнаете о сценариях резервного копирования и отказоустойчивости веб-приложений, мобильных и медиа-сценариях. Первая часть документа доступна по этой ссылке.

Резервное копирование для веб-сайтов

Решение, связанное с резервным копированием и последующим восстановлением веб-сайта позволяет реализовать механизм резервного копирования для веб-сайта на основе хранилища Windows Azure Storage. В ряде случаев решение позволяет обеспечить совместимость на уровне веб-сервера и базы данных, а также реализовать возможность запуска копии веб-сайта непосредственно из «облака». Подход к резервному копированию веб-сайтов может состоять из нескольких этапов, перечисленных ниже:

• Создание резервной копии веб-сайта
• Запуск сайта из облака
• Перенос базы данных

Обсуждение решения, связанного с резервным копированием и последующим восстановлением веб-сайта, начнем с создания резервной копии сайта.

Компания Аплана подготовила обширный обзор сценариев использования платформенных сервисов Windows Azure. С удовольствием делимся с вами этим интересным документом, который будет полезен для любых отдельных разработчиков и компаний занимающихся созданием приложений и рассматривающих облако Windows Azure в качестве платформы для своих решений. Данное руководство состоит из трех частей, в первой части вы узнаете о сценариях хранения и обработки данных.
UPD: Вторая часть статьи

Многие компании уже знакомы с концепцией облачных вычислений — подходом к организации вычислений, обладающих высокой масштабируемостью, отказоустойчивостью и надежностью и предоставляющих ресурсы по запросу с возможностью оплаты по факту их использования. Среди трех ключевых вариантов реализации «облака» — частное, публичное и гибридное сложно назвать какой-то наиболее предпочтительный вариант – обычно компании выбирают гибридный вариант, позволяющий наиболее эффективно использовать как возможности локальной инфраструктуры, так и сервисы, предоставляемые «облаком».

Частное облако представляет собой реализацию облачных сервисов на ресурсах, полностью выделенных для заказчика – либо в локальной инфраструктуре, либо удаленно. Поддерживается пул ресурсов, их динамическое выделение для всех подразделений компании. В частном облаке обеспечивается контроль и настройка выделяемых ресурсов.

Публичное облако позволяет заказчикам развертывать и потреблять прикладные сервисы, выполняющиеся на разделяемых, мульти-тенантных ресурсов. Высоко-масштабируемая сервисная платформа поддерживает модель оплаты по факту и располагается в ЦОД-ах поставщика услуг.

Гибридное облако представляет собой объединение ключевых возможностей частного и публичного облака.

Сервис обеспечения резервного копирования данных в облако Windows Azure вышел из стадии превью и доступен для широкого публичного использования.

Windows Azure Backup – это облачное решение для Windows Server, которое позволяет осуществлять резервное копирование и восстановление файлов и папок в облако, предоставляя встроенную защиту от потерь данных. Сервис предлагает ИТ-администраторам и разработчикам возможность резервного копирования и защиты критически важных данных и легкий способ их восстановления из любого места и без затрат на аппаратное обеспечение.

Windows Azure Backup содержит следующие ключевые особенности:

Упрощенные конфигурация и управление. Сервис Windows Azure Backup интегрируется со знакомой утилитой Windows Server Backup в Windows Server и с Data Protection Manager в System Center и Windows Server Essentials для того чтобы предложить единый путь резервного копирования на диск или в облако.

Инкрементальные бэкапы на уровне блоков. Windows Azure Backup Agent осуществляет инкрементальные бэкапы на основе изменений в файле и изменений на уровне блоков и копирует только те блоки, которые были изменены, что уменьшает трафик и потребность в хранилище. Различные версии бэкапов эффективно используют место в хранилище, храня только изменения между блоками.

Сжатие данных, шифрование и троттлинг. Windows Azure Backup Agent обеспечивает шифрование и сжатие данных для передачи их в хранилище Windows Azure. В результате в облаке Windows Azure могут храниться только зашифрованные данные резервных копий. Ключ шифрования недоступен сервису Windows Azure Backup в облаке и как результат данные не могут расшифровываться и не расшифровываются в облачном сервисе. Пользователи сервиса так же могут настроить функцию и параметры троттлинга и указать сервису как он должен утилизировать пропускную полосу сети во время бэкапа или восстановления.

С выходом новой версии серверной операционной системы Windows Server 2012 R2 множество специалистов желают протестировать новые функции системы. Хорошая новость состоит в том, что сделать это можно без установки на локальном компьютере, используя виртуальные машины в облаке Windows Azure.

Просто воспользуйтесь готовыми образами в галере виртуальных машин для того, чтобы за несколько минут развернуть новый сервер на базе Windows Server 2012 R2:

В этой статье демонстрируется применение виртуальных сетей Windows Azure (Windows Azure Virtual Network, VNET) для создания IPsec-туннеля для соединения с окружением Virtual Private Cloud (VPC) расположенным в Amazon Web Services (AWS). используя это руководство вы сможете буквально содержать рабочие среды в каждом из облаков с полным сетевым сообщением между содержащимися в них виртуальными машинами посредством безопасного IPsec-туннеля. Этот подход может легко применяться для реализации сценария обеспечения отказоустойчивости, резервного копирования или даже миграции между облачными провайдерами. Программный VPN, который используется в этой статье для тестирования – это Open Swan.

В рамках этого дайджеста новостей облачной платформы Windows Azure собраны основные анонсы для разработчиков, ИТ-профессионалов и для всех специалистов интересующихся облачными технологиями и платформой Windows Azure.

В этом выпуске:

• Что принесло очередное обновление Windows Azure?
  
  • Новые виртуальные машины и улучшенное управление;
  • Создание нескольких экземпляров Active Directory;
  • Ограничения доступа по IP для Web Sites;
  • Биллинг. Возврат Spending Limits. Виртуальные машины.
  • Новая версия библиотеки Storage Client Library;
• Сервис мультифакторной аутентификации доступен для промышленной эксплуатации в ваших приложениях;
• Партнерство с Oracle: Oracle Database, WebLogic, Oracle Linux, Java Platform и OpenJDK официально в Windows Azure;
• Пользователи Ubuntu могут использовать сервис Juju с полной поддержкой Windows Azure
• Windows Azure стала первой облачной платформой получившей сертификацию безопасности федерального правительства США FedRAMP.

Подробности ниже.

С появлением в Windows Azure технологий виртуальных машин (ВМ) и виртуальных сетей реализация гибридных сценариев, когда часть локальной инфраструктуры переносится в облако или расширяется за счет ресурсов облака, становится вполне выполнимой задачей. Подобные сценарии предполагают наличие туннеля между локальной сетью предприятия и облаком. В этом посте я покажу, каким образом строится такой Site-to-Site (S2S) туннель в случае, когда в качестве облака выступает Windows Azure, а шлюзом в локальной сети является сервер под управлением Windows Server 2012 R2. Будет много картинок.

Буквально пару недель назад, 12 сентября, мы провели третий (уже традиционный) Windows Camp, собравший более 500 участников на месте и более 25000 в онлайне. Большое спасибо всем, кто нас слушал и смотрел, общался с нами и поддерживал нас в социальных сетях!



Самый первый Windows Camp был посвящен первым превью-версиям Windows 8, на втором мы делились ключевой информацией накануне выхода финальных версий Windows 8 и Windows Phone 8 (это было год назад).

Третий камп вырос как в количестве контента, так и по тематике: 4 трека, более 20 докладов, добавили Windows Azure и, как всегда, свежая информация, которая должна помочь вам быть в курсе последних тенденций на рынке и своевременно подготовиться к выходу финальной версии Windows 8.1. Также мы использовали опыт наших партнерских summit-мероприятий (например, Windows 8 Summit) и добавили панельные дискуссии, в рамках которых наши партнеры поделились своим опытом разработки под платформы Microsoft.

В рамках действия соглашения между Oracle и Microsoft подписанного в июне 2013 года для пользователей Windows Azure стали доступны официальные образы продуктов компании Oracle – WebLogic Server 11g/12c, Oracle Database 12c, Oracle Linux 6.4.0.0 и Java 6/7. При этом и Java, WebLogic и Oracle Database доступны как на базе виртуальных машин Windows Server 2012 так и на базе Oracle Linux.



Лицензирование этих продуктов производится по принципу “своя лицензия”, что подразумевает, что пользователи должны воспользоваться собственными лицензиями на продукты Oracle. Поддержка продуктов осуществляется компанией Oracle.

Подробное описание ценообразования и лицензирования продуктов Oracle можно найти на официальном портале Windows Azure. Там же можно найти ответы на наиболее часто задаваемые вопросы.

Я приветствую всех жителей Хабрахабра! Всем удачной новой рабочей недели! Итак, мы продолжаем процесс миграции базы данных на использование SQL Azure Federations. Как вы помните, в прошлый раз мы решили, по какой таблице и по какому полю мы будем разбивать базу данных на шарды. Давайте же наконец это сделаем!

Миграция

Итак, будем разбивать базы данных по таблице аккаунтов (Account), поскольку данные, хранящиеся в ней и связанные с ней логически друг с другом не пересекаются. Поскольку у нас есть скрипт создания базы данных, попробуем адаптировать его для использования SQL Azure Federations.

Будем считать, что база данных уже создана в Windows Azure Management Portal либо через SQL Server Management Studio.

В прошлый раз мы рассмотрели теоретическую часть SQL Azure Federations. О чем стоит подумать и что следует учитывать при миграции на использование SQL Azure Federations. Замечу, что суть даже не в самой технологии. Если стоит задача масштабирования базы данных, неважно с использованием Federations, MySQL Cluster или другого способа, первое о чем стоит задумать — об архитектуре базы данных. База данных, которую необходимо масштабировать в первую очередь должна быть архитектурно ориентирована на это.

Итак, вернемся к нашему проекту. Предметная область базы данных — учет личных финансов. Диаграмма базы данных приведена на рисунке.



Как мы видим база данных достаточно простая. Каждый объект системы представляет собой сущность с базовыми свойствами (Id, Name, Description). Конкретными сущностями являются Аккаунт (наследуемые от него: Банковский счет, Кредитная карточка), Категория трат (наследуемые от нее: Бюджет, а также дочерние категории) и Операции по счетам.

Кроме таблиц база данных содержит некоторую логику по добавлению сущностей в базу (оформлена в виде stored procedures), а также парочка View, для отображения результатов типовых запросов к базе.

Исходный текст SQL скрипта по созданию базы данных, может быть найден здесь.



Понятно, что в реальном проекте количество артефактов в базе данных может быть на порядок больше, однако миграция даже такой небольшой базы данных может показать основные грабли, с которыми можно столкнуться при использовании SQL Azure Federations.