Amazon Web Services *

Аллилуйя, товарищи, свершилось!

Не так давно AWS ввели функцию копирования снепшотов между регионами. Очень логично, что был сделан следующий шаг — копирование AMI.

В консоли появилась команда Copy в разделе AMI:

«Если вы не параноик, это еще не означает, что за вами никто не следит». Развитие Интернета перевело это высказывание на качественно новый уровень. Следить уже можно, не выходя из дома, а всю информацию добровольно предоставит сам объект наблюдения. Люди выкладывают в сеть свои личные данные, но не всегда задумываются о том, кому они могут быть доступны. Логин/пароль и «Показывать только друзьям» успокаивают. Создается иллюзия, что мы контролируем приватность собственных данных. Но есть еще администраторы и органы власти, которые узнают всё, что их интересует, без спроса и без вашего ведома.

Это проблема всех систем, централизованно обслуживающих множество клиентов. Например, любая популярная социальная сеть имеет единое хранилище данных (возможно, распределенное), которое доступно в служебных целях для некоторого круга лиц. Пользователи постепенно начинают осознавать угрозу: появляются пиринговые социальные сети (см. ссылки в статье про Пандору), но они с трудом пробивают себе дорогу.

Аналогичная ситуация с приватностью имеет место и для систем мониторинга транспорта. Для них можно предложить принципиально другой подход, который позволит пользователю полностью контролировать доступ к своим данным. Идея проста – предоставить каждому свой собственный выделенный сервер в облаке!

Привет хабровчане!

Я довольно много рассказал вам про AWS, но большинство статей касаются исключительно Linux и свободного ПО. Сегодня я решил рассказать о Windows и возможностях Amazon Web Services, связанных со стартом Windows Server'ов.

Итак, основная страничка, рассказывающая о Windows на сайте AWS — aws.amazon.com/windows. Итак, нам предоставлены следующие опции запуска серверов:

• Microsoft Windows Server 2008 Base
• Microsoft Windows Server 2008 R2 Base
• Microsoft Windows Server 2008 R2 with SQL Server Express and IIS
• Microsoft Windows Server 2008 R2 with SQL Server Web
• Microsoft Windows Server 2008 R2 with SQL Server Standard
• Microsoft Windows Server 2012 Base
• Microsoft Windows Server 2012 with SQL Server Express
• Microsoft Windows Server 2012 with SQL Server Web
• Microsoft Windows Server 2012 with SQL Server Standard

Помимо всего прочего, вы можете загружать свои образы Windows через сервис AWS Import/Export. Мы, например, предоставляем серверы на Windows 2k3 именно этим путём.

Я хотел бы эту статью посвятить двум основным пунктам — запуск нового сервера и лицензирование продуктов Microsoft в AWS.

Привет!

Итак, после многих новостей о подешевении в прошлом году, Amazon Web Services с февраля 2013 года снова стоит меньше, а именно:

• EС2
• Трафик

Так же, спешу заметить, что с февраля второе поколение стандартных инстансов уже доступно по вему миру.

А теперь подробнее о снижении цен.

При работе с Amazon многое остается за кадром. Для обычного пользователя это даже хорошо, ему нужен работающий сервис и не имеет значение, как этот сервис реализован. Но для тех, кто проектирует системы для Amazon или других облачных провайдеров это может быть проблемой. Некоторые внутренние аспекты работы выясняются при общении с тех. поддержкой, но в большинстве случаев для лучшего понимания приходится проводить различные тесты и эксперименты.
Возьмем, к примеру, производительность сети. Гарантирует ли Amazon определенную пропускную способность сети для любой машины или нет, как зависит скорость сети от ресурсов сервера, от региона или времени суток. Скажу сразу, что поддержка Amazon настоятельно рекомендует использовать машины больших размеров, если скорость сети является важным критерием и то, что максимально скорость 1G/s. Но всё всегда лучше проверить на практике.

Добрый день.
Хочу поделиться новым приобретенным опытом.
Нашей компании понадобились собственные AMI с Windows XP, Windows 7, Windows 8 и Windows Server 2003 в AWS Amazon.
После относительно недолгого поиска было выяснено, что такая возможность есть, и называется она AWS VM Import/Export Tools (подробнее тут ).

Привет, хабрасообщество!

Сегодня я, наконец, набрался смелости и имею время рассказать вам о замечательном сервисе, который предоставляет Amazon Web Services: Virtual Private Cloud — VPC.

VPC — это сервис, позволяющий создавать приватные изолированные сети в публичном облаке Amazon. Что же предоставляет VPC?

• Подсети серых адресов
• Полный контроль над адресами
• Динамическое и удобное управление сетевыми устройствами и маршрутизацией
• Поддерживает EC2, RDS, SQS, ElastiCache и другие сервисы
• Многое другое..

У VPC есть много внутренних понятий и терминов, давайте я буду их описывать по мере настройки. И сегодня я вместе с вами настрою кроссзонную сеть для VPC для большей отказоустойчивости.

Привет!

Amazon Web Services предоставили своим пользователям новый сервис обработки видео Elastic Transcoder. Как вы понимаете, основной смысл — транскодирование видео.

Сервис представляет собой некий дата пайплайн. Мы даём ему информацию откуда брать видео, куда и в каком формате класть и всё. Я уже попробовал и хочу вам показать-рассказать что и как.

Недавно встала задача развернуть виртуальный сервер Ubuntu 12.04 на Amazon EC2 для некоего сервиса и присвоить ему доменное имя в существующей доменной зоне, но как известно Amazon меняет публичный и локальный адреса после перезагрузки или выключения машины, поэтому было решено использовать bash (для *nix) и bat (для Windows) для автоматизации обновления динамического адреса для хостинга.

Привет!

Сразу вслед за High-Storage Eight Extra Large Amazon Web Services анонсировали новый тип инстансов для In-Memory вычислений — High Memory Cluster Eight Extra Large Instance.

Итак, технические характеристики нового типа инстанса:

• два восьмиядерных процессора Intel E5-2670 с частотой 2.6 GHz с поддержкой Intel Turbo Boost и NUMA
• 244 ГБ ОЗУ (!)
• два 120 ГБ SSD винчестера
• 10 Гб сеть для Cluster Placement Groups0
• только HVM виртуализация
• только EBS-backed AMI

In God we trust, the rest we automate
— unknown DevOps Engineer

Использование виртуализации и облачных платформ позволяет в десятки раз сократить время, затрачиваемое на запуск и обслуживание IT инфраструктуры. Один человек может манипулировать десятками, сотнями и даже тысячами виртуальных серверов, с легкостью их запускать, останавливать, клонировать, изменять конфигурацию оборудования и создавать на их основе готовые образы систем. Если все ваши сервера имеют одинаковую конфигурацию, то особых проблем нет, можно один раз вручную настроить сервер, сделать на его основе образ и запускать столько машин, сколько вам необходимо. Если же у вас большое количество разных операционных систем с разным набором программного обеспечения или если вам необходимо быстро запускать и останавливать сложные кластерные конфигурации, то обслуживание даже нескольких десятков таких серверов будет занимать очень много времени. Можно, конечно иметь набор разных скриптов и образов на все случаи жизни, которые необходимо будет сопровождать и обновлять, но более рационально использовать один скрипт и несколько образов, а все необходимые параметры передавать при старте системы. Многие платформы для облачных вычислений предлагают, так называемый, механизм метаданных (metadata) или пользовательских данных (user-data), используя этот механизм, вы можете передать скрипту все необходимые данные по настройке конкретной виртуальной машины или даже передать сам скрипт, чтобы он выполнился при старте.

Однажды Ubuntu на ноутбуке перестала запускаться, ругаясь на поврежденную xfs на диске. Мало того, на нем хранился проект, над которым я работаю. Был, правда, git-репозиторий на EC2 машине, однако pem-файл лежал на этом же диске.
Упомяну так же, что не ставил на сервер FTP, доступ по SFTP нельзя было бы получить без ключа.
Конечно можно долго говорить о прелестях резервного копирования, однако пришлось искать способ как восстановить доступ к облачной машине, чтобы не потерять уже сделанную работу.

Привет!

Многие сталкивались с тем, что ресурсы системы простаивают. Обычная практика борьбы с простоем — удаление из системы этих ресурсов. С практической точки зрения на AWS, мы уже давно имеем инструменты терминировать простаивающие EC2 инстансы. Но это иногда не практично.

Возьмём ситуацию, когда при каждом старте нового инстанса при автоскейлинге, он каждый раз конфигурируется и обновляет софт. Т.е. это занимает определённое время и требует определённых взаимодействий. И вот каждый раз при скейлдауне эти инстансы выключаются и удаляются, а при скейлауте — поднимаются и снова конфигурируются. Как бы было хорошо, если бы инстансы просто выключались, а не удалялись!

В данный момент я занимаюсь поиском подходящих серверов для инфрастуктуры моего проекта. Я остановился на EC2 и решил проанализировать, какое решение будет наиболее экономически выгодным для меня. Эта статья по сути является продолжением AWS Insight: Резервации в EC2 — как это работает, но приводит анализ для молодого веб-стартапа (24x7).

Проблема

Сервер должен работать 24 часа в сутки напротяжении X месяцев (количество не определено). Какой вариант (On Demand / Light Utilization Reserved / Medium Utilization Reserved / Heavy Utilization Reserved) выбрать для Micro/Small/Medium/Large серверов?

Привет!

Мои поздравления пользователям Android! С сегодняшнего дня доступно официальное приложение для управления облаком Amazon Web Services с вашего девайса со следующим функционалом:

• Просматривать детали серверов EC2 и метрик CloudWatch
• Фильтровать и сортировать серверы EC2 и метрики CloudWatch
• Останавливать и перегружать серверы EC2
• Просматирвать тревоги из CloudWatch
• Просматривать графики из CloudWatch
• Просматривать автоматические действия для CloudWatch
• Переходить из тревог CloudWatch на EC2 серверы, которые пострадали
• Работать во всех регионах
• Переключаться между разными пользователями

Привет!

Пару месяцев назад я писал AWS Global Start-Up Challenge. Это мероприятие набрало обороты и собрало заявки представителей из 84 стран мира со всех обжитых континентов нашей планеты.

Итак были выбраны полуфиналисты в 4 номинациях по темам:

• Big Data & High Performance Computing
• Business Applications
• Consumer Applications
• Gaming

Привет!

Продолжая тему об экономии денег в облаках, сегодня я расскажу о Spot Instances. Напомню, что в AWS есть как минимум 3 основных вида оптимизации расходов:

• автомасштабирование
• резервирование
• использование спот инстансов

Что такое Spot инстанс?

Это обычный EC2 или VPC инстанс, но есть некоторые нюансы работы:

1. Как было сказано ранее, это обычный инстанс. Вычислительные и сетевые ресурсы, дисковые скорости и всё остальное у машин такое же, как и обычных EC2 инстансов.
2. Вы сами устанавливаете цену, которую будете платить за час использования инстанса. Больше вы платить не будете.
3. Инстанс может быть выключен в любое время, если, например, кто-то предложил цену больше за слот, который вы занимаете, а других нет.
4. Оплата производится за полный час работы инстанса. Часть часа отбрасывается в пользу клиента — в меньшую сторону до полного часа.

На странице стоимости компонентов EC2 на Амазоне есть одна строчка, на которую сначала можно не сильно обратить внимание, но которая может привести к серьезным финансовым затратам — Data Transfer, трафик. Если аренду инстансов и EBS-томов можно запланировать и контролировать, то трафик предсказать довольно сложно, а игнорировать его не даст ежемесячный счет)

Для примера: средний новостной сайт, 30 тысяч посещений в сутки, его вполне потянет небольшой small или даже micro instance. Возьмем полный размер страницы 2 мегабайта, месячный трафик тогда будет (без учета закэшированного контента) — 30000 * 0.002 * 30 = 1800 GB или $216. Получается стоимость Data Transfer даже больше аренды самого инстанса! На S3 ситуация с ценами на трафик точно такая же.

Здесь, в awe.sm, мы с самого начала использовали Amazon AWS для хостинга. За последние три года мы изучили, что хорошо, а что не очень и сформулировали для себя свой собственный набор правил для запуска высоко доступной, высоко производительной системы, которые в некоторых случаях отличаются от того, что советует Amazon.

Мы собираемся поговорить о следующих родственных понятиях:

1. Для людей, которые слышали об Amazon, но еще не имели возможности его использовать, мы покажем все преимущества и недостатки этого сервиса, с которыми мы столкнулись в своей работе.
2. Для тех, кто уже использует AWS, мы проясним некоторые детали и расскажем о лучшей практике использования Amazon для таких высокопроизводительных сервисов, как наш, где непрерывная работа системы является самым высоким критерием.

Это частичный перевод статьи Netflix, касается только проблемных мест перехода c Oracle DB на Amazon SimpleDB и способов их решения компанией.

Где-то в конце 2008 года, у Netflix был всего один датацентр. И этот ДЦ поставил перед нами несколько вопросов. Как единственная точка отказа, к примеру, из-за проблем с электричеством, он мог привести к недовольству наших пользователей сервисом. К тому же, с одновременным ростом трафика потокового вещания и подписок на услуги, Netflix скоро бы переросла этот дата центр — мы видели неизбежную потребность в электроэнергии, лучшем охлаждении, нам требовалось больше места и больше оборудования.

Как вариант, можно было построить новые дата центры. Однако, кроме высоких затрат, это усилие привело бы к тому, что наши технические кадры не смогли бы заниматься новыми продуктами, так были бы заняты расширением ДЦ. К тому же, мы понимали, что управление несколькими дата центрами сложная задача. Строительство и поддержка нескольких дата центров казались нам опасным отвлечением от нашего основного бизнеса.

Вместо того, чтобы встать на этот путь, мы выбрали более радикальный. Мы перешли на решение IAAS (инфраструктура как сервис), предлагаемое в то время веб-сервисом Amazon. Со множеством уже работающих центров обработки данных, многократным уровнем избыточности различных сервисов (таких как, S3 и SimpleDB), AWS обещал лучшую доступность и маштабируемость за относительно короткое время.

Отдавая различные сетевые и фоновые задачи в аутсорсинг, Netflix сосредоточилась на своем основном бизнесе, поставке фильмов и сериалов.

В процессе перехода на инфраструктуру AWS мы сформулировали набор лучших практик, необходимых для работы с AP системами, такими как SimpleDB.