Amazon Web Services *

Привет!

Сегодня Amazon Web Services выпустили новый сервис, который работает с другими сервисами, а именно может помочь в переносе данных между:

• S3
• MySQL RDS/Внешние MySQL серверы
• DynamoDB

AWS Data Pipeline позволяет копировать, переносить данные из таблиц SQL и DynamoDB в S3 и наоборот.

Привет!

Сегодня я расскажу как легко создавать приложения в Elastic Beanstalk и публиковать их прямо из Git!

Для начала предлагаю установить утилиты командной строки для EB. Можно скачать отсюда, либо же воспользоваться моим скриптом для установки и обновления основных утилит по этой статье.

Установили. В консоли у нас появится команда eb, с которой мы и начнём.

1. Создание приложения

Для начала создадим папку приложения и инициализируем Git репозиторий. Например:

$ mkdir ~/Work/testapp/ && cd ~/Work/testapp/
$ git init

Создадим приложение Elastic Beanstalk

$ eb init

Привет!

Сегодня я хочу поделиться результатами своего исследования в области версионирования объектов в S3. Я про эту фичу слышал давно, но особо много не знал. Да и сейчас не особо много знаю — расскажу, как включить версионирование в бакете и получение объектов разных версий.

Моё исследование показало, что эта функция не особо востребована, а готовых бесплатных утилит для версионирования вообще не существует. Зато есть библиотеки, в которых есть этот функционал. Нужно — разрабатывайте, мол.

Итак, для версионирования, в бакете нам прежде всего нужно его включить. Есть 2 доступных способа это сделать, и оба они завязаны на API.

• Чистый REST/SOAP запрос
• Через библиотеку

Я воспользуюсь Ruby библиотекой aws-sdk, которую и установим:

$ gem install aws-sdk

Привет!

С сегодняшнего дня можно копировать EBS Snapshot'ы в другие регионы. Это отличная и удобная функция, которая позволяет клонировать ваши сервисы и данные в разные регионы родными способами!

В меню снапшотов появилась опция Copy Snapshot:

Привет!

В ноябре в Лас-Вегасе прошла крупнейшая конференция "AWS re:Invent". Она была посвящена облачным технологиям и Amazon Web Services в частности. Рассказывалось о развитии и эволюции AWS.

Были поведаны интересные цифры, например, в 2007 году они выкатили всего 9 релизов. В 2011 это число достигло 82. А в 2012 было целых 150 релизов! Вот с какими темпами развивается AWS. Так же на конференции было рассказано много 'best practicies', историй от экспертов.

Привет!

Status Check

Многие замечали в консоли EC2 в таблице инстансов столбец Status Check. Он обычно зелёного цвета — OK. Не раз я видел, что статус чек фейлится. Что же такое статус чек, какие параметры он отслеживает?

Status Check — это несколько автотестов, которые проходит инстанс и нода-носитель, на которой этот инстанс бежит. На данный момент есть 2 статус чека:

1. System Status Check — проверка состояния параметров, которые зависят от AWS. Эти проблемы легко решаются рестартом или стоп-стартом инстнса, он переедет на другой носитель. В целом проблемы могут быть:

• недостаток сетевых ресурсов
• недостаток питания
• проблемы с ПО носителя
• проблемы с аппаратным обеспечением носителя

Привет!

Как известно, одним из основных правил использования облачных сервисов является оптимизация всего, а особенно финансовой стороны вопроса. В Amazon Web Services есть 3 основных метода оптимизации стоимости сервиса:

• автомасштабирование
• резервирование
• использование спот инстансов

Сегодня я расскажу о резервировании в EC2, как, что и зачем это нужно обязательно делать.

Reservation — это предварительная оплата серверных мощностей, позволяющая значительно уменьшить расходы на эти же самые мощности. Существует 3 вида резервации:

• Облегчённого использования — Light Utilization
• Среднего использования — Medium Utilization
• Усиленного использования — Hard Utilization

Привет!

Сегодня я расскажу о параметр группах AWS RDS. Как вы знаете, RDS предоставляет нам простую точку входа в БД. Ни к диску, ни в саму ОС и настройкам БД у нас нет доступа. Так же мы ограничены правами некоего суперпользователя, но это не root всё равно.

RDS Parameter Groups позволяют создать нужную конфигурацию вашей базы данных. Сегодня я на примере покажу как разрешить возможность создания хранимых процедур в RDS под MySQL. При создании сервера создаётся дефолтная параметр группа. В ней же можно и посмотреть список доступных параметров:

$ rds-describe-db-parameters default.mysql5.1

Введение

Любой прогресс и оптимизация приветствуется кем угодно. Сегодня хотелось бы поговорить про прекрасную вещь, значительно облегчающую жизнь – очереди. Внедрение best practices в этом вопросе не только улучшают производительность приложения, но и успешно готовят ваше приложение к архитектуре «в стиле» Cloud Computing. Тем более, что не использовать уже готовые решения от провайдеров облачных технологий просто глупо.

В этой статье мы рассмотрим Amazon Web Services с точки зрения проектирования архитектуры средних и больших веб приложений.

Рассмотрим схему такого приложения:

Привет!

У многих есть AWS аккаунтны, которые поддерживают другие люди. Например ситуация: клиент хочет, чтоб ему админ что-то настроил. Что делать? Давать имейл и пароль? Не комильфо… Есть выход, и я с картинками расскажу, что и как на примере своего личного аккаунта.

В AWS есть замечательный сервис IAM (Identity and Access Mangement). Первым делом туда и идём — https://console.aws.amazon.com/iam/. Сначала настроим адрес вашей собственной страницы входа в консоль. Находим и нажимаем кнопку Create Accoun Alias на главной странице IAM:


Моя консоль теперь доступна по адресу: https://kozhokaru.signin.aws.amazon.com/console.

Вернер Фогель, CTO Amazon на прошедшей конференции re:Invent заявил, что использует Node.js для своих повседневных задач. А 4 декабря вышел официльный AWS SDK для Node.js. Теперь нет необходимости в использовании сторонних библиотек, опасаясь за их стабильность, и пытаться понять их документацию.

Привет!

Многие знают, что помимо веб консоли у Amazon Web Services есть очень удобыне утилиты командной строки. Теперь эти утилиты доступны и для PowerShell!

Теперь администраторам Windows серверов на EC2 станет ещё легче интегрировать свои скрипты c AWS.

Какие сервисы поддерживаются?

Большинство! Полный список ниже:

Привет!

Совсем недавно RDS стали доступными на инстансах типа t1.micro бесплатно в рамках пакета Free Tier. А с сегодняшнего дня, эти RDS инстансы доступны и в VPC.

Напомню, что VPC (Virtual Private Cloud) — это отдельное виртуальное облако, которое позиционируется, как приватное. Ресурсам можно назначать сети и подсети, сетевые интерфейсы и ещё много чего. Можно ограничить свои серверы от всего Интернета, тем самым серьёзно повысив безопасность ресурсов.

Для того, чтоб добавить RDS инстанс в уже существующую сеть, нужно сначала создать DB подсеть в консоли:

Привет!

У многих есть проекты с «хайлоадом». Немногие используют кластеры на AWS. И те, кто всё-таки их используют, должны использовать Placement группы.

Что это такое

Placement Groups (Группы размещения) — логические объединения кластерных типов AWS инстансов, позволяющие уменьшить сетевые задержки. AWS гарантирует скорость в 10 Gb между серверами, запущенными в одной плейсмент группе. Чисто теоретически, эти инстансы запускаются географически рядом.

При обычном размещении инстансов получается приблизительно следующая картина:

Привет!

Хочу поведать читателям Хабрахабра о сервисе Elastic Load Balancer, который входит в состав Enterprise Compute Cloud. Многие давно уже пользуются сервисом ELB, но не знают как работает сервис изнутри. Я немного владею этой информацией — многочасовые митинги с саппортом AWS иногда гораздо познавательнее документации на сайте.

Итак, начнём с основ, потом перейдём к нюансам.

Что такое ELB.

Elastic Load Balancer — это сервис, предоставляющий балансировку запросов между инстансами EC2/VPC. Соответственно есть 2 типа ELB, которые

• видны из интернета — EC2/VPC
• не видны из интернета — VPC

Привет!

Как известно, AWS имеет отличные инструменты командной строки, с помощью которых можно настроить абсолютно всё в AWS. Веб консоль, которая тоже есть, не всегда имеет такой широкий спектр возможностей. А CLI утилиты — лучшие друзья!

Но с организацией репозиториев этих самых утилит у AWS явные проблемы. Вот посмотрите только на зоопарк ссылок, с которых нужно скачивать эти тулзы:

http://awsiammedia.s3.amazonaws.com/public/tools/cli/latest/IAMCli.zip
http://s3.amazonaws.com/ec2-downloads/ec2-api-tools.zip
http://s3.amazonaws.com/rds-downloads/RDSCli.zip
http://s3.amazonaws.com/ec2-downloads/ec2-ami-tools.zip
http://ec2-downloads.s3.amazonaws.com/CloudWatch-2010-08-01.zip
http://ec2-downloads.s3.amazonaws.com/ElasticLoadBalancing.zip
http://ec2-downloads.s3.amazonaws.com/AutoScaling-2011-01-01.zip
https://s3.amazonaws.com/cloudformation-cli/AWSCloudFormation-cli.zip

По следам недавней статьи об изменении размеров изображений на сервере, я решил поделиться опытом внедрения модуля ImageResizer для IIS. Конечно написать простой обзор было бы слишком скучно, но мы не ограничились простым внедрением модуля.
Итак, у нас в распоряжении был купленный ImageResizer + набор плагинов Cloud Bundle для работы с облаками.

Привет!

Я хочу рассказать о фиче IAM ролей для серверов в AWS. Роль — это совокупность прав доступа, которые можно применить к серверу. Можем рассмотреть на определённом примере — дать доступ серверу к S3, не забивая никаких ключей вручную.

Приступим к примеру.

1. Создадим роль с нужными правами

Идём в консоль IAM и там создаём роль S3.

Привет!

С 1 декабря цены на использование облачного хранилища Amazon S3 снижены. В двадцать четвёртый раз AWS понижает цены в среднем на 24%, и сейчас первый терабайт в Вирджинии теперь будет стоить по 9.5¢ за гигабайт. Сравните, что сейчас мы имеем цену в 12,5¢. Неплохое снижение цен, правда? Новые цены для всех объёмов и регионов можно посмотреть на этой странице.

Примечательно то, что цены на большие объёмы не поменялись. Это означает то, что ни Dropbox, ни другие сервисы, использующие S3 как свои хранилища, не подешевеют. Изменения на гигантов не повлияют вовсе. Зато проекты, кторые используют до ~5 петабайт облачного хранилища теперь будут платить на четверть меньше.

Ожидаем в следующий раз снижение цен на трафик и операции с хранилищем!

Компания Amazon выкатила принципиально новый сервис Redshift для хранения баз данных размером от нескольких сотен гигабайт до многих петабайт. Продукт нацелен на корпоративных заказчиков, которых сдерживает ограничение в 1 терабайт традиционной RDS, при этом хотят пользоваться привычными SQL-приложениями и гарантировать мгновенную доступность данных.

Кластер Redshift поднимается в пару щелчков мыши из административной панели AWS. Стоимость хранения данных здесь сравнима с обычным S3 и зависит от типа кластера и тарифного плана. Например, на трёхлетнем плане она составляет $999 за терабайт в год.