Привет!

Специально для тех, кто хостит свои статические странички на S3 появилась замечательная новость! Теперь можно использовать имя сайта и направлять его на бакет. Раньше мне приходилось редиректить мой домен kozhokaru.com на открытый адрес бакета, теперь же можно без лишних телодвижений отдавать красивое имя сайта.

Привет!

Вчера я написал статью о производительности EBS. Оказалось, что наиболее производительным будет RAID 10 из EBSoв. Помимо того, что RAID быстрее, это ещё и экономически более выгодно. Минимальная стоимость в месяц EBS диска с 2000 IOPS (минимальный размер 200 GB)

200 * $0.125 + 2000 * $0.10 = $225

Тот же объём информации в 200 GB в RAID10, состоящий из 8 стандартных EBS по 50 GB:

8 * (50 * $0.10) = $40

Исходя из расчётов, RAID дешевле более чем в пять с половиной раз.

Привет!

Очень много в интернете позитива/негатива об EBS. Так же не мало тестов на их производительность. Я решил сам провести несколько тестов и сделать небольшое исследование по этому поводу.

Итак, в тесте участвовала машинка m1.large к которой были примаунчены диски:

• EBS Standard, 100 GB
• EBS IO-1 500 IOPS, 100 GB
• EBS IO-1 1000 IOPS, 100 GB
• EBS IO-1 2000 IOPS, 200 GB
• 8xEBS Standard, 30 GB, RAID 10
• Ephemeral, 450 GB

Были проведены несколько тестов:

# hdparm -tT /dev/xcdX

# dd if=/dev/zero of=tempfile bs=5M count=1024 conv=fdatasync,notrunc
# echo 3 > /proc/sys/vm/drop_caches
# dd if=tempfile of=/dev/null bs=5M count=1024

# sysbench --num-threads=16 --test=fileio --file-total-size=5G --file-test-mode=rndrw prepare
# sysbench --num-threads=16 --test=fileio --file-total-size=5G --file-test-mode=rndrw run

Привет!

Вы используете утилиты командной строки для управления серверами и сервисами AWS? Как же надоело обновлять и качать их из разных мест. Да и неоднородность команд тоже не радует…

AWS официально выпустили консолидированный CLI, который в последствии будет включать в себя все доступные сервисы. А сейчас можно управлять

• Amazon Elastic Compute Cloud (Amazon EC2)
• Elastic Load Balancing
• Auto Scaling
• AWS CloudFormation
• AWS Elastic Beanstalk
• Amazon Simple Notification Service (Amazon SNS)
• Amazon Simple Queue Service (Amazon SQS)
• Amazon Relational Database Service (Amazon RDS)
• AWS Identity and Access Management (IAM)
• AWS Security Token Service (STS)
• Amazon CloudWatch
• Amazon Simple Email Service (Amazon SES)

Привет!

Новая радость для тех, кому важен размер. Amazon Web Services анонсировали монструозный сервер со следующими параметрами:

• 117 GiB of memory
• 35 EC2 Compute Units (16 virtual cores)
• 24 hard disk drives each with 2 TB of instance storage
• 64-bit platform
• I/O Performance: Very High (10 Gigabit Ethernet)
• Storage I/O Performance: Very High
• EBS-Optimized Available: No
• API name: hs1.8xlarge

Привет!

Сегодня Amazon Web Services выпустили новый сервис, который работает с другими сервисами, а именно может помочь в переносе данных между:

• S3
• MySQL RDS/Внешние MySQL серверы
• DynamoDB

AWS Data Pipeline позволяет копировать, переносить данные из таблиц SQL и DynamoDB в S3 и наоборот.

Привет!

Сегодня я расскажу как легко создавать приложения в Elastic Beanstalk и публиковать их прямо из Git!

Для начала предлагаю установить утилиты командной строки для EB. Можно скачать отсюда, либо же воспользоваться моим скриптом для установки и обновления основных утилит по этой статье.

Установили. В консоли у нас появится команда eb, с которой мы и начнём.

1. Создание приложения

Для начала создадим папку приложения и инициализируем Git репозиторий. Например:

$ mkdir ~/Work/testapp/ && cd ~/Work/testapp/
$ git init

Создадим приложение Elastic Beanstalk

$ eb init

Привет!

Сегодня я хочу поделиться результатами своего исследования в области версионирования объектов в S3. Я про эту фичу слышал давно, но особо много не знал. Да и сейчас не особо много знаю — расскажу, как включить версионирование в бакете и получение объектов разных версий.

Моё исследование показало, что эта функция не особо востребована, а готовых бесплатных утилит для версионирования вообще не существует. Зато есть библиотеки, в которых есть этот функционал. Нужно — разрабатывайте, мол.

Итак, для версионирования, в бакете нам прежде всего нужно его включить. Есть 2 доступных способа это сделать, и оба они завязаны на API.

• Чистый REST/SOAP запрос
• Через библиотеку

Я воспользуюсь Ruby библиотекой aws-sdk, которую и установим:

$ gem install aws-sdk

Привет!

С сегодняшнего дня можно копировать EBS Snapshot'ы в другие регионы. Это отличная и удобная функция, которая позволяет клонировать ваши сервисы и данные в разные регионы родными способами!

В меню снапшотов появилась опция Copy Snapshot:

Привет!

В ноябре в Лас-Вегасе прошла крупнейшая конференция "AWS re:Invent". Она была посвящена облачным технологиям и Amazon Web Services в частности. Рассказывалось о развитии и эволюции AWS.

Были поведаны интересные цифры, например, в 2007 году они выкатили всего 9 релизов. В 2011 это число достигло 82. А в 2012 было целых 150 релизов! Вот с какими темпами развивается AWS. Так же на конференции было рассказано много 'best practicies', историй от экспертов.

Привет!

Status Check

Многие замечали в консоли EC2 в таблице инстансов столбец Status Check. Он обычно зелёного цвета — OK. Не раз я видел, что статус чек фейлится. Что же такое статус чек, какие параметры он отслеживает?

Status Check — это несколько автотестов, которые проходит инстанс и нода-носитель, на которой этот инстанс бежит. На данный момент есть 2 статус чека:

1. System Status Check — проверка состояния параметров, которые зависят от AWS. Эти проблемы легко решаются рестартом или стоп-стартом инстнса, он переедет на другой носитель. В целом проблемы могут быть:

• недостаток сетевых ресурсов
• недостаток питания
• проблемы с ПО носителя
• проблемы с аппаратным обеспечением носителя

Привет!

Как известно, одним из основных правил использования облачных сервисов является оптимизация всего, а особенно финансовой стороны вопроса. В Amazon Web Services есть 3 основных метода оптимизации стоимости сервиса:

• автомасштабирование
• резервирование
• использование спот инстансов

Сегодня я расскажу о резервировании в EC2, как, что и зачем это нужно обязательно делать.

Reservation — это предварительная оплата серверных мощностей, позволяющая значительно уменьшить расходы на эти же самые мощности. Существует 3 вида резервации:

• Облегчённого использования — Light Utilization
• Среднего использования — Medium Utilization
• Усиленного использования — Hard Utilization

Привет!

Сегодня я расскажу о параметр группах AWS RDS. Как вы знаете, RDS предоставляет нам простую точку входа в БД. Ни к диску, ни в саму ОС и настройкам БД у нас нет доступа. Так же мы ограничены правами некоего суперпользователя, но это не root всё равно.

RDS Parameter Groups позволяют создать нужную конфигурацию вашей базы данных. Сегодня я на примере покажу как разрешить возможность создания хранимых процедур в RDS под MySQL. При создании сервера создаётся дефолтная параметр группа. В ней же можно и посмотреть список доступных параметров:

$ rds-describe-db-parameters default.mysql5.1

Привет!

У многих есть AWS аккаунтны, которые поддерживают другие люди. Например ситуация: клиент хочет, чтоб ему админ что-то настроил. Что делать? Давать имейл и пароль? Не комильфо… Есть выход, и я с картинками расскажу, что и как на примере своего личного аккаунта.

В AWS есть замечательный сервис IAM (Identity and Access Mangement). Первым делом туда и идём — https://console.aws.amazon.com/iam/. Сначала настроим адрес вашей собственной страницы входа в консоль. Находим и нажимаем кнопку Create Accoun Alias на главной странице IAM:


Моя консоль теперь доступна по адресу: https://kozhokaru.signin.aws.amazon.com/console.

Привет хабраписателям!

По рекомендации Хабрахабра многие пользуются сервисом habrastorage.org для хостинга картинок. Да, загрузка многих изображений через веб страничку это может и удобно, но не очень.

Я для скриншотов использую клиент Gyazo и наработки, описанные в этой статье. Приходится перезаливать изображения на хабрасторадж, а это иногда донимает, если в посте немало картинок.

Появилась идея модифицировать клиент Gyazo, чтобы сразу отправлять скриншоты в хабрасторадж. И знаете, всё получилось!

Привет!

Многие знают, что помимо веб консоли у Amazon Web Services есть очень удобыне утилиты командной строки. Теперь эти утилиты доступны и для PowerShell!

Теперь администраторам Windows серверов на EC2 станет ещё легче интегрировать свои скрипты c AWS.

Какие сервисы поддерживаются?

Большинство! Полный список ниже:

Привет!

Совсем недавно RDS стали доступными на инстансах типа t1.micro бесплатно в рамках пакета Free Tier. А с сегодняшнего дня, эти RDS инстансы доступны и в VPC.

Напомню, что VPC (Virtual Private Cloud) — это отдельное виртуальное облако, которое позиционируется, как приватное. Ресурсам можно назначать сети и подсети, сетевые интерфейсы и ещё много чего. Можно ограничить свои серверы от всего Интернета, тем самым серьёзно повысив безопасность ресурсов.

Для того, чтоб добавить RDS инстанс в уже существующую сеть, нужно сначала создать DB подсеть в консоли:

Привет!

У многих есть проекты с «хайлоадом». Немногие используют кластеры на AWS. И те, кто всё-таки их используют, должны использовать Placement группы.

Что это такое

Placement Groups (Группы размещения) — логические объединения кластерных типов AWS инстансов, позволяющие уменьшить сетевые задержки. AWS гарантирует скорость в 10 Gb между серверами, запущенными в одной плейсмент группе. Чисто теоретически, эти инстансы запускаются географически рядом.

При обычном размещении инстансов получается приблизительно следующая картина:

Привет!

Хочу поведать читателям Хабрахабра о сервисе Elastic Load Balancer, который входит в состав Enterprise Compute Cloud. Многие давно уже пользуются сервисом ELB, но не знают как работает сервис изнутри. Я немного владею этой информацией — многочасовые митинги с саппортом AWS иногда гораздо познавательнее документации на сайте.

Итак, начнём с основ, потом перейдём к нюансам.

Что такое ELB.

Elastic Load Balancer — это сервис, предоставляющий балансировку запросов между инстансами EC2/VPC. Соответственно есть 2 типа ELB, которые

• видны из интернета — EC2/VPC
• не видны из интернета — VPC

Привет!

Как известно, AWS имеет отличные инструменты командной строки, с помощью которых можно настроить абсолютно всё в AWS. Веб консоль, которая тоже есть, не всегда имеет такой широкий спектр возможностей. А CLI утилиты — лучшие друзья!

Но с организацией репозиториев этих самых утилит у AWS явные проблемы. Вот посмотрите только на зоопарк ссылок, с которых нужно скачивать эти тулзы:

http://awsiammedia.s3.amazonaws.com/public/tools/cli/latest/IAMCli.zip
http://s3.amazonaws.com/ec2-downloads/ec2-api-tools.zip
http://s3.amazonaws.com/rds-downloads/RDSCli.zip
http://s3.amazonaws.com/ec2-downloads/ec2-ami-tools.zip
http://ec2-downloads.s3.amazonaws.com/CloudWatch-2010-08-01.zip
http://ec2-downloads.s3.amazonaws.com/ElasticLoadBalancing.zip
http://ec2-downloads.s3.amazonaws.com/AutoScaling-2011-01-01.zip
https://s3.amazonaws.com/cloudformation-cli/AWSCloudFormation-cli.zip