
Amazon Web Services *
Инфраструктура платформ облачных веб-сервисов
Новый тип EC2 инстанса — High Memory Cluster Eight Extra Large Instance

Сразу вслед за High-Storage Eight Extra Large Amazon Web Services анонсировали новый тип инстансов для In-Memory вычислений — High Memory Cluster Eight Extra Large Instance.
Итак, технические характеристики нового типа инстанса:
- два восьмиядерных процессора Intel E5-2670 с частотой 2.6 GHz с поддержкой Intel Turbo Boost и NUMA
- 244 ГБ ОЗУ (!)
- два 120 ГБ SSD винчестера
- 10 Гб сеть для Cluster Placement Groups0
- только HVM виртуализация
- только EBS-backed AMI
Автоматическое конфигурирование виртуальных машин в облаках при помощи метаданных

In God we trust, the rest we automate
— unknown DevOps Engineer
Использование виртуализации и облачных платформ позволяет в десятки раз сократить время, затрачиваемое на запуск и обслуживание IT инфраструктуры. Один человек может манипулировать десятками, сотнями и даже тысячами виртуальных серверов, с легкостью их запускать, останавливать, клонировать, изменять конфигурацию оборудования и создавать на их основе готовые образы систем. Если все ваши сервера имеют одинаковую конфигурацию, то особых проблем нет, можно один раз вручную настроить сервер, сделать на его основе образ и запускать столько машин, сколько вам необходимо. Если же у вас большое количество разных операционных систем с разным набором программного обеспечения или если вам необходимо быстро запускать и останавливать сложные кластерные конфигурации, то обслуживание даже нескольких десятков таких серверов будет занимать очень много времени. Можно, конечно иметь набор разных скриптов и образов на все случаи жизни, которые необходимо будет сопровождать и обновлять, но более рационально использовать один скрипт и несколько образов, а все необходимые параметры передавать при старте системы. Многие платформы для облачных вычислений предлагают, так называемый, механизм метаданных (metadata) или пользовательских данных (user-data), используя этот механизм, вы можете передать скрипту все необходимые данные по настройке конкретной виртуальной машины или даже передать сам скрипт, чтобы он выполнился при старте.
Восстановление доступа к Amazon EC2 instance при потере pem-файла
Упомяну так же, что не ставил на сервер FTP, доступ по SFTP нельзя было бы получить без ключа.
Конечно можно долго говорить о прелестях резервного копирования, однако пришлось искать способ как восстановить доступ к облачной машине, чтобы не потерять уже сделанную работу.
Остановка неиспользуемых хостов через CloudWatch

Многие сталкивались с тем, что ресурсы системы простаивают. Обычная практика борьбы с простоем — удаление из системы этих ресурсов. С практической точки зрения на AWS, мы уже давно имеем инструменты терминировать простаивающие EC2 инстансы. Но это иногда не практично.
Возьмём ситуацию, когда при каждом старте нового инстанса при автоскейлинге, он каждый раз конфигурируется и обновляет софт. Т.е. это занимает определённое время и требует определённых взаимодействий. И вот каждый раз при скейлдауне эти инстансы выключаются и удаляются, а при скейлауте — поднимаются и снова конфигурируются. Как бы было хорошо, если бы инстансы просто выключались, а не удалялись!
EC2 — анализ цен для стартапа
Проблема
Сервер должен работать 24 часа в сутки напротяжении X месяцев (количество не определено). Какой вариант (On Demand / Light Utilization Reserved / Medium Utilization Reserved / Heavy Utilization Reserved) выбрать для Micro/Small/Medium/Large серверов?
Мобильное приложение для управления AWS

Мои поздравления пользователям Android! С сегодняшнего дня доступно официальное приложение для управления облаком Amazon Web Services с вашего девайса со следующим функционалом:
- Просматривать детали серверов EC2 и метрик CloudWatch
- Фильтровать и сортировать серверы EC2 и метрики CloudWatch
- Останавливать и перегружать серверы EC2
- Просматирвать тревоги из CloudWatch
- Просматривать графики из CloudWatch
- Просматривать автоматические действия для CloudWatch
- Переходить из тревог CloudWatch на EC2 серверы, которые пострадали
- Работать во всех регионах
- Переключаться между разными пользователями
AWS: Полуфиналисты конкурса стартапов
Пару месяцев назад я писал AWS Global Start-Up Challenge. Это мероприятие набрало обороты и собрало заявки представителей из 84 стран мира со всех обжитых континентов нашей планеты.
Итак были выбраны полуфиналисты в 4 номинациях по темам:
- Big Data & High Performance Computing
- Business Applications
- Consumer Applications
- Gaming

AWS Insight: Spot Instances

Продолжая тему об экономии денег в облаках, сегодня я расскажу о
- автомасштабирование
- резервирование
- использование спот инстансов
Что такое Spot инстанс?
Это обычный EC2 или VPC инстанс, но есть некоторые нюансы работы:
- Как было сказано ранее, это обычный инстанс. Вычислительные и сетевые ресурсы, дисковые скорости и всё остальное у машин такое же, как и обычных EC2 инстансов.
- Вы сами устанавливаете цену, которую будете платить за час использования инстанса. Больше вы платить не будете.
- Инстанс может быть выключен в любое время, если, например, кто-то предложил цену больше за слот, который вы занимаете, а других нет.
- Оплата производится за полный час работы инстанса. Часть часа отбрасывается в пользу клиента — в меньшую сторону до полного часа.
Снижаем затраты на использование AWS EC2
Для примера: средний новостной сайт, 30 тысяч посещений в сутки, его вполне потянет небольшой small или даже micro instance. Возьмем полный размер страницы 2 мегабайта, месячный трафик тогда будет (без учета закэшированного контента) — 30000 * 0.002 * 30 = 1800 GB или $216. Получается стоимость Data Transfer даже больше аренды самого инстанса! На S3 ситуация с ценами на трафик точно такая же.
AWS: Хороший, плохой, злой
Мы собираемся поговорить о следующих родственных понятиях:
- Для людей, которые слышали об Amazon, но еще не имели возможности его использовать, мы покажем все преимущества и недостатки этого сервиса, с которыми мы столкнулись в своей работе.
- Для тех, кто уже использует AWS, мы проясним некоторые детали и расскажем о лучшей практике использования Amazon для таких высокопроизводительных сервисов, как наш, где непрерывная работа системы является самым высоким критерием.
Лучшие практики Netflix при переходе с Oracle DB на Amazon SimpleDB
Где-то в конце 2008 года, у Netflix был всего один датацентр. И этот ДЦ поставил перед нами несколько вопросов. Как единственная точка отказа, к примеру, из-за проблем с электричеством, он мог привести к недовольству наших пользователей сервисом. К тому же, с одновременным ростом трафика потокового вещания и подписок на услуги, Netflix скоро бы переросла этот дата центр — мы видели неизбежную потребность в электроэнергии, лучшем охлаждении, нам требовалось больше места и больше оборудования.
Как вариант, можно было построить новые дата центры. Однако, кроме высоких затрат, это усилие привело бы к тому, что наши технические кадры не смогли бы заниматься новыми продуктами, так были бы заняты расширением ДЦ. К тому же, мы понимали, что управление несколькими дата центрами сложная задача. Строительство и поддержка нескольких дата центров казались нам опасным отвлечением от нашего основного бизнеса.
Вместо того, чтобы встать на этот путь, мы выбрали более радикальный. Мы перешли на решение IAAS (инфраструктура как сервис), предлагаемое в то время веб-сервисом Amazon. Со множеством уже работающих центров обработки данных, многократным уровнем избыточности различных сервисов (таких как, S3 и SimpleDB), AWS обещал лучшую доступность и маштабируемость за относительно короткое время.
Отдавая различные сетевые и фоновые задачи в аутсорсинг, Netflix сосредоточилась на своем основном бизнесе, поставке фильмов и сериалов.
В процессе перехода на инфраструктуру AWS мы сформулировали набор лучших практик, необходимых для работы с AP системами, такими как SimpleDB.
EBS RAID для ускорения работы и экономического эффекта

Вчера я написал статью о производительности EBS. Оказалось, что наиболее производительным будет RAID 10 из EBSoв. Помимо того, что RAID быстрее, это ещё и экономически более выгодно. Минимальная стоимость в месяц EBS диска с 2000 IOPS (минимальный размер 200 GB)
200 * $0.125 + 2000 * $0.10 = $225
Тот же объём информации в 200 GB в RAID10, состоящий из 8 стандартных EBS по 50 GB:
8 * (50 * $0.10) = $40
Исходя из расчётов, RAID дешевле более чем в пять с половиной раз.
Ближайшие события
Тесты производительности EBS

Очень много в интернете позитива/негатива об EBS. Так же не мало тестов на их производительность. Я решил сам провести несколько тестов и сделать небольшое исследование по этому поводу.
Итак, в тесте участвовала машинка m1.large к которой были примаунчены диски:
- EBS Standard, 100 GB
- EBS IO-1 500 IOPS, 100 GB
- EBS IO-1 1000 IOPS, 100 GB
- EBS IO-1 2000 IOPS, 200 GB
- 8xEBS Standard, 30 GB, RAID 10
- Ephemeral, 450 GB
Были проведены несколько тестов:
# hdparm -tT /dev/xcdX
# dd if=/dev/zero of=tempfile bs=5M count=1024 conv=fdatasync,notrunc
# echo 3 > /proc/sys/vm/drop_caches
# dd if=tempfile of=/dev/null bs=5M count=1024
# sysbench --num-threads=16 --test=fileio --file-total-size=5G --file-test-mode=rndrw prepare
# sysbench --num-threads=16 --test=fileio --file-total-size=5G --file-test-mode=rndrw run
Основные сбои в работе облачных сервисов в 2012 году, и какие выводы из этого можно извлечь
AWS Command Line Interface — всё в одном

Вы используете утилиты командной строки для управления серверами и сервисами AWS? Как же надоело обновлять и качать их из разных мест. Да и неоднородность команд тоже не радует…
AWS официально выпустили консолидированный CLI, который в последствии будет включать в себя все доступные сервисы. А сейчас можно управлять
- Amazon Elastic Compute Cloud (Amazon EC2)
- Elastic Load Balancing
- Auto Scaling
- AWS CloudFormation
- AWS Elastic Beanstalk
- Amazon Simple Notification Service (Amazon SNS)
- Amazon Simple Queue Service (Amazon SQS)
- Amazon Relational Database Service (Amazon RDS)
- AWS Identity and Access Management (IAM)
- AWS Security Token Service (STS)
- Amazon CloudWatch
- Amazon Simple Email Service (Amazon SES)
Бесплатное ОФИЦИАЛЬНОЕ отключение рекламы в Kindle Paperwhite with Special Offers
Этот пост будет небольшим и посвящён он будет тому, как можно официально и бесплатно отключить рекламу (Special Offers) в новом Kindle Paperwhite (хотя способ, как я понимаю, актуален для всех поколений и моделей Kindle). Сегодня ко мне приехал мой Paperwhite with Special Offers, и я сразу же начал курить Гугл в поисках относительно безопасного и проверенного метода избавления от рекламы (нужно заметить, что процессу чтения эта реклама в принципе не мешает, просто не люблю я её).
Новый тип EC2 инстанса — High-Storage Eight Extra Large

Новая радость для тех, кому важен размер. Amazon Web Services анонсировали монструозный сервер со следующими параметрами:
- 117 GiB of memory
- 35 EC2 Compute Units (16 virtual cores)
- 24 hard disk drives each with 2 TB of instance storage
- 64-bit platform
- I/O Performance: Very High (10 Gigabit Ethernet)
- Storage I/O Performance: Very High
- EBS-Optimized Available: No
- API name: hs1.8xlarge
AWS Data Pipeline — автоматизация работы с данными

Сегодня Amazon Web Services выпустили новый сервис, который работает с другими сервисами, а именно может помочь в переносе данных между:
- S3
- MySQL RDS/Внешние MySQL серверы
- DynamoDB
AWS Data Pipeline позволяет копировать, переносить данные из таблиц SQL и DynamoDB в S3 и наоборот.
Публикация приложения в Elastic Beanstalk

Сегодня я расскажу как легко создавать приложения в Elastic Beanstalk и публиковать их прямо из Git!
Для начала предлагаю установить утилиты командной строки для EB. Можно скачать отсюда, либо же воспользоваться моим скриптом для установки и обновления основных утилит по этой статье.
Установили. В консоли у нас появится команда eb, с которой мы и начнём.
1. Создание приложения
Для начала создадим папку приложения и инициализируем Git репозиторий. Например:
$ mkdir ~/Work/testapp/ && cd ~/Work/testapp/
$ git init
Создадим приложение Elastic Beanstalk
$ eb init