Amazon Web Services *

Вторник, 4 ноября, Париж, Дворец Собраний. Саммит, посвященный OpenStack, доклад главного операционного директора объединения OpenStack – Марка Коллиера (Mark Collier). Вот при таких вот довольно обыденных обстоятельствах ознаменовался новый поворотный этап в жизни одной из крупнейших ИТ-корпораций мира — Amazon Web Services (AWS). Марк Коллиер перед презентацией своего доклада сделал небольшое художественное отклонение, представив отрывок финальной сцены культового фильма от режиссера Стенли Кубрика «2001: Космическая Одиссея», снятого в далёком 1968 году. Главный герой картины — дряхлый дед, распластавшийся в кровати, превращается под действием неведомой силы, загадочного черного монолита, в еще даже не родившееся дитя. Как утверждает Марк, показанная сцена как нельзя луче описывает сложившуюся ситуацию и те изменения, что ожидают AWS. Вогнав публику, столь гротескной презентацией доклада, в некое замешательство: то ли у Amazon все так плохо, то ли наоборот, все так хорошо у OpenStack, участники саммита ждали ответов…

Только что пришёл мейл от Амазона со следующим содержанием:

aws.amazon.com/blogs/aws/aws-region-germany

It is time to expand the AWS footprint once again, this time with a new Region in Frankfurt, Germany. AWS customers in Europe can now use the new EU (Frankfurt) Region along with the existing EU (Ireland) Region for fast, low-latency access to the suite of AWS infrastructure services. You can now build multi-Region applications with the assurance that your content will stay within the EU.

New Region

The new Frankfurt Region supports Amazon Elastic Compute Cloud (EC2) and related services including Amazon Elastic Block Store (EBS), Amazon Virtual Private Cloud, Auto Scaling, and Elastic Load Balancing.

<...>

This is our eleventh Region. As usual, you can see the full list in the Region menu of the AWS Management Console:.

Очевидный факт, что распределенные вычислительные системы особо больших масштабов требуют особых, индивидуальных правил и систем регуляции. Простое масштабирование технологий для малых систем тут не работает. Одно из таких различий состоит в необходимости использования веб-кеширования. Как же инженеры Facebook справляются с детищем Цукенберга? Давайте рассмотрим чуть более детально принципы кеширования, используемые сетевым гигантом Facebook.

Сегодня утром получил уведомление от службы поддержки AWS.

В уведомлении сообщается, что функция «Plug and Play Cleanup» из Windows Server 2012 R2, проверяющая систему на неактивные устройства раз в 30 дней, определяет сетевые карточки EC2 (единственный способ доступа к инстансу), как неактивные. Как следствие, устройство удаляется из системы и при следующей перезагрузке доступ к инстансу будет потерян. Если доступ к инстансу еще не потерян, удостовериться, что инстанс не подвержен данной проблеме и предотвратить отключение сетевых интерфейсов можно с помощью специально выпущенного скрипта, который можно скачать тут или со страницы с описанием проблемы на официальном сайте.

31 июля Amazon Web Services анонсировал большие новости в работе их DNS сервиса Route 53.

Что же именно приготовил Amazon?

Утечка внутренних документов американской сети магазинов комплектующих Staples раскрыла кое-какие планы на будущее торгового гиганта Amazon: в следующем месяце в торговые точки Staples должен поступить новый продукт под названием «Amazon Card Reader»:

Компания T-System, что является дочерней структурой ИТ гиганта Deutsche Telekome, презентовала крупный дата центр в г. Байер, ФРГ. Особенность этого проекта состоит в том, что, по словам руководства проекта, все данные, размещенные на площадке, будут сверхзащищены от несанкционированного к ним доступа.

После скандального разоблачения действий по сбору информации из коммуникационной структуры США, службой АНБ, раскрытых ее сотрудником Эдвардом Сноуденом, проблема размещения и безопасного перемещения информации встала очень остро перед множеством клиентов ЦОДов.

Новые инстансы дешевле старых и вводят понятие CPU Credit-ов.

CPU Credit — это внутренняя накапливающаяся монета, которая равна 1 минуте при 100% нагрузке.
Кредит накапливается со скоростью зависимой от типа сервера. Так же, от типа сервера зависит до куда просядет его максимальная CPU нагрузка при отсутствии кредитов — baseline. Минимальный максимум. Минимальный, так как при отсутствии кредитов максимальная нагрузка проседает не мгновенно, а постепенно в течении 15 минут, чтобы была возможность компенсировать нехватку ресурсов в случае необходимости.
Хранится кредит до 24 часов.

Тип инстанса	Кредитов в час	Baseline	Цена за час	Цена за месяц
t2.micro	6	10%	$0.013	$9.50
t2.small	12	20%	$0.026	$19
t2.medium	24	40%	$0.052	$38

Я хочу рассказать об опыте установки Eucalyptus 4.0. Это последняя версия AWS совместимой облачной системы от компании Eucalyptus. Вместе с большим количеством изменений и улучшений компания поменяла подход к демо-инсталляции. От ISO решено было перейти к инсталляции с использованием Chef рецептов. Это позволило свести систему инсталляции готового для тестирования и расширения решения к одной командной строке.

Пока у eBay проблемы, Amazon планирует попробовать себя в качестве провайдера услуг локального бизнеса: няни (речь, разумеется, об Америке), разнорабочие, парикмахеры и так далее.



Новостное агентство «Рейтерс» утверждает, что Amazon уже провёл переговоры с представителями местных сервисных компаний в Сиэттле и Сан-Франциско, и запуск сервиса в этих городах возможен уже до конца года.

Сейчас у нас в наличии серьезный ассортимент разнообразных облачных хранилищ. В каких-то Вам предоставляют больше места для ваших данных, в других меньше. Часто бывает что информация распределена между двумя++ различными сервисами. Неплохо было бы иметь удобный инструмент для того, чтобы без особых затрат времени и трафика привести эти удаленные папки в желаемый вид. Я открыл для себя вот этот сервис.

Хочу поделиться двумя примерами того, как западные компании уважительно относятся к деньгам клиентов и не стараются их оставить себе в случае очевидных ошибок клиентов. Этого очень не хватает русским компаниям, особенно сотовым операторам, которые дошли уже до того, что при неправильном вводе USSD-команды показывают «анекдот» и списывают от 30 рублей.

Amazon будет использовать 10 000 роботов на своих складах к концу этого года.

Генеральный директор Amazon Джефф Безос сообщил инвесторам на собрании акционеров в среду, что он ожидает значительно увеличить число роботов, которые будут использоваться для выполнения заказов клиентов.

Это короткое руководство, возможно, поможет кому-то, кто использует AWS (и, в частности, MySQL на инстансе EC2), восстановить данные в MySQL из снимка EBS (регулярное создание которых любой предусмотрительный системный администратор, конечно же, настраивает заблаговременно — с помощью ec2‑consistent‑snapshot, например)

Прежде всего нужно открыть EC2 Management Console, и в разделе ELASTIC BLOCK STORE → Snapshots найти подходящий снимок (обычно это последний снимок раздела).

Далее нужно щёлкнуть на снимке правой кнопкой мышки и выбрать «Create Volume». В Availability Zone при этом нужно выбрать тот же регион, в котором находится инстанс EC2.

После этого нужно перейти в раздел ELASTIC BLOCK STORE → Volumes и, опять же, щёлкнуть правой кнопкой мышки на появившийся раздел. В меню нужно выбрать пункт «Attach Volume», после чего в появившемся модальном окне выбрать инстанс EC2 и нажать «Yes, Attach».

Всё — на сервере должно появиться новое блочное устройство. Теперь можно запустить dmesg | tail и посмотреть, какой идентификатор был присвоен для подключённого блочного устройства. Допустим, это xvdg. Тогда ФС может располагаться, например, на /dev/xvdg1 (зависит от предпочтений того, кто создавал таблицу разделов).

В первом посте об аналитической системе Sports.ru и Tribuna.com мы рассказали о том, как используем нашу инфраструктуру в повседневной жизни: наполняем контентом рекомендательную систему, наблюдаем за бизнес-метриками, ищем среди пользовательского контента бриллианты, находим ответы на вопросы “Как работает лучше?” и “Почему?”, нарезаем пользователей для почтовых рассылок и строим красивые отчеты о деятельности компании. Всю техническую часть повествования мы скромно спрятали за этой схемой:



Читатели законно потребовали продолжить повествование со смешными котиками, а olegbunin пригласил рассказать о всем, что было скрыто, на РИТ++. Что ж, изложим некоторые технические детали – в продолжении веселого поста.

Всем привет!
Решил описать основные моменты настройки отказоустойчивого (HA) кластера БД PostgreSQL в IaaS среде от Amazon — AWS.

Про настройку указанной связки с момента появления в свет 9й версии с нативной репликацией уже написано достаточно много статей, поэтому подробно останавливаться на настройке самого PostgreSQL и pgpool не буду, тут все относительно стандартно. Приводимые куски конфигов непригодны к бездумному копипасту, в любом случае придётся открывать свои конфиги и править необходимые параметры. Не хочу поощрять процесс конфигурации по методу копипаста.

Здравствуй, хабраюзер. Вот и подоспела третья часть моей статьи, которая подытожит цикл (часть 1 и часть 2) статей для начинающих. Эта часть будет посвящена конкретному примеру применения Chef в облаке Amazon. Как я уже упоминал – это достаточно популярный сценарий. Для простоты понимания, будет рассмотрен случай с двумя ec2-instance (виртуальные сервера Amazon), один из которых будет выполнять роль Chef-сервера, а второй – узла.

AWS и Chef

Сразу же уточню, что запускать instance мы будем используя AWS CloudFormation. Можно было бы, конечно, запустить и управлять ними вручную, но какой смысл в такой автоматизации?

Добрый день всем жителям Хабра! Напомню, что в прошлый раз я описал работу с облачными мультимедиа сервисами: Windows Azure Media Services и Amazon Elastic Transcoder. Естественно механизм работы с помощью SDK, описанный мной, не единственный. Конечно есть еще возможность работы через REST API, UI или CLI, но объять все в одной статье невозможно. Поэтому я надеюсь начало «инвестигейшена» этих сервисов положено. Мне же осталось только привести сравнение этих сервисов между собой. Поехали!

Возможности

Следует заметить, что как я уже отмечал в описании Amazon Elastic Transcoder, несмотря на релиз SDK для этого сервиса, в нем есть несколько ошибок, которые необходимо будет обойти при работе с ним. Кроме этого в отличие от Windows Azure Media Services облачный сервис от Amazon находится в beta режиме. Соответственно никто не гарантирует его стабильную работу.



Тем не менее, давайте попробуем составить таблицу возможностей облачных мультимедиа сервисов.



Рассмотрим возможности каждого из сервисов подробнее.

Не так давно AWS Amazon представил сервис, именуемый AWS Test Drive. Мне повезло, в рамках совместной программы AWS Amazon и нашей компании я смог познакомиться с этим сервисом поближе и опробовать его функционал. Для начала хочу вкратце рассказать, что же это такое и зачем оно надо.

Приветствую всех читателей Хабра! Надеюсь все уже отошли от новогодних праздников и готовы приступать к продуктивной работе в новому году. Мне остается лишь пожелать успехов в этом деле.

Напомню, что в прошлом году я поставил задачу сравнить сервисы для обработки видео облачных провайдеров от Microsoft и Amazon. Что ж сегодня пришло время описать работу с Amazon Elastic Transcoder. Итак, поехали!

Несмотря на то, что с версией 2.0, SDK для работы с сервисами Amazon на платформе .NET, перешел в General Availability состояние, в нем все же есть несколько досадных багов. О них я расскажу, когда мы столкнемся с реализацией соответствующего функционала. Чтобы обойти их нам понадобится сделать несколько операций через UI или утилиты командной строки. Но обо всем по порядку.

Amazon Web Services

Итак, первое, что нам необходимо сделать прежде чем использовать Amazon Elastic Transcoder, это создать аккаунт хранилища. В нем будут храниться загруженные для конвертации файлы. По аналогии с Windows Azure, где файлы хранятся в блобах, в Amazon файлы хранятся в корзинах (bucket). Нам необходимо создать одну.
Для того чтобы создать корзину заходим в Amazon Management Console и переходим в раздел Services -> Storage & Content Delivery -> S3.