Amazon Web Services *

Добрый день всем жителям Хабра! Напомню, что в прошлый раз я описал работу с облачными мультимедиа сервисами: Windows Azure Media Services и Amazon Elastic Transcoder. Естественно механизм работы с помощью SDK, описанный мной, не единственный. Конечно есть еще возможность работы через REST API, UI или CLI, но объять все в одной статье невозможно. Поэтому я надеюсь начало «инвестигейшена» этих сервисов положено. Мне же осталось только привести сравнение этих сервисов между собой. Поехали!

Возможности

Следует заметить, что как я уже отмечал в описании Amazon Elastic Transcoder, несмотря на релиз SDK для этого сервиса, в нем есть несколько ошибок, которые необходимо будет обойти при работе с ним. Кроме этого в отличие от Windows Azure Media Services облачный сервис от Amazon находится в beta режиме. Соответственно никто не гарантирует его стабильную работу.



Тем не менее, давайте попробуем составить таблицу возможностей облачных мультимедиа сервисов.



Рассмотрим возможности каждого из сервисов подробнее.

Не так давно AWS Amazon представил сервис, именуемый AWS Test Drive. Мне повезло, в рамках совместной программы AWS Amazon и нашей компании я смог познакомиться с этим сервисом поближе и опробовать его функционал. Для начала хочу вкратце рассказать, что же это такое и зачем оно надо.

Приветствую всех читателей Хабра! Надеюсь все уже отошли от новогодних праздников и готовы приступать к продуктивной работе в новому году. Мне остается лишь пожелать успехов в этом деле.

Напомню, что в прошлом году я поставил задачу сравнить сервисы для обработки видео облачных провайдеров от Microsoft и Amazon. Что ж сегодня пришло время описать работу с Amazon Elastic Transcoder. Итак, поехали!

Несмотря на то, что с версией 2.0, SDK для работы с сервисами Amazon на платформе .NET, перешел в General Availability состояние, в нем все же есть несколько досадных багов. О них я расскажу, когда мы столкнемся с реализацией соответствующего функционала. Чтобы обойти их нам понадобится сделать несколько операций через UI или утилиты командной строки. Но обо всем по порядку.

Amazon Web Services

Итак, первое, что нам необходимо сделать прежде чем использовать Amazon Elastic Transcoder, это создать аккаунт хранилища. В нем будут храниться загруженные для конвертации файлы. По аналогии с Windows Azure, где файлы хранятся в блобах, в Amazon файлы хранятся в корзинах (bucket). Нам необходимо создать одну.
Для того чтобы создать корзину заходим в Amazon Management Console и переходим в раздел Services -> Storage & Content Delivery -> S3.

В сети уже есть несколько обзоров производительности этого решения от Amazon, в этой статье я не преследовал цели проверки уже полученных результатов, меня интересовали некоторые особенности, не рассматриваемые в других источниках, а именно:

1. в документации сказано, что Amazon старается сохранять порядок сообщений, на сколько хорошо он сохраняется?
2. как быстро происходит получение сообщения при использовании Long Polling?
3. насколько ускоряет процесс пакетная обработка?

Добрый день всем, кто нашел в себе силы для того, чтобы заглянуть на Хабр в последнюю рабочую неделю этого года! На этот раз я хотел бы поделиться с вами опытом использования сервисов для работы с мультимедиа контентом, предоставляемого облачными провайдерами. Чтобы процесс был более интересным мы рассмотрим два облачных провайдера: Windows Azure Media Services и Amazon Elastic Transcoder. После этого конечно же не забудем их сравнить! Итак, поехали!

Только что получил анонс, что на AWS стали доступны инстансы нового поколения Amazon EC2 High I/O. Данные типы инстансов базируются на новом поколении процессоров Intel Ivy Bridge. Каждый виртуальный CPU (vCPU) соответствует одному аппаратную потоку исполнения (hyperthread) процессора Intel Xeon E5-2670 v2 (Ivy Bridge).

Вот табличка:

Несмотря на то, что информационные технологии развиваются весьма стремительно, проблемы еще есть. В частности, пока еще никому не удалось добиться стопроцентной защиты от аварийных ситуаций. Тайфуны, отключения электричества, человеческий фактор — все это приводит к простоям оборудования и неработоспособности сайтов/сервисов. О самых значительных проблемах 2013 года стоит вспомнить перед началом нового, 2014, года.

Добрый день, хабраюзер!

Есть у нас задача связывать различные сервисы и существующие системы в управляемые процессы. Скорость нужна не космическая (т.е. не по биржевым котировкам отклик создавать), но зато процессов много и компонент (систем) которые нужно использовать тоже порядочно вырисовывается. Не хочется делать p2p связывание. Хочется чего-то красивого и управляемого.

Просмотрев рынок, было принято решение сделать реплику по мотивам Amazon Simple Workflow, так как использовать его напрямую мы не можем. Свойства фреймворка которые нам подходят:

Joe Masters Emison опубликовал очередное исследование в котором сравнил относительную стоимость разных типов маши GCE и AWS. Основные на мой взгляд выводы его исследования:

• Производительность машин в обеих зонах GCE одинакова для всех видов VM
• Наилучшее сочетание цены и производительности у f1-micro (но у нее возможны сильные изменения характеристик). g1-small и n1-standard-1 очень близки по цене за единицу производительности к f1-micro
• Если вам нужны однопроцессорные машины по требованию, то GCE сильно дешевле AWS

Статья на английском доступна на www.networkcomputing.com/cloud-computing/iaas-performance-benchmarks-part-4-googl/240164495

В очередной раз понадобилось примерно прикинуть стоимость серверов при переносе проекта в облако Amazon. Не удалось найти толкового инструмента, а то, что предлагает сам Amazon слишком сложно для моего понимания. Заодно сделал возможность сравнивать и подбирать сервера на Digital Ocean, RackSpace, Google Compute Engine и Microsoft Azure.

http://jagermesh.github.io/cloudhostingcalculator/



Проект на гитхабе — https://github.com/jagermesh/cloudhostingcalculator. Желающие могут дополнить ценами и типами инстансов. Все данные в data/instances.json.

Планирую добавить расчет стоимости Storage, сервисов (Load Balancing, etc...) и трафика. Когда-нибудь. Позже…

Надеюсь пригодится и сэкономит немного времени.

Тема высоконагруженных приложений у всех на слуху. Тоже решил вставить свои 5 копеек и поделиться опытом создания высоконагруженного приложения на инфраструктуре AWS.


Сначала, буду банален и повторю всем известные истины. Есть 2 пути масштабирования приложения:
1) вертикальное масштабирование — это увеличение производительности каждого компонента системы (процессор, оперативная память, прочие компоненты);
2) горизонтальное, когда соединяют несколько элементов воедино, а система в целом состоит из множества вычислительных узлов, решающих общую задачу, тем самым увеличивая общую надежность и доступность системы. А увеличение производительности достигается добавлением в систему дополнительных узлов.

Первый подход неплох, но есть существенный минус — ограниченность мощности одного вычислительного узла — невозможно бесконечно увеличивать частоту вычислительного ядра процессора и пропускную способность шины.
Поэтому горизонтальное масштабирование значительно выигрывает у своего вертикального брата, ведь при недостатке производительности можно добавить в систему узел (или группу узлов).

Недавно мы в очередной раз постигали все прелести горизонтального масштабирования на практике: строили высоконадежный социальный сервис для болельщиков американского футбола, выдерживающий пиковую нагрузку в 200 000 запросов в минуту. Поэтому хочу рассказать о нашем опыте создания высокомасштабируемой системы на инфраструктуре Amazon Web Services.

Обычно, архитектура веб приложения выглядит следующим образом:

Рис. 1. Типичная архитектура веб приложения

• первым пользователя “встречает” веб-сервер, на его плечи возлагаются задачи отдачи статических ресурсов и передачи запросов приложению;
• далее эстафета передается приложению, где протекает вся бизнес-логика и взаимодействие с базой данных.

Чаще всего узкими местами системы являются код приложения и база данных, следовательно, стоит предусмотреть возможности их распараллеливания. Мы использовали:

• development language and core framework — java 7 and rest jersey
• application server — tomcat 7
• database — MongoDB (NoSQL)
• cache system — memcached

Как это было, или через тернии к high load

Конечно же главная торговая площадка сети Интернет не могла остаться в стороне от традиционных чернопятничных распродаж и уже практически месяц выставляет на витрины выгодные лоты. А завтра нас ждет апогей шопинговой вакханалии.
В частности, Amazon Digital Services можно купить цифровые копии игр и игры на физических носителях для десктопа и консолей со значительными скидками.

В последнее время появилась возможность создать свой облачный сервис (IaaS) без усилий и программирования. В простейшем случае можно создать Cloud-In-A-Box используя всего один компьютер с процессором который поддерживает виртуализацию. Данное облако имеет свои ограничения и, по-моему, подходит только для тренировки. Если у вас есть две машины с процессорами которые поддерживают виртуализацию, то можно создать полноценное облако пригодное для тестирования и разработки облачных решений. Недавно компания Eucalyptus представила новую версию своего продукта Eucalyptus 3.4. С помощью программы FastStart можно создать полноценную AWS и S3 совместимую IaaS систему без усилий и глубоких знаний продукта.

От переводчика: Это двенадцатая, последняя статья из цикла о Node.js от команды Mozilla Identity, которая занимается проектом Persona.

Все статьи цикла:

1. "Охотимся за утечками памяти в Node.js"
2. "Нагружаем Node под завязку"
3. "Храним сессии на клиенте, чтобы упростить масштабирование приложения"
4. "Производительность фронтэнда. Часть 1 — конкатенация, компрессия, кэширование"
5. "Пишем сервер, который не падает под нагрузкой"
6. "Производительность фронтэнда. Часть 2 — кешируем динамический контент с помощью etagify"
7. "Приручаем конфигурации веб-приложений с помощью node-convict"
8. "Производительность фронтенда. Часть 3 — оптимизация шрифтов"
9. "Локализация приложений Node.js. Часть 1"
10. "Локализация приложений Node.js. Часть 2: инструментарий и процесс"
11. "Локализация приложений Node.js. Часть 3: локализация в действии"
12. "Awsbox — PaaS-инфраструктура для развёртывания приложений Node.js в облаке Amazon"

---

После того как вы написали приложение на Node.js, как развернуть его на сервере? Вместо того, чтобы использовать готовое PaaS-решение, наша команда создала собственную инфраструктуру поверх Amazon EC2. Сейчас мы расскажем подробнее о том, как мы это сделали.

Мы представим вам awsbox — минималистичный слой PaaS-инфраструктуры для Node.js, который сейчас обслуживает пару дюжин некритичных сервисов Mozilla. Awsbox разработан для того, чтобы предоставить простоту и удобство развёртывания, характерные для PaaS, не теряя при этом гибкости кастомизированной инфраструктуры.

AWS Activate — это специальная программа для стартапов, разработанная Amazon для упрощения начала работы в облаке, естественно с использованием Amazon Web Services.

Участие в программе бесплатное. Насколько понял, нет никаких ограничений по странам или направлениям деятельности.
Единственное условие: стартап еще не получал поддержки от Амазон и не использовал AWS Free Tier.

Несмотря на два активных обсуждения, для многих Хабраюзеров — жителей СНГ, в том числе слабо владеющих иностранными языками, — Амазон остается черным ящиком. Этому пособствует и пока еще не совсем дружественный алгоритм приобретения товаров интернациональными покупателями. В этом топике вы найдете еще несколько очень полезных советов.

В этой статье демонстрируется применение виртуальных сетей Windows Azure (Windows Azure Virtual Network, VNET) для создания IPsec-туннеля для соединения с окружением Virtual Private Cloud (VPC) расположенным в Amazon Web Services (AWS). используя это руководство вы сможете буквально содержать рабочие среды в каждом из облаков с полным сетевым сообщением между содержащимися в них виртуальными машинами посредством безопасного IPsec-туннеля. Этот подход может легко применяться для реализации сценария обеспечения отказоустойчивости, резервного копирования или даже миграции между облачными провайдерами. Программный VPN, который используется в этой статье для тестирования – это Open Swan.

Разбор полетов

По итогам прошлого поста мы выяснили, что:

• доставка происходит в обход Почты РФ через UPS/DHL;
• в Москву посылка приходит за 5 дней;
• для РФ Киндл продается только в версии «без встроенной рекламы» и без аксессуаров в отдельном лоте. Поэтому чехлы, к примеру, можно взять тут.
• Amazon оплачивает услуги таможенного брокера;
• заказывая доставку на рабочий адрес, никак не упоминайте название компании, иначе получателем будет компания, а не вы, со всеми последствиями;
• если ваша покупка дешевле 200 евро, включая стоимость доставки, вам не о чем переживать;
• если вы хотите сделать покупку весом до 31 кг. и стоимостью до 1000 евро, включая стоимость доставки, то вам желательно заказывать ее на адрес в одном из городов списка (Москва, Санкт-Петербург, Краснодар, Владивосток, Ставрополь, Новороссийск и Нижний Новгород). В этом случае доступны следующие варианты развития событий:
• 1. скорее всего, вам не о чем переживать, и покупку вам доставят без лишних проблем;
  2. возможно, вам позвонят\ напишут из UPS и попросят прислать им отсканированную распечатку электронной квитанции заказа из Amazon, подписанный договор оказания услуг перевозки груза и копию паспорта.
  3. самый маловероятный и худший вариант — квест по самостоятельному прохождению таможни. Не переживайте, с этой инструкцией процесс займет не больше 2 часов времени и будет не сложнее похода в библиотеку.
• это же Amazon! При возникновении любых проблем — задержка, потеря посылки, дополнительные таможенные сборы, повреждение товара — служба поддержки придет вам на помощь вплоть до полного возмещения стоимости.

Теперь о том, что же все-таки можно купить.

В данной статье речь пойдет о развитии API сервисов нашего сайта — их плюсах и минусах, а так же тех проблемах, с которыми мы столкнулись в процессе работы по их встраиванию и улучшению.

Речь пойдет о самых основных API, без которых нашим клиентам пришлось бы учить китайский (и английский), и подбирать товары не в едином удобном интерфейсе, а оформлять заказы «кидая ссылки на товары», как это реализовано на некоторых других площадках.

Список API, о которых и пойдет речь:

1) Сервис перевода с китайского и английского на русский;
2) API Ebay;
3) API Amazon;
4) API Taobao;
5) API Aliexpress;
6) Сервис отслеживания посылок.

In Soviet Russia:

Сегодня интернет-магазин Amazon начал доставку потребительской электроники в Россию. Соответствующие изменения были внесены в систему заказа товаров на сайте компании 2 сентября. Полный список стран, куда осуществляется доставка можно посмотреть тут.