Как стать автором
Обновить
1.91

Amazon Web Services *

Инфраструктура платформ облачных веб-сервисов

Сначала показывать
Порог рейтинга
Уровень сложности

Мобильное приложение для управления AWS

Время на прочтение 1 мин
Количество просмотров 3.5K
Привет! image

Мои поздравления пользователям Android! С сегодняшнего дня доступно официальное приложение для управления облаком Amazon Web Services с вашего девайса со следующим функционалом:
  • Просматривать детали серверов EC2 и метрик CloudWatch
  • Фильтровать и сортировать серверы EC2 и метрики CloudWatch
  • Останавливать и перегружать серверы EC2
  • Просматирвать тревоги из CloudWatch
  • Просматривать графики из CloudWatch
  • Просматривать автоматические действия для CloudWatch
  • Переходить из тревог CloudWatch на EC2 серверы, которые пострадали
  • Работать во всех регионах
  • Переключаться между разными пользователями
Читать дальше →
Всего голосов 8: ↑5 и ↓3 +2
Комментарии 4

AWS: Полуфиналисты конкурса стартапов

Время на прочтение 5 мин
Количество просмотров 6.4K
Привет!

Пару месяцев назад я писал AWS Global Start-Up Challenge. Это мероприятие набрало обороты и собрало заявки представителей из 84 стран мира со всех обжитых континентов нашей планеты.

Итак были выбраны полуфиналисты в 4 номинациях по темам:
  • Big Data & High Performance Computing
  • Business Applications
  • Consumer Applications
  • Gaming

image
Под катом видео и описания проектов
Всего голосов 8: ↑5 и ↓3 +2
Комментарии 3

AWS Insight: Spot Instances

Время на прочтение 2 мин
Количество просмотров 7.7K
Привет! image

Продолжая тему об экономии денег в облаках, сегодня я расскажу о Spot Instances. Напомню, что в AWS есть как минимум 3 основных вида оптимизации расходов:


Что такое Spot инстанс?


Это обычный EC2 или VPC инстанс, но есть некоторые нюансы работы:
  1. Как было сказано ранее, это обычный инстанс. Вычислительные и сетевые ресурсы, дисковые скорости и всё остальное у машин такое же, как и обычных EC2 инстансов.
  2. Вы сами устанавливаете цену, которую будете платить за час использования инстанса. Больше вы платить не будете.
  3. Инстанс может быть выключен в любое время, если, например, кто-то предложил цену больше за слот, который вы занимаете, а других нет.
  4. Оплата производится за полный час работы инстанса. Часть часа отбрасывается в пользу клиента — в меньшую сторону до полного часа.
Читать дальше →
Всего голосов 7: ↑6 и ↓1 +5
Комментарии 8

Снижаем затраты на использование AWS EC2

Время на прочтение 3 мин
Количество просмотров 12K
На странице стоимости компонентов EC2 на Амазоне есть одна строчка, на которую сначала можно не сильно обратить внимание, но которая может привести к серьезным финансовым затратам — Data Transfer, трафик. Если аренду инстансов и EBS-томов можно запланировать и контролировать, то трафик предсказать довольно сложно, а игнорировать его не даст ежемесячный счет)

Для примера: средний новостной сайт, 30 тысяч посещений в сутки, его вполне потянет небольшой small или даже micro instance. Возьмем полный размер страницы 2 мегабайта, месячный трафик тогда будет (без учета закэшированного контента) — 30000 * 0.002 * 30 = 1800 GB или $216. Получается стоимость Data Transfer даже больше аренды самого инстанса! На S3 ситуация с ценами на трафик точно такая же.

Что же делать!?
Всего голосов 30: ↑23 и ↓7 +16
Комментарии 18

Истории

AWS: Хороший, плохой, злой

Время на прочтение 8 мин
Количество просмотров 15K
Здесь, в awe.sm, мы с самого начала использовали Amazon AWS для хостинга. За последние три года мы изучили, что хорошо, а что не очень и сформулировали для себя свой собственный набор правил для запуска высоко доступной, высоко производительной системы, которые в некоторых случаях отличаются от того, что советует Amazon.

Мы собираемся поговорить о следующих родственных понятиях:
  1. Для людей, которые слышали об Amazon, но еще не имели возможности его использовать, мы покажем все преимущества и недостатки этого сервиса, с которыми мы столкнулись в своей работе.
  2. Для тех, кто уже использует AWS, мы проясним некоторые детали и расскажем о лучшей практике использования Amazon для таких высокопроизводительных сервисов, как наш, где непрерывная работа системы является самым высоким критерием.

Читать дальше →
Всего голосов 39: ↑33 и ↓6 +27
Комментарии 21

Лучшие практики Netflix при переходе с Oracle DB на Amazon SimpleDB

Время на прочтение 5 мин
Количество просмотров 3.9K
Это частичный перевод статьи Netflix, касается только проблемных мест перехода c Oracle DB на Amazon SimpleDB и способов их решения компанией.

Где-то в конце 2008 года, у Netflix был всего один датацентр. И этот ДЦ поставил перед нами несколько вопросов. Как единственная точка отказа, к примеру, из-за проблем с электричеством, он мог привести к недовольству наших пользователей сервисом. К тому же, с одновременным ростом трафика потокового вещания и подписок на услуги, Netflix скоро бы переросла этот дата центр — мы видели неизбежную потребность в электроэнергии, лучшем охлаждении, нам требовалось больше места и больше оборудования.

Как вариант, можно было построить новые дата центры. Однако, кроме высоких затрат, это усилие привело бы к тому, что наши технические кадры не смогли бы заниматься новыми продуктами, так были бы заняты расширением ДЦ. К тому же, мы понимали, что управление несколькими дата центрами сложная задача. Строительство и поддержка нескольких дата центров казались нам опасным отвлечением от нашего основного бизнеса.

Вместо того, чтобы встать на этот путь, мы выбрали более радикальный. Мы перешли на решение IAAS (инфраструктура как сервис), предлагаемое в то время веб-сервисом Amazon. Со множеством уже работающих центров обработки данных, многократным уровнем избыточности различных сервисов (таких как, S3 и SimpleDB), AWS обещал лучшую доступность и маштабируемость за относительно короткое время.

Отдавая различные сетевые и фоновые задачи в аутсорсинг, Netflix сосредоточилась на своем основном бизнесе, поставке фильмов и сериалов.

В процессе перехода на инфраструктуру AWS мы сформулировали набор лучших практик, необходимых для работы с AP системами, такими как SimpleDB.
Читать дальше →
Всего голосов 8: ↑6 и ↓2 +4
Комментарии 4

EBS RAID для ускорения работы и экономического эффекта

Время на прочтение 1 мин
Количество просмотров 4.1K
Привет! image

Вчера я написал статью о производительности EBS. Оказалось, что наиболее производительным будет RAID 10 из EBSoв. Помимо того, что RAID быстрее, это ещё и экономически более выгодно. Минимальная стоимость в месяц EBS диска с 2000 IOPS (минимальный размер 200 GB)

200 * $0.125 + 2000 * $0.10 = $225

Тот же объём информации в 200 GB в RAID10, состоящий из 8 стандартных EBS по 50 GB:

8 * (50 * $0.10) = $40

Исходя из расчётов, RAID дешевле более чем в пять с половиной раз.
Читать дальше →
Всего голосов 15: ↑13 и ↓2 +11
Комментарии 7

Тесты производительности EBS

Время на прочтение 8 мин
Количество просмотров 5.8K
Привет! image

Очень много в интернете позитива/негатива об EBS. Так же не мало тестов на их производительность. Я решил сам провести несколько тестов и сделать небольшое исследование по этому поводу.

Итак, в тесте участвовала машинка m1.large к которой были примаунчены диски:
  • EBS Standard, 100 GB
  • EBS IO-1 500 IOPS, 100 GB
  • EBS IO-1 1000 IOPS, 100 GB
  • EBS IO-1 2000 IOPS, 200 GB
  • 8xEBS Standard, 30 GB, RAID 10
  • Ephemeral, 450 GB

Были проведены несколько тестов:

# hdparm -tT /dev/xcdX

# dd if=/dev/zero of=tempfile bs=5M count=1024 conv=fdatasync,notrunc
# echo 3 > /proc/sys/vm/drop_caches
# dd if=tempfile of=/dev/null bs=5M count=1024

# sysbench --num-threads=16 --test=fileio --file-total-size=5G --file-test-mode=rndrw prepare
# sysbench --num-threads=16 --test=fileio --file-total-size=5G --file-test-mode=rndrw run
Читать дальше →
Всего голосов 24: ↑20 и ↓4 +16
Комментарии 13

Основные сбои в работе облачных сервисов в 2012 году, и какие выводы из этого можно извлечь

Время на прочтение 3 мин
Количество просмотров 9K
Исходя из недавнего отчета IWGCR (International Working Group on Cloud Computing Resiliency) каждый год сервисы облачных вычислений недоступны, в среднем, в течение 7.5 часов. Компании, которые частично или полностью используют облака для своих приложений и сервисов, в этом году пострадали несколько раз. Давайте рассмотрим самые большие отказы в работе облачных сервисов в 2012 году.
Читать дальше →
Всего голосов 22: ↑11 и ↓11 0
Комментарии 11

AWS Command Line Interface — всё в одном

Время на прочтение 1 мин
Количество просмотров 6.6K
Привет! image

Вы используете утилиты командной строки для управления серверами и сервисами AWS? Как же надоело обновлять и качать их из разных мест. Да и неоднородность команд тоже не радует…

AWS официально выпустили консолидированный CLI, который в последствии будет включать в себя все доступные сервисы. А сейчас можно управлять
  • Amazon Elastic Compute Cloud (Amazon EC2)
  • Elastic Load Balancing
  • Auto Scaling
  • AWS CloudFormation
  • AWS Elastic Beanstalk
  • Amazon Simple Notification Service (Amazon SNS)
  • Amazon Simple Queue Service (Amazon SQS)
  • Amazon Relational Database Service (Amazon RDS)
  • AWS Identity and Access Management (IAM)
  • AWS Security Token Service (STS)
  • Amazon CloudWatch
  • Amazon Simple Email Service (Amazon SES)
Читать дальше →
Всего голосов 17: ↑14 и ↓3 +11
Комментарии 5

Бесплатное ОФИЦИАЛЬНОЕ отключение рекламы в Kindle Paperwhite with Special Offers

Время на прочтение 2 мин
Количество просмотров 156K
Доброго дня всем поклонникам электронных книг!

Этот пост будет небольшим и посвящён он будет тому, как можно официально и бесплатно отключить рекламу (Special Offers) в новом Kindle Paperwhite (хотя способ, как я понимаю, актуален для всех поколений и моделей Kindle). Сегодня ко мне приехал мой Paperwhite with Special Offers, и я сразу же начал курить Гугл в поисках относительно безопасного и проверенного метода избавления от рекламы (нужно заметить, что процессу чтения эта реклама в принципе не мешает, просто не люблю я её).

Читать дальше →
Всего голосов 41: ↑28 и ↓13 +15
Комментарии 56

Новый тип EC2 инстанса — High-Storage Eight Extra Large

Время на прочтение 1 мин
Количество просмотров 5.5K
Привет! image

Новая радость для тех, кому важен размер. Amazon Web Services анонсировали монструозный сервер со следующими параметрами:
  • 117 GiB of memory
  • 35 EC2 Compute Units (16 virtual cores)
  • 24 hard disk drives each with 2 TB of instance storage
  • 64-bit platform
  • I/O Performance: Very High (10 Gigabit Ethernet)
  • Storage I/O Performance: Very High
  • EBS-Optimized Available: No
  • API name: hs1.8xlarge
Читать дальше →
Всего голосов 20: ↑16 и ↓4 +12
Комментарии 19

AWS Data Pipeline — автоматизация работы с данными

Время на прочтение 1 мин
Количество просмотров 5.2K
Привет! image

Сегодня Amazon Web Services выпустили новый сервис, который работает с другими сервисами, а именно может помочь в переносе данных между:
  • S3
  • MySQL RDS/Внешние MySQL серверы
  • DynamoDB

AWS Data Pipeline позволяет копировать, переносить данные из таблиц SQL и DynamoDB в S3 и наоборот.
Читать дальше →
Всего голосов 12: ↑10 и ↓2 +8
Комментарии 5

Ближайшие события

PG Bootcamp 2024
Дата 16 апреля
Время 09:30 – 21:00
Место
Минск Онлайн
EvaConf 2024
Дата 16 апреля
Время 11:00 – 16:00
Место
Москва Онлайн
Weekend Offer в AliExpress
Дата 20 – 21 апреля
Время 10:00 – 20:00
Место
Онлайн

Публикация приложения в Elastic Beanstalk

Время на прочтение 4 мин
Количество просмотров 5.2K
Привет! image

Сегодня я расскажу как легко создавать приложения в Elastic Beanstalk и публиковать их прямо из Git!

Для начала предлагаю установить утилиты командной строки для EB. Можно скачать отсюда, либо же воспользоваться моим скриптом для установки и обновления основных утилит по этой статье.

Установили. В консоли у нас появится команда eb, с которой мы и начнём.

1. Создание приложения


Для начала создадим папку приложения и инициализируем Git репозиторий. Например:
$ mkdir ~/Work/testapp/ && cd ~/Work/testapp/
$ git init

Создадим приложение Elastic Beanstalk
$ eb init
Читать дальше →
Всего голосов 13: ↑11 и ↓2 +9
Комментарии 4

Версионирование объектов в S3

Время на прочтение 2 мин
Количество просмотров 5.6K
Привет! image

Сегодня я хочу поделиться результатами своего исследования в области версионирования объектов в S3. Я про эту фичу слышал давно, но особо много не знал. Да и сейчас не особо много знаю — расскажу, как включить версионирование в бакете и получение объектов разных версий.

Моё исследование показало, что эта функция не особо востребована, а готовых бесплатных утилит для версионирования вообще не существует. Зато есть библиотеки, в которых есть этот функционал. Нужно — разрабатывайте, мол.

Итак, для версионирования, в бакете нам прежде всего нужно его включить. Есть 2 доступных способа это сделать, и оба они завязаны на API.
  • Чистый REST/SOAP запрос
  • Через библиотеку

Я воспользуюсь Ruby библиотекой aws-sdk, которую и установим:
$ gem install aws-sdk
Читать дальше →
Всего голосов 18: ↑15 и ↓3 +12
Комментарии 21

AWS: Копии образов EBS

Время на прочтение 1 мин
Количество просмотров 3.3K
Привет! image

С сегодняшнего дня можно копировать EBS Snapshot'ы в другие регионы. Это отличная и удобная функция, которая позволяет клонировать ваши сервисы и данные в разные регионы родными способами!

В меню снапшотов появилась опция Copy Snapshot:
image
Читать дальше →
Всего голосов 18: ↑15 и ↓3 +12
Комментарии 37

AWS re:Invent Keynotes — записи событий

Время на прочтение 1 мин
Количество просмотров 1.5K
Привет! image

В ноябре в Лас-Вегасе прошла крупнейшая конференция "AWS re:Invent". Она была посвящена облачным технологиям и Amazon Web Services в частности. Рассказывалось о развитии и эволюции AWS.

Были поведаны интересные цифры, например, в 2007 году они выкатили всего 9 релизов. В 2011 это число достигло 82. А в 2012 было целых 150 релизов! Вот с какими темпами развивается AWS. Так же на конференции было рассказано много 'best practicies', историй от экспертов.
Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 0

AWS: Status Check + CloudWatch

Время на прочтение 2 мин
Количество просмотров 3.6K
Привет! image

Status Check


Многие замечали в консоли EC2 в таблице инстансов столбец Status Check. Он обычно зелёного цвета — OK. Не раз я видел, что статус чек фейлится. Что же такое статус чек, какие параметры он отслеживает?

Status Check — это несколько автотестов, которые проходит инстанс и нода-носитель, на которой этот инстанс бежит. На данный момент есть 2 статус чека:

1. System Status Check — проверка состояния параметров, которые зависят от AWS. Эти проблемы легко решаются рестартом или стоп-стартом инстнса, он переедет на другой носитель. В целом проблемы могут быть:
  • недостаток сетевых ресурсов
  • недостаток питания
  • проблемы с ПО носителя
  • проблемы с аппаратным обеспечением носителя
Читать дальше →
Всего голосов 13: ↑10 и ↓3 +7
Комментарии 0

AWS Insight: Резервации в EC2 — как это работает

Время на прочтение 4 мин
Количество просмотров 5.2K
Привет! image

Как известно, одним из основных правил использования облачных сервисов является оптимизация всего, а особенно финансовой стороны вопроса. В Amazon Web Services есть 3 основных метода оптимизации стоимости сервиса:

Сегодня я расскажу о резервировании в EC2, как, что и зачем это нужно обязательно делать.

Reservation — это предварительная оплата серверных мощностей, позволяющая значительно уменьшить расходы на эти же самые мощности. Существует 3 вида резервации:
  • Облегчённого использования — Light Utilization
  • Среднего использования — Medium Utilization
  • Усиленного использования — Hard Utilization
Под катом объяснения и экономические обоснования использования резерваций
Всего голосов 17: ↑16 и ↓1 +15
Комментарии 22

AWS Insight: RDS Parameter Groups — что это и зачем

Время на прочтение 9 мин
Количество просмотров 2.5K
Привет! image

Сегодня я расскажу о параметр группах AWS RDS. Как вы знаете, RDS предоставляет нам простую точку входа в БД. Ни к диску, ни в саму ОС и настройкам БД у нас нет доступа. Так же мы ограничены правами некоего суперпользователя, но это не root всё равно.

RDS Parameter Groups позволяют создать нужную конфигурацию вашей базы данных. Сегодня я на примере покажу как разрешить возможность создания хранимых процедур в RDS под MySQL. При создании сервера создаётся дефолтная параметр группа. В ней же можно и посмотреть список доступных параметров:
$ rds-describe-db-parameters default.mysql5.1
Читать дальше →
Всего голосов 7: ↑6 и ↓1 +5
Комментарии 2