Все потоки
Поиск
Написать публикацию
Обновить
3.47

Amazon Web Services *

Инфраструктура платформ облачных веб-сервисов

Сначала показывать
Порог рейтинга
Уровень сложности

Простое создание миниатюр и хранение их на Amazon S3

Время на прочтение3 мин
Количество просмотров16K
Ни один сайт не может обойтись без генерации миниатюр изображений. В интернете можно найти миллион статей на эту тему. Возможно, кому-то пригодится и это решение.

Требования:
  • Изображения хранятся на удаленных серверах. У нас есть только ссылки на эти изображения
  • Миниатюра должна формироваться любого заданного размера в момент непосредственного обращения к ней
  • Должна быть предусмотрена защита от вредителей
  • Миниатюра должна храниться на Amazon S3 и быть доступна по поддомену основного сайта. Количество бакетов на S3 и соответственно поддоменов неограничено

Читать дальше →

AWS: Cloudwatch + SNS

Время на прочтение1 мин
Количество просмотров5.2K
image
Всем привет!

Сегодня я расскажу как использовать Amazon Simple Notification Service (Amazon SNS) в связке с Amazon CloudWatch. А точнее, будут рассмотрены варианты настройки уведомлений для стандартных и собственных метрик.
Читать дальше →

Расширяем Git и Mercurial репозитории с помощью Amazon S3

Время на прочтение8 мин
Количество просмотров6.9K
Наверняка, многие из вас слышали или знают по собственному опыту, что системы контроля версий плохо дружат с бинарными файлами, большими файлами и в особенности — с большими бинарными файлами. Здесь и далее речь идет о современных популярных распределенных системах контроля версий вроде Mercurial и GIT.

Зачастую, это не имеет значения. Уж не знаю, причина это или следствие, но системы контроля версий используются в основном для хранения относительно небольших текстовых файлов. Иногда несколько картинок или библиотек.

Если же проект использует большое количество картинок в высоком разрешении, звуковых файлов, исходных файлов графических, 3D, видео или любых других редакторов, то это проблема. Все эти файлы как правило большие и бинарные, а это означает, что все преимущества и удобства систем контроля версий и хостингов репозиториев со всеми сопутстсвующими сервисами становятся недоступны.

Далее мы на примере рассмотрим интеграцию систем контроля версий и Amazon S3 (облачного хранилища файлов), чтобы использовать преимущества обоих решений и компенсировать недостатки.

Решение написано на C#, использует API Amazon Web Services и показан пример настройки для Mercurial репозитория. Код открыт, ссылка будет в конце статьи. Все написано более или менее модульно, так что добавление поддержки чего-то кроме Amazon S3 не должно составить труда. Могу предположить, что для GIT настроить будет так же легко.
Читать дальше →

Как я учился защищать изображения

Время на прочтение5 мин
Количество просмотров79K

Изображение защиты

В этой статье хочу изложить нелёгкий путь, который я прошёл «защищая» изображения в вебе. Перед тем, как мы начнём это увлекательное путешествие, хочу обозначить два подхода в деле защиты изображений:
  1. ограничение/запрет постинга прямых ссылок на оригиналы изображений
  2. вы параноик и пытаетесь ограничить распростронение копий изображений

UPDATE
Универсальной защиты конечно же не существует. Статья о том, как не подставлять напрямую данные из GET в SQL-запросы. Только в контексте защиты изображений.
Итак...

AWS Route53: DNS Failover теперь с поддержкой Elastic Load Balancer

Время на прочтение2 мин
Количество просмотров5.3K
Привет, друзья! image

Совсем недавно вышла статья astlock о фейловере DNS. Фича, конечно классная и удобная, но те, кто хостил в AWS большие проекты с ELB совсем не почувствовали нового. Если фейловер не работает с ELB, то мне лично эта функция абсолютно бесполезна.

Но вот настал тот день, когда стало возможным использовать блага Route53 вместе с ELB. Настраивая запись в режиме Failover и соединяя её с ELB мы тем самым включаем возможность автоматического мониторинга ELB. Переключение записи с Primary на Secondary произойдёт автоматически в следующих ситауциях: image
  • отказ и недоступность ELB
  • отсутствие здоровых инстансов под ELB

Route53 теперь даёт возможность автоматически переехать в случае отказа всего региона,

В этой статье я расскажу, как я протестировал новый функционал.
Читать дальше →

Использование IAM ролей с Powershell утилитами AWS

Время на прочтение1 мин
Количество просмотров3.6K
Привет! image

Вчера мой коллега написал статью об использование s3cmd на Windows. Более лёгкого решения вне AWS не найти. Да и привычно, не так ли?

Но вот вспомнилась мне моя статья о PowerShell утилитах от AWS, и возможность использования ролей серверов. И я понял, что внутри AWS из Windows работа с S3, да и со всеми остальными сервисами AWS крайне проста. Об IAM ролях вы можете почитать здесь.

Коротко, роль сервера даёт нам возможность автоматически получать ключи доступа к ресурсам AWS.

Итак, от изобилия ссылок, перейдём к процессу создания роли, ну и работы с ней.
Читать дальше →

Использование S3cmd в Windows

Время на прочтение2 мин
Количество просмотров15K

Я давно знаком с утилитой s3cmd, но всегда использовал её только под Linux системами. О том, что её можно использовать под Windows, я даже не думал.
А почему бы и нет? Она реализована на python, а значит вполне кроссплатформенна. Нужно только установить Python на Windows машину.
Читать дальше →

AWS Insight: RDS Read Replica

Время на прочтение2 мин
Количество просмотров4.1K
Привет, сообщество! image

Сегодня бы хотелось рассказать и показать создание копии RDS инстанса только для чтения. Для многих не секрет, что при работе с высоконагруженными проектами создаются решения, когда пишется информация только в одно место, ну а читать её можно из многих источников.

AWS RDS MySQL предлагает такое решение, так сказать, «из коробки». В консоли или через CLI (API) вам предлагается создать реплику. Что же происходит «под капотом»?
  1. Создаётся образ существующего сервера. Эта операция может повлиять на I/O, как вы понимаете. Не стоит делать образ в загруженные часы.
  2. Из образа стартует новый инстанс, который конфигурится и становится репликой в режиме «только чтение» — RO.
Читать дальше →

AWS: Новые скорости EBS и тесты производительности

Время на прочтение5 мин
Количество просмотров5.9K
Привет! image

В конце прошлого года я провёл небольшой тест производительности дисков на Амазоне и написал по этому поводу статью. Совсем недавно Amazon Web Services анонсировали новые возможности в EBS с гарантированным количеством IOPS — 4000. Я решил написать не просто новость, а продолжить тесты с этими дисками и рассказать об этом сообществу.
image
Подробности под катом

Мультифакторная аутентификация в AWS

Время на прочтение1 мин
Количество просмотров5.1K
Привет всем!image

Сегодня я хотел бы рассказать про мультифакторную аутентификацию пользователей IAM в ваш Amazon аккаунт. Как вы помните, в этой статье я рассказал, как создать и задать пароль новому пользователю. Сегодня же мы прикрутим к юзеру девайс для авторизации.

Использовать мы будем обычный телефон с Android. Сначала установим на него Amazon Appstore по этой инструкции. Ничего сложного для среднего юзера Android. Далее в поиске введём «mfa»:
image
Читать дальше →

AWS AMAZON – как Вы оптимизируете ресурсы

Время на прочтение2 мин
Количество просмотров5.7K
Доброго времени суток!

Довольно давно использую AWS AMAZON при необходимости увеличения расчетных мощностей. Устраивает, ну, в общем всё. Если кратко, то под задачи запускались и постоянные сервера и спотовые. Использовались различные типы инстансов и графики авто запуска/остановки.
В общем, всё это весьма комфортно регулируется, в первом приближении, при количестве до десятка серверов и при моём непосредственном понимании всей кухни. Ну и конечно учет, экспорт/архивация/утилизация хранимых данных.

Интересно, каков Ваш «джентльменский набор» для оптимизации ресурсов и, в конечном счете, затрат?

Спасибо за Ваши комментарии, рекомендации!


Более развернуто

Амазон снижает цену на Windows сервера EC2

Время на прочтение1 мин
Количество просмотров6.3K
Амазон не изменяет своей традиции регулярно снижать цены на сервисы входящие в AWS. В этот раз снижению подверглась цена на виртуальные машины на основе ОС Windows. Снижение на некоторые позиции достигает 26 процентов.

Изменение цены коснулось следующих типов серверов: Standard (m1), Second-Generation Standard (m3), High-Memory (m2), and High-CPU (c1) instance families. Цены автоматически вступили в силу с 1 Апреля.

Для примера, теперь обычный m1 Large (2 ядра, 7.5Gb памяти) сервер в зоне US East будет стоить 0,364 доллара в час вместо 46 центов в час ранее. В данном случае 20% позволит сэкономить почти $145 в месяц.

Немногим ранее, несколько дней назад, было анонсированно 50-60% cнижение цены на запросы к файловому хранилищу S3.

Об облаках Amazon и транспорте MPLS

Время на прочтение7 мин
Количество просмотров4.8K
В ходе разработки одного проекта на базе облачных услуг Amazon пришлось столкнуться с одной проблемой, описания которой в открытом доступе найти не удалось — значительные задержки при обращении к сервису Amazon RDS. Однако помочь разобраться с ней мне помогли знания в технологиях передачи данных, которые я получил в ходе работы в одном отраслевом НИИ.

image

Читать дальше →

Ближайшие события

AWS: Теперь образы AMI можно копировать между регионами

Время на прочтение1 мин
Количество просмотров3.3K
Аллилуйя, товарищи, свершилось!image

Не так давно AWS ввели функцию копирования снепшотов между регионами. Очень логично, что был сделан следующий шаг — копирование AMI.

В консоли появилась команда Copy в разделе AMI:
image
Читать дальше →

GPS-мониторинг без лишних глаз

Время на прочтение4 мин
Количество просмотров13K


«Если вы не параноик, это еще не означает, что за вами никто не следит». Развитие Интернета перевело это высказывание на качественно новый уровень. Следить уже можно, не выходя из дома, а всю информацию добровольно предоставит сам объект наблюдения. Люди выкладывают в сеть свои личные данные, но не всегда задумываются о том, кому они могут быть доступны. Логин/пароль и «Показывать только друзьям» успокаивают. Создается иллюзия, что мы контролируем приватность собственных данных. Но есть еще администраторы и органы власти, которые узнают всё, что их интересует, без спроса и без вашего ведома.

Это проблема всех систем, централизованно обслуживающих множество клиентов. Например, любая популярная социальная сеть имеет единое хранилище данных (возможно, распределенное), которое доступно в служебных целях для некоторого круга лиц. Пользователи постепенно начинают осознавать угрозу: появляются пиринговые социальные сети (см. ссылки в статье про Пандору), но они с трудом пробивают себе дорогу.

Аналогичная ситуация с приватностью имеет место и для систем мониторинга транспорта. Для них можно предложить принципиально другой подход, который позволит пользователю полностью контролировать доступ к своим данным. Идея проста – предоставить каждому свой собственный выделенный сервер в облаке!
Читать дальше →

Windows хостинг от Amazon Web Services

Время на прочтение2 мин
Количество просмотров12K
Привет хабровчане! image

Я довольно много рассказал вам про AWS, но большинство статей касаются исключительно Linux и свободного ПО. Сегодня я решил рассказать о Windows и возможностях Amazon Web Services, связанных со стартом Windows Server'ов.

Итак, основная страничка, рассказывающая о Windows на сайте AWS — aws.amazon.com/windows. Итак, нам предоставлены следующие опции запуска серверов:
  • Microsoft Windows Server 2008 Base
  • Microsoft Windows Server 2008 R2 Base
  • Microsoft Windows Server 2008 R2 with SQL Server Express and IIS
  • Microsoft Windows Server 2008 R2 with SQL Server Web
  • Microsoft Windows Server 2008 R2 with SQL Server Standard
  • Microsoft Windows Server 2012 Base
  • Microsoft Windows Server 2012 with SQL Server Express
  • Microsoft Windows Server 2012 with SQL Server Web
  • Microsoft Windows Server 2012 with SQL Server Standard

Помимо всего прочего, вы можете загружать свои образы Windows через сервис AWS Import/Export. Мы, например, предоставляем серверы на Windows 2k3 именно этим путём.

Я хотел бы эту статью посвятить двум основным пунктам — запуск нового сервера и лицензирование продуктов Microsoft в AWS.
Об этом под катом

Amazon Web Services: снова подешевение

Время на прочтение1 мин
Количество просмотров8.8K
Привет! image

Итак, после многих новостей о подешевении в прошлом году, Amazon Web Services с февраля 2013 года снова стоит меньше, а именно:
  • EС2
  • Трафик

Так же, спешу заметить, что с февраля второе поколение стандартных инстансов уже доступно по вему миру.

А теперь подробнее о снижении цен.
Читать дальше →

Тест скорости сети Amazon EC2

Время на прочтение5 мин
Количество просмотров11K
При работе с Amazon многое остается за кадром. Для обычного пользователя это даже хорошо, ему нужен работающий сервис и не имеет значение, как этот сервис реализован. Но для тех, кто проектирует системы для Amazon или других облачных провайдеров это может быть проблемой. Некоторые внутренние аспекты работы выясняются при общении с тех. поддержкой, но в большинстве случаев для лучшего понимания приходится проводить различные тесты и эксперименты.
Возьмем, к примеру, производительность сети. Гарантирует ли Amazon определенную пропускную способность сети для любой машины или нет, как зависит скорость сети от ресурсов сервера, от региона или времени суток. Скажу сразу, что поддержка Amazon настоятельно рекомендует использовать машины больших размеров, если скорость сети является важным критерием и то, что максимально скорость 1G/s. Но всё всегда лучше проверить на практике.
Читать дальше →

Экспорт виртуальных машин из VirtualBox в AWS Amazon

Время на прочтение2 мин
Количество просмотров13K
Добрый день.
Хочу поделиться новым приобретенным опытом.
Нашей компании понадобились собственные AMI с Windows XP, Windows 7, Windows 8 и Windows Server 2003 в AWS Amazon.
После относительно недолгого поиска было выяснено, что такая возможность есть, и называется она AWS VM Import/Export Tools (подробнее тут ).
Читать дальше →

AWS Insight: Virtual Private Cloud

Время на прочтение4 мин
Количество просмотров23K
Привет, хабрасообщество! image

Сегодня я, наконец, набрался смелости и имею время рассказать вам о замечательном сервисе, который предоставляет Amazon Web Services: Virtual Private Cloud — VPC.

VPC — это сервис, позволяющий создавать приватные изолированные сети в публичном облаке Amazon. Что же предоставляет VPC?
  • Подсети серых адресов
  • Полный контроль над адресами
  • Динамическое и удобное управление сетевыми устройствами и маршрутизацией
  • Поддерживает EC2, RDS, SQS, ElastiCache и другие сервисы
  • Многое другое..

У VPC есть много внутренних понятий и терминов, давайте я буду их описывать по мере настройки. И сегодня я вместе с вами настрою кроссзонную сеть для VPC для большей отказоустойчивости.
Под катом инструкции, объяснения и картинки

Вклад авторов