Pull to refresh

Хостинг на AWS (EC2, EBS, S3) для чайников

Reading time 4 min
Views 137K
Hosting
На хабре уже проскакивали периодически заметки посвященные AWS (Amazon Web-Services) — так что тема не новая. Однако, если для меня лично (да и для многих моих знакомых как выяснилось) — этот термин был знаком — однако каких-либо деталей я не знал. Попробую на основании только-что полученного опыта рассказать немного подробней, а так же изложить основные шаги по организации хостинга сервера на AWS и его преимущества. Как и несколько ссылок, которые могут оказаться полезными.
image
Читать дальше →
Total votes 101: ↑98 and ↓3 +95
Comments 62

Новые возможности от Amazon для EC2 сервиса

Reading time 1 min
Views 1.6K
Hosting
Сегодня Amazon анонсировала 2 новые возможности для своего сервиса EC2, а именно:

— Новый регион в штатах: US-West-1. Сервера в калифорнии. Цены такие же как и для EU региона.

— Возможность указать EBS для рутового раздела. На этой фиче хотелось бы остановиться подробней.
Читать дальше →
Total votes 22: ↑20 and ↓2 +18
Comments 48

Устанавливаем asterisk 1.6 с freepbx на centos 5.7 в amazon ec2

Reading time 3 min
Views 6.3K
Open source *


Для начала в amazon EC2 создадим Instance с типом t1.micro и ami-9f4f81f6, это ami с минимальным centos 5.7 x64 и хранением диска на EBS размером 6 гигабайт, при создании через вебинтерфейс вам предложат создать Security Groups(фаервол) с одним правилом пропускать на сервер 22 порт для ssh(можно добавить и другие правила), также вам предложат создать Key Pairs(пары ключей для авторизации по ssh), создаем их и сохраняем себе файл *.pem. Далее создаем Elastic IP(Allocate New Adress) и привяжем(Associate Address) его к нашему Instance. Также отвечу что данный Instance влезает в рамки бесплатного использования в первый год работы с amazon.
Читать дальше →
Total votes 10: ↑5 and ↓5 0
Comments 4

AWS: CloudFormation теперь поддерживает параметр-группы RDS и ускоренные носители EBS и RDS

Reading time 2 min
Views 2.2K
EPAM corporate blog Amazon Web Services *
Привет, Хабрасообщество! image

С сегодняшнего дня в описании шаблонов AWS CloudFormation появились параметры, позволяющие настраивать как последние новшества от Amazon, так и уже очень древние фичи, которые сообщество просило включить очень давно.

Параметр-группы RDS.


Все RDS серверы можно поднять со стандартными настройками. Но рут доступа к серверам нет, поэтому невозможно, например, включить возможность хранения процедур в RDS MySQL. Для этого и существуют параметр-группы, которые могут быть созданы и настроены через API или CLI.
Читать дальше →
Total votes 4: ↑2 and ↓2 0
Comments 0

AWS: Больше IOPS для EBS

Reading time 1 min
Views 2.8K
EPAM corporate blog Amazon Web Services *
Доброго времени суток!


Сегодня стала известна ещё одна хорошая новость от Amazon Web Services: теперь каждый EBS-диск обеспечивает производительность в 2000 IOPS (это в два раза больше предыдущего лимита в 1000 IOPS).



Если производительности диска в 2000 IOPS Вам мало, то EBS-диски можно объединить в RAID-массив, получив тем самым необходимое количество операций ввода/вывода.
Total votes 7: ↑4 and ↓3 +1
Comments 5

Измеряем производительность «облачных» дисков — спасаем MySQL

Reading time 6 min
Views 21K
Битрикс24 corporate blog Website development *
В последнее время в облачных средах и хостингах все чаще стали попадаться «виртуальные» жесткие диски. Техническая служба хостера может заверять, что «виртуальный» диск — быстрый, как десяток рейдов 10 (рейд 100 ;-) ) и держит сотни, а то и тысячи IOPS – однако MySQL заметно для клиентов тормозит. А как это доказать хостеру?

Проблема в том, что измерить «скорость» виртуального жесткого диска изнутри виртуальной машины – непросто, т.к. неясно, что мерить в первую очередь, чем и зачем. А сделать это нужно, чтобы убедить администраторов виртуальной конфигурации, что дело не в приложении и настройках MySQL. И нужно было, как говориться, просто «помыть руки» перед чтением мануала к хранилищу.

В статье я проиллюстрирую простую методику нахождения «точки опрокидывания» производительности виртуального жесткого диска, с использованием доступных в дистрибутивах инструментов – sysbench и iostat. Также мы измерим «точку опрокидывания» известных своей тормознутостью виртуальных дисков EBS от Амазона – как обычных EBS, так и Provisioned IOPS EBS (1000 и 2000 IOPS).
Читать дальше →
Total votes 62: ↑55 and ↓7 +48
Comments 63

AWS: Копии образов EBS

Reading time 1 min
Views 3.2K
EPAM corporate blog Amazon Web Services *
Привет! image

С сегодняшнего дня можно копировать EBS Snapshot'ы в другие регионы. Это отличная и удобная функция, которая позволяет клонировать ваши сервисы и данные в разные регионы родными способами!

В меню снапшотов появилась опция Copy Snapshot:
image
Читать дальше →
Total votes 18: ↑15 and ↓3 +12
Comments 37

Тесты производительности EBS

Reading time 8 min
Views 5.7K
EPAM corporate blog Amazon Web Services *
Привет! image

Очень много в интернете позитива/негатива об EBS. Так же не мало тестов на их производительность. Я решил сам провести несколько тестов и сделать небольшое исследование по этому поводу.

Итак, в тесте участвовала машинка m1.large к которой были примаунчены диски:
  • EBS Standard, 100 GB
  • EBS IO-1 500 IOPS, 100 GB
  • EBS IO-1 1000 IOPS, 100 GB
  • EBS IO-1 2000 IOPS, 200 GB
  • 8xEBS Standard, 30 GB, RAID 10
  • Ephemeral, 450 GB

Были проведены несколько тестов:

# hdparm -tT /dev/xcdX

# dd if=/dev/zero of=tempfile bs=5M count=1024 conv=fdatasync,notrunc
# echo 3 > /proc/sys/vm/drop_caches
# dd if=tempfile of=/dev/null bs=5M count=1024

# sysbench --num-threads=16 --test=fileio --file-total-size=5G --file-test-mode=rndrw prepare
# sysbench --num-threads=16 --test=fileio --file-total-size=5G --file-test-mode=rndrw run
Читать дальше →
Total votes 24: ↑20 and ↓4 +16
Comments 13

EBS RAID для ускорения работы и экономического эффекта

Reading time 1 min
Views 4.1K
EPAM corporate blog Amazon Web Services *
Привет! image

Вчера я написал статью о производительности EBS. Оказалось, что наиболее производительным будет RAID 10 из EBSoв. Помимо того, что RAID быстрее, это ещё и экономически более выгодно. Минимальная стоимость в месяц EBS диска с 2000 IOPS (минимальный размер 200 GB)

200 * $0.125 + 2000 * $0.10 = $225

Тот же объём информации в 200 GB в RAID10, состоящий из 8 стандартных EBS по 50 GB:

8 * (50 * $0.10) = $40

Исходя из расчётов, RAID дешевле более чем в пять с половиной раз.
Читать дальше →
Total votes 15: ↑13 and ↓2 +11
Comments 7

Создание своего образа с чистым CentOS 5.9 в облаке Amazon

Reading time 5 min
Views 8.7K
EPAM corporate blog
Tutorial
Как известно, в облаке Amazon виртуальные инстансы запускаются на основе образов (так называемые AMI). Amazon предоставляет большое их количество, также можно использовать публичные образы, подготовленные сторонними организациями, за которые облачный провайдер, естественно, никакой ответственности не несёт. Но иногда нужен образ чистой системы с нужными параметрами, которого нет в списке образов. Тогда единственный выход — сделать свой AMI.

В официальной документации описан способ создания «instance store-backed AMI». Минус такого подхода заключается в том, что готовый образ нужно будет ещё и сконвертировать в «EBS-backed AMI»

О том, как создать свой EBS-backed AMI в облаке Amazon без промежуточных шагов, пойдёт речь в этой статье.
Читать дальше →
Total votes 13: ↑8 and ↓5 +3
Comments 2

AWS: Теперь образы AMI можно копировать между регионами

Reading time 1 min
Views 3.1K
EPAM corporate blog Amazon Web Services *
Аллилуйя, товарищи, свершилось!image

Не так давно AWS ввели функцию копирования снепшотов между регионами. Очень логично, что был сделан следующий шаг — копирование AMI.

В консоли появилась команда Copy в разделе AMI:
image
Читать дальше →
Total votes 19: ↑14 and ↓5 +9
Comments 4

AWS: Новые скорости EBS и тесты производительности

Reading time 5 min
Views 5.7K
EPAM corporate blog Amazon Web Services *
Привет! image

В конце прошлого года я провёл небольшой тест производительности дисков на Амазоне и написал по этому поводу статью. Совсем недавно Amazon Web Services анонсировали новые возможности в EBS с гарантированным количеством IOPS — 4000. Я решил написать не просто новость, а продолжить тесты с этими дисками и рассказать об этом сообществу.
image
Подробности под катом
Total votes 12: ↑10 and ↓2 +8
Comments 11

Восстановление данных в MySQL из снимка EBS

Reading time 4 min
Views 3.9K
Amazon Web Services *
Tutorial
Это короткое руководство, возможно, поможет кому-то, кто использует AWS (и, в частности, MySQL на инстансе EC2), восстановить данные в MySQL из снимка EBS (регулярное создание которых любой предусмотрительный системный администратор, конечно же, настраивает заблаговременно — с помощью ec2‑consistent‑snapshot, например)

Прежде всего нужно открыть EC2 Management Console, и в разделе ELASTIC BLOCK STORE → Snapshots найти подходящий снимок (обычно это последний снимок раздела).

Далее нужно щёлкнуть на снимке правой кнопкой мышки и выбрать «Create Volume». В Availability Zone при этом нужно выбрать тот же регион, в котором находится инстанс EC2.

После этого нужно перейти в раздел ELASTIC BLOCK STORE → Volumes и, опять же, щёлкнуть правой кнопкой мышки на появившийся раздел. В меню нужно выбрать пункт «Attach Volume», после чего в появившемся модальном окне выбрать инстанс EC2 и нажать «Yes, Attach».

Всё — на сервере должно появиться новое блочное устройство. Теперь можно запустить dmesg | tail и посмотреть, какой идентификатор был присвоен для подключённого блочного устройства. Допустим, это xvdg. Тогда ФС может располагаться, например, на /dev/xvdg1 (зависит от предпочтений того, кто создавал таблицу разделов).
Непосредственно восстановление
Total votes 16: ↑15 and ↓1 +14
Comments 3

Как обнаружить миллион долларов на своём аккаунте AWS

Reading time 15 min
Views 15K
Data Mining *Amazon Web Services *Project management *Product Management *Finance in IT
Tutorial
Translation
Недавно мы рассказали о способах, с помощью которых сэкономили более миллиона долларов на годовом обслуживании AWS. Хотя мы подробно рассказывали о различных проблемах и решениях, всё равно самым популярным вопросом был: «Я знаю, что слишком много трачу на AWS, но как в реальности разбить эти траты на понятные части?»

На первый взгляд, проблема кажется довольно простой.

Вы можете легко разбить свои расходы AWS по месяцам и закончить на этом. Десять тысяч долларов на EC2, одна тысяча на S3, пятьсот долларов на сетевой трафик и т.д. Но здесь отсутствует кое-что важное — на сочетание каких именно продуктов и групп разработки приходится львиная доля расходов.

И учтите, что у вас могут меняться сотни инстансов и миллионы контейнеров. Вскоре то, что поначалу казалось простой аналитической проблемой, становится невообразимо сложным.

В этом продолжении статьи мы хотели бы поделиться информацией о наборе инструментов, который сами используем. Надеемся, что сумеем предложить несколько идей, как анализировать свои затраты AWS независимо от того, работает у вас парочка инстансов или десятки тысяч.
Читать дальше →
Total votes 8: ↑8 and ↓0 +8
Comments 7

AWS_Ru meetup в Райффайзенбанке

Reading time 1 min
Views 2.2K
Райффайзен Банк corporate blog Open source *System administration *Amazon Web Services *DevOps *
Приглашаем на митап сообщества AWS_Ru, который пройдет на площадке Райффайзенбанка в Нагатино, 4 июля. Будем разговаривать про IoT и решения AWS, узнаем, как выжать из облака все и еще послушаем секретного спикера. Готовьте свои вопросы и приходите делиться опытом, будет интересно.


Total votes 31: ↑28 and ↓3 +25
Comments 7

Разбор: ООМ на узле Kubernetes

Reading time 5 min
Views 8.5K
Southbridge corporate blog System administration *Server Administration *DevOps *
Translation


Проблемы в производственной среде — это всегда беда. Происходят именно тогда, когда уходишь домой, а причина всегда кажется глупой. Недавно у нас на узлах в кластере Kubernetes закончилась память, правда узел тут же восстановился, без видимых прерываний. Сегодня мы расскажем об этом случае, о том, какой урон мы понесли и как намерены избегать подобной проблемы в будущем.


Случай первый


Суббота, 15 июня 2019 г., 17:12

Читать дальше →
Total votes 28: ↑26 and ↓2 +24
Comments 18

Как сэкономить в AWS до полумиллиона долларов?

Reading time 19 min
Views 16K
Amazon Web Services *
Sandbox
Привет, Хабр! Представляю вашему вниманию перевод статьи «How to reduce your AWS costs? Save up to $500k with these guidelines!» автора George Batschinski.

image

В этой статье мы в подробностях расскажем, как Back4App уменьшила свои расходы в AWS с $55,492 в месяц до $20,074 в месяц и сэкономила $500.000 за год. Мы опишем практические шаги, основанные на собственном опыте снижения затрат в AWS и поделимся советами, которые были полезны и нам.
Читать дальше →
Total votes 36: ↑33 and ↓3 +30
Comments 11

Serverless: на 15% медленнее и в восемь раз дороже

Reading time 4 min
Views 15K
Server optimization *Server Administration *Amazon Web Services *DevOps *Cloud services *
Translation
Недавно я решил поэкспериментировать с API на нашем сайте CardGames.io и попробовать фреймворк Serverless. Последние несколько лет он стал горячей темой в мире технологий, а я прокрастинировал хотел поддерживать технические навыки в актуальном состоянии и попробовать что-то новое. Поэтому решил потратить несколько часов на изучение Serverless и посмотреть, есть ли смысл в таком размещении API.

Текущая конфигурация


CardGames.io работает на AWS. Все html-страницы, CSS, JavaScript и изображения хранятся на S3. У нас есть API на C#, размещённый на Elastic Beanstalk, он работает на серверах Linux под управлением .NET Core с Docker. Наконец, мы используем CloudFront CDN перед статикой на S3 и API. Ниже приведён счёт EC2 за август 2019 года. У нас есть несколько других инстансов, но API работают на m1.small (да, вероятно, t2.small лучше подходит) с классической балансировкой нагрузки. Если суммировать выделенное красным, то выходит $164,21 в месяц, неплохо. Я даже включил туда EBS, поскольку не уверен, как разбить эти расходы, у нас ведь несколько проектов на EC2.
Читать дальше →
Total votes 47: ↑45 and ↓2 +43
Comments 11

Создание своего образа с чистым CentOS 8.1 в облаке Amazon

Reading time 5 min
Views 5.9K
System administration *System Programming **nix *Development for Linux *Cloud services *
Tutorial

Данное руководство, является "форком" одноименной статьи про CentOS 5.9, и учитывает особенности новой OS. На данный момент в AWS Marketplace нет официального образа Centos8 от centos.org.

Читать дальше →
Total votes 5: ↑5 and ↓0 +5
Comments 4

The journey of scaling up a production Elasticsearch cluster

Reading time 6 min
Views 2.2K
High performance *NoSQL *Database Administration *Amazon Web Services *Distributed systems *

In this article, I will tell you about a-few-years journey of scaling the Elasticsearch cluster in production environment, which is one of the vital elements of the iPrice technology stack. 
I will describe challenges we encountered and how we approached them.

Read more
Total votes 1: ↑1 and ↓0 +1
Comments 0