Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Остановка неиспользуемых хостов через CloudWatch

Блог компании EPAM Amazon Web Services *
Привет! image

Многие сталкивались с тем, что ресурсы системы простаивают. Обычная практика борьбы с простоем — удаление из системы этих ресурсов. С практической точки зрения на AWS, мы уже давно имеем инструменты терминировать простаивающие EC2 инстансы. Но это иногда не практично.

Возьмём ситуацию, когда при каждом старте нового инстанса при автоскейлинге, он каждый раз конфигурируется и обновляет софт. Т.е. это занимает определённое время и требует определённых взаимодействий. И вот каждый раз при скейлдауне эти инстансы выключаются и удаляются, а при скейлауте — поднимаются и снова конфигурируются. Как бы было хорошо, если бы инстансы просто выключались, а не удалялись!
Читать дальше →
Всего голосов 10: ↑7 и ↓3 +4
Просмотры 2.5K
Комментарии 2

Разработка сервиса БД на базе графов: от прототипа к надежному и масштабируемому решению в облаке

Блог компании Microsoft Высокая производительность *Разработка веб-сайтов *Microsoft Azure
Сервис databoom – это облачный backend для Web и мобильных приложений. Он сокращает время и снижает стоимость прототипирования и разработки приложений за счет упрощения доступа к данным. На следующих видео показано, как легко с помощью databoom строится прототип Web приложения.



Microsoft Azure позволяет удивительно легко создавать надежные масштабируемые приложения. Если еще пару лет назад Azure означал Windows, то сегодня Microsoft Azure является прекрасной средой и для Linux разработчиков.

Серверная часть databoom работает под управлением Linux, использует Node.js и native модули, написанные на C++. Простота развертывания виртуальных машин, балансировщиков и других сервисов под Azure позволила нам достаточно легко развернуть облачное решение.

Начав с прототипов, многие наши клиенты продолжают работать с нами, создавая все более сложные приложения, для которых критически важными являются вопросы надежности, защищенности и масштабируемости. Поэтому мы выбрали Microsoft Azure.
Читать дальше →
Всего голосов 13: ↑9 и ↓4 +5
Просмотры 4.8K
Комментарии 0

Autoscaling — инструмент автоматического вертикального масштабирования ресурсов (CPU|RAM|HDD)

Блог компании «NetAngels» Настройка Linux **nix *Облачные вычисления *Администрирование баз данных *

В начале этого года у наших облачных VDS появился публичный API. Он позволяет клиенту делать практически все те же действия с облачными виртуальными машинами и дисками, что и в панели: создавать, удалять диски и ВМ, изменять тарифы и размер диска и тп.





Вместе с появлением API появилась и идея на его основе реализовать систему мониторинга за ресурсами виртуальной машины (ВМ), работающую внутри машины, и автоматического увеличения/уменьшения необходимых ресурсов по необходимости — автоскейлинг (autoscaling, АS).
Некоторые пояснения по AS
Здесь стоит уточнить, что поскольку система AS основана на API, в ее задачи не входит мгновенное предоставление ресурсов по требованию, в момент появления необходимости в них, или угадывание/предсказывание будущей необходимости в ресурсах. Суть AS заключается в том, что он должен зафиксировать момент, когда можно с уверенностью сказать, что ресурсов текущего тарифного плана становится недостаточно для гарантированного* и своевременного** выполнения запущенных на виртуальной машине процессов, и автоматически перевести ВМ на следующий тариф.

**Своевременного — потому что, если выполнение запущенных процессов упирается в процессорный ресурс, то процессы так или иначе выполнятся. Но время их завершения становится непредсказуемым.
*Гарантированного, потому что если оперативная память ВМ близка к исчерпанию и на ВМ не настроен swap, то это означает, что близка ситуация, когда какой-то из запущенных на ВМ процессов будет аварийно завершен операционной системой, если суммарное потребление памяти всеми процессами превысит ее общий объем. Если же swap настроен, то пока он также не исчерпается, никто убит не будет, но быстродействие ВМ также сильно просядет, т.к. будет зависеть от скорости работы swap-раздела, которая в любом случае на порядок меньше, чем скорость работы оперативной памяти.

Читать дальше →
Всего голосов 13: ↑10 и ↓3 +7
Просмотры 5.9K
Комментарии 11

AWS_Ru meetup в Райффайзенбанке

Блог компании Райффайзенбанк Open source *Системное администрирование *Amazon Web Services *DevOps *
Приглашаем на митап сообщества AWS_Ru, который пройдет на площадке Райффайзенбанка в Нагатино, 4 июля. Будем разговаривать про IoT и решения AWS, узнаем, как выжать из облака все и еще послушаем секретного спикера. Готовьте свои вопросы и приходите делиться опытом, будет интересно.


Всего голосов 31: ↑28 и ↓3 +25
Просмотры 2.1K
Комментарии 7

Как сделать свой автоскейлер для кластера

Блог компании New Professions Lab Big Data *DevOps *Облачные сервисы Data Engineering *

Привет! Мы обучаем людей работе с большими данными. Невозможно себе представить образовательную программу по большим данным без своего кластера, на котором все участники совместно работают. По этой причине на нашей программе он всегда есть :) Мы занимаемся его настройкой, тюнингом и администрированием, а ребята непосредственно запускают там MapReduce-джобы и пользуются Spark'ом.


В этом посте мы расскажем, как мы решали проблему неравномерной загрузки кластера, написав свой автоскейлер, используя облако Mail.ru Cloud Solutions.

Читать дальше →
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 1.1K
Комментарии 3

Три уровня автомасштабирования в Kubernetes: как их эффективно использовать

Блог компании VK Системное администрирование *DevOps *Kubernetes *
Перевод

Для полного освоения Kubernetes нужно знать различные способы масштабирования кластерных ресурсов: по словам разработчиков системы, это одна из главных задач Kubernetes. Мы подготовили высокоуровневый обзор механизмов горизонтального и вертикального автомасштабирования и изменения размера кластеров, а также рекомендации, как их эффективно использовать.

Статью Kubernetes Autoscaling 101: Cluster Autoscaler, Horizontal Autoscaler, and Vertical Pod Autoscaler перевела команда, которая реализовала автомасштабирование в Kubernetes aaS от Mail.ru.
Читать дальше →
Всего голосов 25: ↑25 и ↓0 +25
Просмотры 6.7K
Комментарии 4

Managing hundreds of servers for load testing: autoscaling, custom monitoring, DevOps culture

Блог компании Miro Тестирование IT-систем *Amazon Web Services *Тестирование веб-сервисов *DevOps *
In the previous article, I talked about our load testing infrastructure. On average, we use about 100 servers to create a load, about 150 servers to run our service. All these servers need to be created, configured, started, deleted. To do this, we use the same tools as in the production environment to reduce the amount of manual work:

  • Terraform scripts for creating and deleting a test environment;
  • Ansible scripts for configuring, updating, starting servers;
  • In-house Python scripts for dynamic scaling, depending on the load.

Thanks to the Terraform and Ansible scripts, all operations ranging from creating instances to starting servers are performed with only six commands:

#launch the required instances in the AWS console
ansible-playbook deploy-config.yml #update servers versions
ansible-playbook start-application.yml #start our app on these servers
ansible-playbook update-test-scenario.yml --ask-vault-pass #update the JMeter test scenario if it was changed
infrastructure-aws-cluster/jmeter_clients:~# terraform apply #create JMeter servers for creating the load
playbook start-jmeter-server-cluster.yml #start the JMeter cluster
ansible-playbook start-stress-test.yml #start the test

Read more →
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 831
Комментарии 0

Как устроен Kubernetes as a Service на платформе Mail.ru Cloud Solutions

Блог компании VK Облачные вычисления *DevOps *Облачные сервисы Kubernetes *

Российские провайдеры давно умеют делать облачные платформы сами, а не только реселлить зарубежные. Это снижает стоимость сервисов, но их пользователям бывает интересно узнать, какая у них начинка и что обеспечивает их надёжность.

Я Дмитрий Лазаренко, директор по продуктам облачной платформы Mail.ru Cloud Solutions (MCS). Сегодня я расскажу, что под капотом у нашего Kubernetes aaS, как обеспечивается его надёжность и какие у него есть интересные функциональности, которыми любят пользоваться наши клиенты. Это автомасштабирование, интеграция с другими PaaS нашей платформы и многое другое.
Читать дальше →
Всего голосов 34: ↑32 и ↓2 +30
Просмотры 8K
Комментарии 7

WebRTC CDN на Google Cloud Platform с балансировкой и автоматическим масштабированием

Блог компании Flashphoner Разработка веб-сайтов *Работа с видео *DevOps *Видеоконференцсвязь

В предыдущей статье, мы вспомнили, что такое WebRTC CDN, как эта технология помогает обеспечивать минимальную задержку в WebRTC трансляциях и почему для CDN не лишним будет использовать балансировку нагрузки и автоматическое масштабирование.

Читать далее
Всего голосов 2: ↑1 и ↓1 0
Просмотры 1.6K
Комментарии 0

AWS, ELB, CDN, Auto Scaling и другие аббревиатуры и термины для WebRTC с низкой задержкой

Блог компании Flashphoner Разработка веб-сайтов *Работа с видео *DevOps *Видеоконференцсвязь

Современные браузеры не предоставляют возможность выбора - использовать WebRTC или не использовать. И если проиграть поток можно по HLS, MSE, то захватить поток с камеры и публиковать поток из браузера можно только с помощью WebRTC. Производители браузеров приняли этот "формат" и внедрили его в свои продукты. Так же как в свое время, те же вендоры поддерживали Flash Player в качестве плагина. Текущая ситуация с WebRTC отличается только тем, что WebRTC встроен в браузер нативно, на уровне кода, а не в виде плагина. Если через пару лет кто-то предложит лучшую библиотеку для работы с видео, нет сомнений, что вендоры перейдут на эту новую технологию. Но сегодня в мире браузеров правит бал Chrome, поэтому горизонт для WebRTC остается чистым.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 1.9K
Комментарии 0

Google Cloud Platform for WebRTC CDN with Balancing and Autoscaling

Блог компании Flashphoner Разработка веб-сайтов *Работа с видео *DevOps *Видеоконференцсвязь

In the previous article we refreshed our memory of WebRTC CDN and the ways this technology helps to minimize latency for WebRTC streams. We also discussed why load balancing and autoscaling wouldn't be amiss in CDNs. Here are the main points from the article:

Read more
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 475
Комментарии 0

AWS, ELB, CDN, Autoscaling and other abbreviations and terms related to low-latency WebRTC

Блог компании Flashphoner Разработка веб-сайтов *Работа с видео *DevOps *

The modern browsers do not give users a choice between using WebRTC and not using it. And while you can playback streams using HLS or MSE, WebRTC remains the only tool for capturing camera feeds and publishing streams from a browser. The browser developers have accepted this "format" and integrated it into their products – just as they used to support the Flash Player as a plugin. The only difference is that WebRTC comes natively integrated into the browser — as code, not a plugin. If, in a few years, a new and better library for video streaming is introduced they will undoubtedly make a switch. But these days, Chrome maintains its dominance, so no contenders for WebRTC are in sight.

Read more
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 485
Комментарии 0

Облачная WebRTC CDN: сколько стоит, где разместить?

Блог компании Flashphoner Работа с видео *Amazon Web Services *DevOps *Google Cloud Platform *

Перед разработчиком или владельцем программного продукта часто возникает вопрос выбора подходящего места для размещения серверных мощностей. Как известно, софт не может быть без харда.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 1.7K
Комментарии 0

Cloud services for WebRTC CDN: How much does it cost? Where to place it?

Блог компании Flashphoner Работа с видео *Amazon Web Services *DevOps *Google Cloud Platform *

The developer or owner of a software product often faces the question of choosing a suitable location for hosting server capacity. As you know, software always meets hardware.

Read more
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 669
Комментарии 1

Масштабируем приложение в Kubernetes с KEDA (без Prometheus)

DevOps *Kubernetes *
Tutorial

KEDA позволяет нам немного упростить процесс автомасштабирования на основе внешних метрик, не обращаясь за метриками в Prometheus. Все что нам надо, задеплоить несколько CRD-шек, пару-тройку ямлов для описания масштабирования и доступов. В общем, сейчас покажу.

Читать далее
Всего голосов 12: ↑12 и ↓0 +12
Просмотры 2.4K
Комментарии 3

Настройка AWS Auto Scaling Group (ASG) на основе использования оперативной памяти

Блог компании EPAM Amazon Web Services *DevOps *

Всем привет!

Сегодня я хотел бы поделиться опытом настройки AWS Auto Scaling Group (ASG) на основе использования оперативной памяти (RAM).

Всё началось с того, что на одном из проектов нам понадобилось настроить масштабирование EC2-инстансов по использованию памяти, а стандартный ASG Target Tracking Scaling Policy позволяет создавать политики только на основе следующих метрик: среднее использование ЦПУ, средний входящий или исходящий сетевой траффик и количество запросов на цель ALB...

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Просмотры 850
Комментарии 2