Как стать автором
Обновить
5.6

Amazon Web Services *

Инфраструктура платформ облачных веб-сервисов

Сначала показывать
Порог рейтинга
Уровень сложности

Мониторим основные сервисы в AWS с Prometheus и exporter’ами для CloudWatch

Время на прочтение7 мин
Количество просмотров9K

Если вы используете в облачных провайдерах managed-инсталляции серверных служб вроде RDS или ElastiCache от AWS, то несомненно задавались темой мониторинга инфраструктуры, а главное — оповещений по произошедшим инцидентам. При реализации возникают понятные вопросы: Как можно настроить сбор данных с endpoint’ов в систему мониторинга? Если использовать Prometheus, то какие экспортеры использовать и где их можно запускать? Какие есть варианты готовых алертов для покрытия основных причин аварий/частичной недоступности?

Эта статья в большей степени рассчитана на начинающих инженеров: на примере Prometheus и CloudWatch мы рассмотрим одно из самых простых и понятных решений с помощью cloudwatch_exporter и prometheus_aws_cost_exporter в AWS, напишем для них Helm-чарт и задеплоим его в Kubernetes. (K8s будет выступать удобной площадкой для разворачивания экспортеров.) А также посмотрим, как можно мониторить текущие и ежедневные затраты всей вашей инфраструктуры.

Читать далее
Всего голосов 38: ↑38 и ↓0+38
Комментарии4

Как я получил несколько сертификатов по облачным технологиям за 9 месяцев

Время на прочтение5 мин
Количество просмотров12K

Айдар присоединился к EPAM Anywhere в качестве DevOps-инженера полтора года назад, и за это время прошел несколько программ сертификации, какое-то время был на бенче, сменил два проекта, а сейчас работает в двух проектных группах.

Айдар стремится стать экспертом по облачным технологиям, поэтому он посвящает много времени изучению сервисов AWS, Azure и GCP. Теперь Айдар уже является одним из самых сертифицированных профессионалов EPAM и делится своей историей.

Простая мотивирующая история с полезными ссылками.

Читать далее
Всего голосов 13: ↑8 и ↓5+3
Комментарии5

Calico Enterprise: обзор

Время на прочтение6 мин
Количество просмотров2.2K

Translation of this article written by John Armstrong on Jan 20, 2021

Вступая в новый год, самое время поразмышлять о достижениях компании Tigera и о том, насколько  Calico Enterprise изменилась за последний год и как она стала ведущим решением в сфере безопасности и мониторинга сетей и микросервисов Kubernetes. Опыт работы с пользователями корпоративного класса помог Tigera определить наиболее важные требования пользователей для успешного развертывания кластеров Kubernetes и успешного перехода от пилотных проектов к промышленным проектам. Эти знания помогли Tigera создать систему Calico Enterprise, архитектура которой и представлена ниже. Давайте рассмотрим этот многофункциональный слоёный пирог, снизу вверх.

Архитектура корпоративных решений Calico:

Читать далее
Всего голосов 11: ↑9 и ↓2+7
Комментарии1

AWS Athena: GEOIP lookups

Время на прочтение7 мин
Количество просмотров2.2K

PS. Это перевод моей статьи на английском. Давно я не писал на Хабре. Сразу прощу прощения, много на русском не пишу. Не скажу что у меня и английский шикарный. Но к сожалению проживание за рубежом ухудшает мой русский и медленно развивает английский.

Если вы пользуетесь AWS Athena для анализа логов, то часто хочется найти источник IP адресов. К сожалению AWS Athena не предоставляет этого из коробки. К счастью MaxMind предоставляет базы данных GeoIP таблиц, которые позволяют вычислить местоположение по IP адресам. Есть платная и бесплатная версия.

В этой статье я покажу как создать AWS Lambda функцию, которая каждую неделю будет скачивать последнюю базу данных с MaxMind на S3. Эту базу данных можно использовать в AWS Athena для написания SQL запросов для анализа, например, веб логов.

Читать далее
Всего голосов 3: ↑3 и ↓0+3
Комментарии0

Истории

Nuke: настраиваем сборку и публикацию .NET-проекта

Время на прочтение9 мин
Количество просмотров5.6K

В настоящее время существует множество систем CI/CD. У всех есть определенные достоинства и недостатки и каждый выбирает себе наиболее подходящую под проект. Цель данной статьи - познакомить с Nuke на примере web-проекта, использующего уходящий на покой .NET-Framework с прицелом дальнейшего обновления до .NET 5. В проекте уже используется сборщик Fake, но возникла необходимость его обновления и доработки, что в итоге привело переходу на Nuke.

Читать далее
Всего голосов 10: ↑10 и ↓0+10
Комментарии9

CI/CD для проекта в GitHub с развертыванием на AWS EC2

Время на прочтение6 мин
Количество просмотров11K

Имеем: проект web API на .net core с исходниками в GitHub.

Хотим: авторазвертывание на виртуалке AWS EC2 после завершения работы с кодом (для примера push в develop ветку).

Инструментарий: GitHub Actions, AWS CodeDeploy, S3, EC2.

Ниже flow процесса, который будем реализовывать, погнали.

Читать далее
Всего голосов 13: ↑13 и ↓0+13
Комментарии0

Если у вас не работает Spring BootJar

Время на прочтение4 мин
Количество просмотров3.6K

Решаем проблемы с загрузкой Spring Boot Jar


image


Сталкивались ли вы с проблемой запуска нового загрузочного архива Spring Boot?


Вообще, новация в этом направлении уже не первая, стандартов особых нет. Поэтому многие огребают проблемы и решают их на форумах и стек-оверфлоу.
Если вы также столкнулись с проблемой, я помогу её решить. В таком случае читаем дальше.

Читать дальше →
Всего голосов 5: ↑4 и ↓1+3
Комментарии6

Как защититься от неожиданных счетов за AWS

Время на прочтение5 мин
Количество просмотров27K
Представьте, что у вас в облаке маленький проектик. Уже полгода вы платите за него по 20 центов в месяц. В принципе, ничего особенного. Но однажды утром вдруг приходит крупный счёт на 2700 долларов.


В облаке мы платим за хранение, вычисления и другие услуги по мере их использования. Не нужно поднимать собственный сервер. Однако недостаток в том, что можно случайно потратить больше денег, чем есть в кошельке. Это особенно сложно с бессерверными решениями, которые автоматически масштабируются вместе с поступающим трафиком.
Всего голосов 35: ↑34 и ↓1+33
Комментарии63

Новый инструмент для Повелителей управляемого хаоса: AWS Fault Injection Simulator

Время на прочтение5 мин
Количество просмотров3K


AWS Fault Injection Simulator (FIS) — инструмент, который позволит реализовывать заранее известные сценарии внутреннего сбоя системы внутри сервисов AWS. Зачем? — чтобы команды смогли отработать сценарии их ликвидации и в целом оценить поведение своего продукта в предложенных условиях. Система будет сразу предлагать несколько шаблонов со сценариями сбоя, например, замедление серверов, их отказ, ошибка обращения к БД или ее падение. При этом FIS будет гарантировать, что эксперимент не зайдет слишком далеко и при достижении определенных параметров тестирование будет остановлено, а работоспособность системы придет в норму. Основной слоган нового продукта облачного гиганта — «повышение отказоустойчивости и производительности с помощью технологии контролируемого хаоса». Релиз новой системы тестирования намечен на 2021 год.

Также в AWS предлагают тестирование и распределенных виртуализированных систем, которые менее зависимы от одного узла. Специфика сбоя в распределенной системе заключается в том, что проблема может быть циклична и иметь более сложную структуру. Новая функция AWS позволит искать уязвимые точки не только в инфраструктуре монолитов, но и в распределенных системах и приложениях.

Давайте посмотрим, почему это важно и круто.
Читать дальше →
Всего голосов 20: ↑20 и ↓0+20
Комментарии1

Serverless шагает по планете. Сравним SberCloud и AWS

Время на прочтение3 мин
Количество просмотров14K

image


Мне с друзьями довелось поучаствовать в хакатоне SberCloud.Advanced Hacking и пощупать облачные сервисы Сбера. На моем текущем месте работы я каждый день работаю с Serverless стеком от AWS (CloudFront + Lambda Edge + S3 + Lambda + Step Functions + Aurora PostgreSQL Serverless + DynamoDB + Cognito). Так что мне есть с чем сравнить. Если заинтересовались, то добро пожаловать под кат.


Всего голосов 33: ↑21 и ↓12+9
Комментарии71

AWS re:Invent 2020, Keynotes — Analytics + Networking

Время на прочтение6 мин
Количество просмотров1K
Очередная порция анонсов и новинок с ежегодной масштабной облачной конференции AWS re:Invent 2020. В этот раз в области аналитики и сетевой инфраструктуры. Многие возможности уже доступны для предварительного ознакомления, какие именно — читайте ниже. Подробнее новинки обсудят архитекторы AWS в русскоязычном твитче, который они регулярно проводят в дни re:Invent. Ссылка на twitch-стрим в конце материала.

Читать дальше →
Всего голосов 3: ↑3 и ↓0+3
Комментарии0

AWS re:Invent 2020 Keynotes — Machine Learning

Время на прочтение4 мин
Количество просмотров1.4K
Стартовала вторая неделя AWS re:Invent. И снова много новинок и улучшений, теперь в области машинного обучения. Самые важные — в нашем обзоре. Сегодня их будут активно обсуждать в русскоязычном twitch-стриме эксперты AWS, которые что-то уже поюзали и теперь делятся впечатлениями от новинок. Ссылка на twitch — в конце статьи.

Читать дальше →
Всего голосов 3: ↑3 и ↓0+3
Комментарии0

Приглашаем на DINS DevOps EVENING (online): теги в AWS и namespace в Kubernetes

Время на прочтение2 мин
Количество просмотров796
image

На митапе Михаил Кабанов из DINS расскажет, как DevOps-инженеры могут влиять на прибыль компании, а Павел Селиванов из Mail.ru Cloud Solutions объяснит, какие возможности есть у namespacing в Kubernetes. Участие бесплатное, но нужно зарегистрироваться. Программа под катом.

Читать дальше →
Всего голосов 2: ↑2 и ↓0+2
Комментарии0

Ближайшие события

AWS re:Invent. Главные анонсы первого дня (Part 2)

Время на прочтение4 мин
Количество просмотров2.8K
Продолжаем публиковать анонсы новинок AWS с главного облачного события года — AWS re:Invent. В первой части мы рассказали обо всех ключевых событиях, представленных визионером компании Andy Jassy. Прочитать можно здесь. Теперь главные изменения, анонсированные в области хранения данных.

Читать дальше →
Всего голосов 11: ↑11 и ↓0+11
Комментарии6

AWS re:Invent. Главные анонсы первого дня (Part 1)

Время на прочтение12 мин
Количество просмотров4.7K
Сейчас проходит самое вдохновляющее событие в мире облачных технологий — AWS re:Invent. Мы активно конспектировали и собрали выдающиеся новинки, которые были анонсированы вчера в прямом эфире. В качестве спойлера: в конце статьи будет ссылка на русскоязычную twitch-сессию AWS по новинкам re:Invent, которую будут проводить лучшие solution архитекторы Amazon Web Services — присоединяйтесь/послушайте, они зажигательно рассказывают.

Читать дальше →
Всего голосов 28: ↑28 и ↓0+28
Комментарии8

Terraform 12 и Terragrunt и как это можно применять для Multi-Cloud-инфраструктуры. Александр Довнар

Время на прочтение30 мин
Количество просмотров7.6K


Что такое Terraform 12 и Terragrunt, и как это можно применять для Multi-Cloud инфраструктуры.
Мы поговорим про IaC (Инфраструктура как код) влияние на современный мир и о том, как Terraform помогает работать с гетерогенных окружениях. Я хочу обсудить немного сам Terraform, какие у него есть проблемы и как их решает Terragrunt. После я расскажу про мой опыт с Terragrunt и немного зацеплю такую тему, как Multi-Clouds.Во второй части обсуждения темы я бы хотел показать результат моих находок в использовании Terraform+Terragrunt в среде с тремя облачными провайдерами (AWS, GCP, Azure) и CloudFlare в качестве DNS.

Всего голосов 14: ↑13 и ↓1+12
Комментарии1

Post Mortem по масштабному сбою Amazon Kinesis в US-EAST-1 (25 ноября)

Время на прочтение9 мин
Количество просмотров5.6K
Прим. перев.: на прошлой неделе сбой одного из сервисов AWS привёл к проблемам в доступности/корректном функционировании целого ряда облачных услуг этого крупного провайдера. В официальной публикации, оперативно размещённой инженерами интернет-компании, рассказывается о подробностях инцидента, его причинах и — главное — уроках, которые были извлечены из случившегося. Представляем вашему вниманию её перевод.

В этом материале мы хотели бы рассказать подробности о перебоях в обслуживании, случившихся в регионе Northern Virginia (US-EAST-1) 25 ноября 2020.

Amazon Kinesis позволяет в реальном времени собирать, обрабатывать и анализировать потоковые данные. Помимо непосредственного использования клиентами, он задействован в ряде сервисов AWS. Эти сервисы также пострадали от сбоя. Триггером (но не основной причиной) данного события стало относительно небольшое добавление мощностей к сервису, начавшееся в 2:44 утра PST и завершившееся в 3:47.
Читать дальше →
Всего голосов 33: ↑33 и ↓0+33
Комментарии3

Скорая Психологическая Помощь | Product Weekend

Время на прочтение4 мин
Количество просмотров2.3K

Здравствуй, Хабровчанин!
Эта публикация - продолжение статьи "Экстренная психологическая помощь | Prototyping Weekend". Статья повествует о создании прототипа Онлайн службы Скорой Психологической Помощи в рамках хакатона, который был организован пражским хакерспейсом Brmlab. Этот проект - мой первый опыт в качестве product owner и full stack developer.

Читать далее
Рейтинг0
Комментарии0

Хостинг статических сайтов на AWS

Время на прочтение7 мин
Количество просмотров12K
В данной статье я хочу подробно разобрать тему хостинга статических сайтов на AWS. Тему нельзя назвать сильно сложной, но нюансов хватает. Для настройки вручную потребуется организовать взаимодействие 4-5 сервисов, а по дороге порой можно встретить весьма интересные грабли.

Некоторое время назад существовал официальный туториал по такой ручной настройке. Местами он мог показаться сложным, местами странным. Скорее всего, это была дань универсальности и необходимости продемонстрировать разные варианты хостинга. Однако сейчас туториал кардинально обновлен, и предлагает использовать сервис AWS Amplify для решения такой задачи. С одной стороны, это удобно, но с другой стороны, иногда необходимо разобраться, что же именно происходит “под капотом”. Поэтому здесь мы разберем, как все настроить руками.
Читать дальше →
Всего голосов 36: ↑36 и ↓0+36
Комментарии9

AWS Cloud Core Concepts

Время на прочтение5 мин
Количество просмотров5.6K

Предисловие


AWS — крупнейший поставщик облачных услуг. Общие облачные сервисы включают хранилище, вычислительную мощность, базы данных, аналитику, безопасность, мониторинг, инструменты разработчика, сети.


Cloud — это место, где вы храните свои данные/приложения/процессы и получаете к ним доступ в любое время через Интернет.



The Five Pillar



image

Инженеры AWS написали документацию с основными практиками для правильного и безболезненного размещения в облаке, найти его можно здесь. В эти практики входят:


  • Operational Excellence
  • Security
  • Reliability
  • Performance Efficiency
  • Cost Optimization

Разберем эти практики и Shared responsibility model в этом подкате.


Читать дальше →
Всего голосов 4: ↑4 и ↓0+4
Комментарии0

Вклад авторов