Как стать автором
Обновить
10.76

Amazon Web Services *

Инфраструктура платформ облачных веб-сервисов

Сначала показывать
Порог рейтинга
Уровень сложности

AWS Athena: GEOIP lookups

Время на прочтение7 мин
Количество просмотров2.5K

PS. Это перевод моей статьи на английском. Давно я не писал на Хабре. Сразу прощу прощения, много на русском не пишу. Не скажу что у меня и английский шикарный. Но к сожалению проживание за рубежом ухудшает мой русский и медленно развивает английский.

Если вы пользуетесь AWS Athena для анализа логов, то часто хочется найти источник IP адресов. К сожалению AWS Athena не предоставляет этого из коробки. К счастью MaxMind предоставляет базы данных GeoIP таблиц, которые позволяют вычислить местоположение по IP адресам. Есть платная и бесплатная версия.

В этой статье я покажу как создать AWS Lambda функцию, которая каждую неделю будет скачивать последнюю базу данных с MaxMind на S3. Эту базу данных можно использовать в AWS Athena для написания SQL запросов для анализа, например, веб логов.

Читать далее

Nuke: настраиваем сборку и публикацию .NET-проекта

Время на прочтение9 мин
Количество просмотров6.2K

В настоящее время существует множество систем CI/CD. У всех есть определенные достоинства и недостатки и каждый выбирает себе наиболее подходящую под проект. Цель данной статьи - познакомить с Nuke на примере web-проекта, использующего уходящий на покой .NET-Framework с прицелом дальнейшего обновления до .NET 5. В проекте уже используется сборщик Fake, но возникла необходимость его обновления и доработки, что в итоге привело переходу на Nuke.

Читать далее

CI/CD для проекта в GitHub с развертыванием на AWS EC2

Время на прочтение6 мин
Количество просмотров12K

Имеем: проект web API на .net core с исходниками в GitHub.

Хотим: авторазвертывание на виртуалке AWS EC2 после завершения работы с кодом (для примера push в develop ветку).

Инструментарий: GitHub Actions, AWS CodeDeploy, S3, EC2.

Ниже flow процесса, который будем реализовывать, погнали.

Читать далее

Если у вас не работает Spring BootJar

Время на прочтение4 мин
Количество просмотров3.9K

Решаем проблемы с загрузкой Spring Boot Jar


image


Сталкивались ли вы с проблемой запуска нового загрузочного архива Spring Boot?


Вообще, новация в этом направлении уже не первая, стандартов особых нет. Поэтому многие огребают проблемы и решают их на форумах и стек-оверфлоу.
Если вы также столкнулись с проблемой, я помогу её решить. В таком случае читаем дальше.

Читать дальше →

Истории

Как защититься от неожиданных счетов за AWS

Время на прочтение5 мин
Количество просмотров27K
Представьте, что у вас в облаке маленький проектик. Уже полгода вы платите за него по 20 центов в месяц. В принципе, ничего особенного. Но однажды утром вдруг приходит крупный счёт на 2700 долларов.


В облаке мы платим за хранение, вычисления и другие услуги по мере их использования. Не нужно поднимать собственный сервер. Однако недостаток в том, что можно случайно потратить больше денег, чем есть в кошельке. Это особенно сложно с бессерверными решениями, которые автоматически масштабируются вместе с поступающим трафиком.

Новый инструмент для Повелителей управляемого хаоса: AWS Fault Injection Simulator

Время на прочтение5 мин
Количество просмотров3.1K


AWS Fault Injection Simulator (FIS) — инструмент, который позволит реализовывать заранее известные сценарии внутреннего сбоя системы внутри сервисов AWS. Зачем? — чтобы команды смогли отработать сценарии их ликвидации и в целом оценить поведение своего продукта в предложенных условиях. Система будет сразу предлагать несколько шаблонов со сценариями сбоя, например, замедление серверов, их отказ, ошибка обращения к БД или ее падение. При этом FIS будет гарантировать, что эксперимент не зайдет слишком далеко и при достижении определенных параметров тестирование будет остановлено, а работоспособность системы придет в норму. Основной слоган нового продукта облачного гиганта — «повышение отказоустойчивости и производительности с помощью технологии контролируемого хаоса». Релиз новой системы тестирования намечен на 2021 год.

Также в AWS предлагают тестирование и распределенных виртуализированных систем, которые менее зависимы от одного узла. Специфика сбоя в распределенной системе заключается в том, что проблема может быть циклична и иметь более сложную структуру. Новая функция AWS позволит искать уязвимые точки не только в инфраструктуре монолитов, но и в распределенных системах и приложениях.

Давайте посмотрим, почему это важно и круто.
Читать дальше →

Serverless шагает по планете. Сравним SberCloud и AWS

Время на прочтение3 мин
Количество просмотров14K

image


Мне с друзьями довелось поучаствовать в хакатоне SberCloud.Advanced Hacking и пощупать облачные сервисы Сбера. На моем текущем месте работы я каждый день работаю с Serverless стеком от AWS (CloudFront + Lambda Edge + S3 + Lambda + Step Functions + Aurora PostgreSQL Serverless + DynamoDB + Cognito). Так что мне есть с чем сравнить. Если заинтересовались, то добро пожаловать под кат.


AWS re:Invent 2020, Keynotes — Analytics + Networking

Время на прочтение6 мин
Количество просмотров1.1K
Очередная порция анонсов и новинок с ежегодной масштабной облачной конференции AWS re:Invent 2020. В этот раз в области аналитики и сетевой инфраструктуры. Многие возможности уже доступны для предварительного ознакомления, какие именно — читайте ниже. Подробнее новинки обсудят архитекторы AWS в русскоязычном твитче, который они регулярно проводят в дни re:Invent. Ссылка на twitch-стрим в конце материала.

Читать дальше →

AWS re:Invent 2020 Keynotes — Machine Learning

Время на прочтение4 мин
Количество просмотров1.5K
Стартовала вторая неделя AWS re:Invent. И снова много новинок и улучшений, теперь в области машинного обучения. Самые важные — в нашем обзоре. Сегодня их будут активно обсуждать в русскоязычном twitch-стриме эксперты AWS, которые что-то уже поюзали и теперь делятся впечатлениями от новинок. Ссылка на twitch — в конце статьи.

Читать дальше →

Приглашаем на DINS DevOps EVENING (online): теги в AWS и namespace в Kubernetes

Время на прочтение2 мин
Количество просмотров830
image

На митапе Михаил Кабанов из DINS расскажет, как DevOps-инженеры могут влиять на прибыль компании, а Павел Селиванов из Mail.ru Cloud Solutions объяснит, какие возможности есть у namespacing в Kubernetes. Участие бесплатное, но нужно зарегистрироваться. Программа под катом.

Читать дальше →

AWS re:Invent. Главные анонсы первого дня (Part 2)

Время на прочтение4 мин
Количество просмотров2.9K
Продолжаем публиковать анонсы новинок AWS с главного облачного события года — AWS re:Invent. В первой части мы рассказали обо всех ключевых событиях, представленных визионером компании Andy Jassy. Прочитать можно здесь. Теперь главные изменения, анонсированные в области хранения данных.

Читать дальше →

AWS re:Invent. Главные анонсы первого дня (Part 1)

Время на прочтение12 мин
Количество просмотров4.8K
Сейчас проходит самое вдохновляющее событие в мире облачных технологий — AWS re:Invent. Мы активно конспектировали и собрали выдающиеся новинки, которые были анонсированы вчера в прямом эфире. В качестве спойлера: в конце статьи будет ссылка на русскоязычную twitch-сессию AWS по новинкам re:Invent, которую будут проводить лучшие solution архитекторы Amazon Web Services — присоединяйтесь/послушайте, они зажигательно рассказывают.

Читать дальше →

Terraform 12 и Terragrunt и как это можно применять для Multi-Cloud-инфраструктуры. Александр Довнар

Время на прочтение30 мин
Количество просмотров8.2K


Что такое Terraform 12 и Terragrunt, и как это можно применять для Multi-Cloud инфраструктуры.
Мы поговорим про IaC (Инфраструктура как код) влияние на современный мир и о том, как Terraform помогает работать с гетерогенных окружениях. Я хочу обсудить немного сам Terraform, какие у него есть проблемы и как их решает Terragrunt. После я расскажу про мой опыт с Terragrunt и немного зацеплю такую тему, как Multi-Clouds.Во второй части обсуждения темы я бы хотел показать результат моих находок в использовании Terraform+Terragrunt в среде с тремя облачными провайдерами (AWS, GCP, Azure) и CloudFlare в качестве DNS.

Ближайшие события

27 марта
Deckhouse Conf 2025
Москва
25 – 26 апреля
IT-конференция Merge Tatarstan 2025
Казань

Post Mortem по масштабному сбою Amazon Kinesis в US-EAST-1 (25 ноября)

Время на прочтение9 мин
Количество просмотров5.7K
Прим. перев.: на прошлой неделе сбой одного из сервисов AWS привёл к проблемам в доступности/корректном функционировании целого ряда облачных услуг этого крупного провайдера. В официальной публикации, оперативно размещённой инженерами интернет-компании, рассказывается о подробностях инцидента, его причинах и — главное — уроках, которые были извлечены из случившегося. Представляем вашему вниманию её перевод.

В этом материале мы хотели бы рассказать подробности о перебоях в обслуживании, случившихся в регионе Northern Virginia (US-EAST-1) 25 ноября 2020.

Amazon Kinesis позволяет в реальном времени собирать, обрабатывать и анализировать потоковые данные. Помимо непосредственного использования клиентами, он задействован в ряде сервисов AWS. Эти сервисы также пострадали от сбоя. Триггером (но не основной причиной) данного события стало относительно небольшое добавление мощностей к сервису, начавшееся в 2:44 утра PST и завершившееся в 3:47.
Читать дальше →

Скорая Психологическая Помощь | Product Weekend

Время на прочтение4 мин
Количество просмотров2.4K

Здравствуй, Хабровчанин!
Эта публикация - продолжение статьи "Экстренная психологическая помощь | Prototyping Weekend". Статья повествует о создании прототипа Онлайн службы Скорой Психологической Помощи в рамках хакатона, который был организован пражским хакерспейсом Brmlab. Этот проект - мой первый опыт в качестве product owner и full stack developer.

Читать далее

Хостинг статических сайтов на AWS

Время на прочтение7 мин
Количество просмотров13K
В данной статье я хочу подробно разобрать тему хостинга статических сайтов на AWS. Тему нельзя назвать сильно сложной, но нюансов хватает. Для настройки вручную потребуется организовать взаимодействие 4-5 сервисов, а по дороге порой можно встретить весьма интересные грабли.

Некоторое время назад существовал официальный туториал по такой ручной настройке. Местами он мог показаться сложным, местами странным. Скорее всего, это была дань универсальности и необходимости продемонстрировать разные варианты хостинга. Однако сейчас туториал кардинально обновлен, и предлагает использовать сервис AWS Amplify для решения такой задачи. С одной стороны, это удобно, но с другой стороны, иногда необходимо разобраться, что же именно происходит “под капотом”. Поэтому здесь мы разберем, как все настроить руками.
Читать дальше →

AWS Cloud Core Concepts

Время на прочтение5 мин
Количество просмотров5.9K

Предисловие


AWS — крупнейший поставщик облачных услуг. Общие облачные сервисы включают хранилище, вычислительную мощность, базы данных, аналитику, безопасность, мониторинг, инструменты разработчика, сети.


Cloud — это место, где вы храните свои данные/приложения/процессы и получаете к ним доступ в любое время через Интернет.



The Five Pillar



image

Инженеры AWS написали документацию с основными практиками для правильного и безболезненного размещения в облаке, найти его можно здесь. В эти практики входят:


  • Operational Excellence
  • Security
  • Reliability
  • Performance Efficiency
  • Cost Optimization

Разберем эти практики и Shared responsibility model в этом подкате.


Читать дальше →

Паттерны в Terraform для борьбы с хаосом и ручной рутиной. Максим Кострикин (Ixtens)

Время на прочтение21 мин
Количество просмотров9.8K


Казалось бы, разработчики Terraform предлагают достаточно удобные best practices для работы с AWS-инфраструктурой. Только есть нюанс. Со временем количество окружений увеличивается, в каждом появляются особенности. Появляется почти копия стека приложений в соседнем регионе. И Terraform-код нужно аккуратно скопировать и отредактировать согласно новым требованиям или сделать снежинку.


Мой доклад про паттерны в Terraform для борьбы с хаосом и ручной рутиной на крупных и долгих проектах.

Разработка системы мониторинга на AWS

Время на прочтение9 мин
Количество просмотров3.9K
В предыдущем посте был предложен алгоритм выбора системы управления для разных задач «Интернета вещей». Для решений среднего масштаба оптимальным оказалось использование облачных IoT платформ.

Этот материал о том, как мы реализовали систему мониторинга и управления на базе платформы Amazon WEB Services (AWS). В качестве объекта управления рассмотрен шкаф связи, напоминающий маленький «Умный дом». Внутри такого шкафа может быть установлено оборудование сотовой или фиксированной связи, городского WiFi, видеонаблюдения, управления освещением или т.п., а также устройства электропитания и климат-контроля. С использованием контроллера «умного дома» шкафа, набора датчиков и системы верхнего уровня оператор может наблюдать за состоянием оборудования, микроклиматом и охранно-пожарной безопасностью. 

Читать дальше →

Инструкция: настройка Snowplow для мобильной аналитики

Время на прочтение24 мин
Количество просмотров4.4K

Использование snowplow позволит сократить расходы на аналитику. Эта первая статья, с подробной инструкцием о том, как настроить весь процесс передачи событий из мобильного приложения в базу данных RedShift. В следующей статье подробно разберем как собрать дэшборд для просмотра собранных данных.


Читать дальше →

Вклад авторов