Обновить
23.87

Amazon Web Services *

Инфраструктура платформ облачных веб-сервисов

Сначала показывать
Порог рейтинга
Уровень сложности

Typeser: 1С-like ERP-конструктор на базе TypeScript

Время на прочтение6 мин
Количество просмотров6.7K

Хотелось бы представить на суд местного сообщества недавно созданную облачную веб платформу разработанную бывшим 1с-овцем освоившим java, js, ts, react.

Интерфейсы TypeScript(*.d.ts файлы) генерируются на лету. Они актуальны и доступны в коде даже без сохранения конфигурации.

Главная фишка - есть возможность писать обработчики событий на языке TypeScript и sql код на триггеры при записи объектов. Редактор кода тоже онлайн и реализован на базе monaco-editor. В нем типизируется все: структура и типы метаданных, данные и элементы формы, события обработчиков.

Читать далее

Игровой real-time сервер простыми словами: теория, архитектура на Python, оптимизация, автомасштабирование в AWS

Время на прочтение20 мин
Количество просмотров27K

Разработка сервера для real-time онлайн игры - дело неочевидное, но очень интересное. В данной статье я постараюсь провести вас от банальной теории и базовых вещей до динамического автомасштабирования игрового сервера в облаке.

Мы обсудим как из однопользовательской игры сделать многопользовательскую, какие основные решения сложились для этой реализации, обсудим архитектуру одного из таких решений, как его можно оптимизировать и развернуть в облаке имея при всём этом выгоду в виде отказоустойчивости и сбережения финансов.

Перейти к материалу

Заблокировался аккаунт от AWS? Не знаешь как дальше жить? Купи подарочную карту amazon и разблокируй AWS через kindle

Время на прочтение4 мин
Количество просмотров5.4K

В один момент осознал, что потерял доступ к aws:

1. Не могу зологиться в AWS, т.к. залочен акаунт на amazon.

2. Поддержка AWS говорит, что не может помочь - обращайтесь к поддержке amazon.

3. Поддержка amazon говорит, что акаунт заблокирован и они не могут его разлочить

4. Разлочить не могут, т.к. в системе не достаточно данных что бы верефицировать меня.

как восстановить акк, используя kindle?

Enterprise Data Warehouse: компоненты, основные концепции и типы архитектур EDW

Время на прочтение15 мин
Количество просмотров21K
image

Ежедневно мы принимаем множество решений на основании предыдущего опыта. Наш мозг хранит триллионы бит данных о прошлых событиях и использует эти воспоминания каждый раз, когда мы сталкиваемся с необходимостью принятия решения. Как и люди, компании генерируют и собирают множество данных о прошлом, и эти данные можно использовать для принятия более осознанных решений.

Наш мозг может и обрабатывать, и хранить информацию, а компаниям для работы с данными требуется множество разных инструментов. И одним из самых важных является корпоративное хранилище данных (enterprise data warehouse, EDW).

В этой статье мы расскажем о том, что же такое EDW, каких типов они бывают и какие функции имеют, а также как они используются в обработке данных. Мы объясним, как корпоративные хранилища отличаются от обычных, какие типы хранилищ данных существуют и как они работают. В первую очередь мы хотим дать вам информацию о ценности для бизнеса каждого архитектурного и концептуального подхода к построению хранилища.
Читать дальше →

Попасть в Amazon в 47 лет. История нашего студента

Время на прочтение9 мин
Количество просмотров5.6K

Sergejs Jersovs зарабатывал на жизнь частным извозом в Ирландии. Пока однажды, когда ему было 44 года, не решил полностью изменить свою жизнь и стать веб-разработчиком. Начал свой путь в IT он с того, что прошел наш курс «Веб-разработчик с нуля до профи». Меньше чем через полтора года после окончания курса он уже работает в Amazon.

Читать далее

Архитектура приложений Web 3.0

Время на прочтение11 мин
Количество просмотров23K

Архитектура приложений Web 3.0 (или «DApps») полностью отличается от приложений Web 2.0. 

Возьмем, к примеру, Medium, простой блог-сайт, который позволяет пользователям публиковать свой собственный контент и взаимодействовать с контентом других. 

Как приложение Web 2.0 это может показаться простым, но в архитектуру Medium входит многое, чтобы сделать все это возможным:

Во-первых, должно быть место для хранения важных данных, таких как информация о пользователях, сообщения, теги, комментарии, лайки, и так далее. Для этого требуется постоянно обновляемая база данных.

Во-вторых, бэкэнд (написанный на таком языке, как Node.js, Java или Python) должен определять бизнес-логику Medium. Например, что происходит, когда новый пользователь регистрируется, публикует новый блог или комментирует чей-то еще блог? 

В-третьих, фронтэнд (обычно написанный на JavaScript, HTML и CSS) должен определять логику пользовательского интерфейса Medium. Например, как выглядит сайт и что происходит, когда пользователь взаимодействует с каждым элементом на странице?

Собрав все это вместе, когда вы пишете сообщение в блоге на Medium, вы взаимодействуете с его фронтэндом, который общается с его бэкэндом, который общается с его базой данных. Весь этот код размещается на централизованных серверах и отправляется пользователям через интернет-браузер. Это хороший общий обзор того, как сегодня работает большинство приложений Web 2.0.

Читать далее

Как обнаружить мертвый узел в распределенной системе

Время на прочтение6 мин
Количество просмотров3.2K
image


Если AWS предоставляет только сервер на голом металле, вам нужно будет помесячно платить за каждый запрос, выполняемый при помощи службы обнаружения узлов. AWS будет тяжело не предоставлять такую услугу, но и компаниям будет непросто платить за такую функцию и за каждый инстанс. в отдельности. Кажется, что обнаружить мертвый узел не составляет труда, однако на деле это не так уж просто. Часто эта простая функция предоставляется сторонним облачным сервисам, чтобы было проще отслеживать состояние нашего узла.

Для обеспечения отказоустойчивости отказы нужно обнаруживать. Однако в этой статье вы увидите, как сложно обнаружить отказ узла. Мы также в общем виде обсудим архитектуру, позволяющую обнаруживать отказ узла с накоплением Phi.
Читать дальше →

Terraform за 15 дней (AWS/Yandex cloud). День 3: data source и outputs

Время на прочтение7 мин
Количество просмотров12K

Сегодня мы познакомимся с понятиями data source и output; посмотрим, как применяются изменения в уже существующей инфраструктуре.

Читать далее

Terraform за 15 дней (AWS/Yandex cloud). День 2: Поднимаем сервера

Время на прочтение5 мин
Количество просмотров13K

Вчера мы остановились на инициализации terraform. Сегодня мы поднимем одну машину в дефолтной сети с дефолтными настройками. И Яндекс и aws изначально создают вам одну VPC и подсети в ней.

Читать далее

Terraform за 15 дней (AWS/Yandex cloud). День 1

Время на прочтение4 мин
Количество просмотров27K

Terraform за 15 дней (AWS/Yandex). День 1

Мы от простого к сложному, поднимем небольшую инфраструктуру на aws и Яндекс (актуальность последнего я думаю объяснять не нужно). Так что по итогу вы сможете сказать: “Я изучал terraform от простого к сложному”.

Я постараюсь добавить все необходимые ссылки на документации и доп. источники, так что вы сможете дополнить необходимые знания, но данный курс (если это можно так назвать) скорее рассчитан на тех, кто в общем знаком с облачными технологиями. Это не пособие по terraform. Цель - помочь новичкам в данном вопросе начать изучать IaC и облака в целом. Некий quick start в terraform.

Изучить terraform

Сервисы безопасности в облаке — GuardDuty, WAF, Macie

Время на прочтение4 мин
Количество просмотров1.7K

Мы продолжаем цикл материалов о работе в облаках на примере AWS. Итак, вы спланировали переход в облако, посчитали стоимость и оценили риски, и пришла пора согласовать свои действия с ответственными за информационную безопасность, скорее всего безопасники предложат перенести опыт построения классических инфраструктур на облачные реалии и почти наверняка, окажутся не совсем правы. Разберемся почему.

-----------------------------------

Вы можете переместить все, или почти все свои существующие решения в облако. Не сложно сделать образ межсетевого экрана, загрузить и развернуть его в облаке и продолжать работать как раньше, наверняка можно переместить DLP, антивирусы и прочие решения, на которые уже потрачены деньги и лицензии еще не истекли. Но с другой стороны, я бы предложил присмотреться к тем механизмам, которые предлагает сама облачная платформа. Если это не совсем базовый VPS хостинг, где кроме межсетевого экрана, скорее всего, ничего нет, то вы можете попробовать использовать то, что предлагает платформа.

AWS Web Application Firewall (WAF)

Вы наверняка уже используете какое-то решение для защиты веб-сервера, может быть, это NGFW с функциями WAF, возможно, какое-то выделенное решение. В AWS тоже есть свой WAF, который можно развернуть на уровне CloudFront, балансировщике нагрузки или API шлюзе. Делает он примерно то же, что и все другие WAF – вы пишите правила, блокирующие трафик по тем или иным шаблонам, также, есть готовые шаблоны для известных атак, правда, они будут стоить дополнительных денег. Задача стандартная – не допустить вредный трафик на ваш веб-сервер или веб-приложение.

Читать далее

Serverless хостинг в AWS для рубиста

Время на прочтение6 мин
Количество просмотров1.9K

В первой части мы разворачивали приложение в Oracle cloud. Теперь попробуем сделать то же самое в AWS и зададимся вопросом так ли уж нужны Rails. Итак у нас: SPA приложение, REST api, Terraform как средство деплоя и управления ресурсами в облаке.

поехали

Ближайшие события

Квадрант Gartner 2022 года по решениям для мониторинга приложений (APM)

Время на прочтение3 мин
Количество просмотров6.3K

В этом году крепко призадумался, стоит ли публиковать полноценный обзор на свежий квадрант Gartner по APM системам, ведь почти все участники (или почти все) этого квадранта прекратили продажи в России и непонятно когда их возобновят. У себя в телеграм-канале Мониторим ИТ в основном пишу про доступные в России бесплатные решения для мониторинга и что-то коммерческое в последнее время там редко проскакивает. Но уж очень там много интересных изменений произошло в квадранте с момента прошлой публикации в 2020 году. В 2021 году публикация как-то сама собой не написалась и не опубликовалась, но вы немного пропустили, поэтому в этой статье приведу прошлогодний квадрант просто для информации с краткими комментариями. В конце статьи ссылка на полный отчет Gartner. Погнали — чего ждать-то?

Читать далее

Наш опыт миграции PostgreSQL с AWS RDS на свою (self-hosted) инсталляцию

Время на прочтение15 мин
Количество просмотров7K

В статье рассмотрен способ безболезненной миграции базы данных PostrgeSQL c RDS-сервиса в AWS на self-hosted-инстанс с обеспечением отсутствия простоя в работе и максимальной консистентности данных.

С RDS вы получаете один или несколько экземпляров БД, с которыми можно сразу работать — писать или читать данные. При этом нет необходимости самостоятельно разбираться с установкой и изначальной конфигурацией самой БД. Согласитесь, звучит круто! Но на самом деле есть нюансы…

Читать далее

Можно ли в российских облаках реализовать архитектурные схемы, стандартные для западных провайдеров

Время на прочтение5 мин
Количество просмотров9K


Исторически так сложилось, что AWS стал промышленным стандартом на рынке облачных услуг, как с точки зрения набора предоставляемых услуг и решений, так и с точки зрения поддержки, комьюнити, готовых библиотек для использования, провайдеров для работы с подходом IaaC. Но ввиду изменившейся геополитической ситуации, а также других различных факторов (например, 152 ФЗ), зарубежные решения становятся всё менее доступными. Так что необходимо искать альтернативы на российском внутреннем рынке.

В этой статье мы проводим сравнительный анализ нескольких отечественных облачных провайдеров, рассматривая набор предлагаемых решений, оценивая наличие Terraform-провайдеров, а также пытаясь реализовать деплой типичного веб-проекта в облаке.

Дисклеймер №1
Данная статья не является рекламой. Все совпадения с реальностью — всего лишь совпадения с реальностью. А все несовпадения с реальностью — всего лишь несовпадения с реальностью.

Дисклеймер №2
Читать дальше →

Управляем правами доступа в облаке на примере Amazon Web Services

Время на прочтение4 мин
Количество просмотров3K

В этой статье руководитель группы защиты инфраструктурных ИТ-решений компании «Газинформсервис» Сергей Полунин рассмотрит два способа управления учётными записями и их правами в облачной среде на примере Amazon Web Services.

Identity and Access Management

Одним из сервисов, отвечающих за безопасность AWS является служба Identity and Access Management (IAM). Именно она обеспечивает триаду – идентификация, аутентификация, авторизация. Обычно при первом знакомстве с IAM рассказывают об обязательном включении многофакторной аутентификации и запрете пользоваться рутом.

Также обязательно упоминают про парольную политику, почти такую же, как в прочих системах, которыми вы уже управляете. Заодно намекают, что с логином и паролем можно зайти только в административный интерфейс, а вот управлять «начинкой» придётся с помощью специально созданных ключей. Все это вопросов не вызывает, примерно этого мы и ожидали, но есть нюансы.

IAM Policy

Управление доступом осуществляется при помощи политик IAM Policy, а правила пишутся в формате JSON и в этот момент начинают закрадываться некоторые сомнения, что легко не будет, потому что придется писать код самостоятельно, а не просто нажимать на кнопки.

Например,

 {

    "Version": "2012-10-17",

    "Statement": [

        {

            "Sid": "FullAccess",

            "Effect": "Allow",

            "Action": ["s3:*"],

            "Resource": ["*"]

        }

    ]

}

Это политика, например, даёт доступ ко всем S3 хранилищам, но запрещает работать с объектами в S3 хранилище my-secure-bucket.

Читать далее

BI с Redshift от ETL до бордов

Время на прочтение7 мин
Количество просмотров3.3K

Привет, хабр, я Node.js разработчик, и я хочу поделиться с вами опытом по реализации business intelligence (BI) процесса. 

В какой-то момент наш бизнес вырос до размера, пусть и небольшого, когда считать различные цифры и проводить аналитику в excel таблицах уже сложно и медленно, да и количество людей работающих с данными значительно выросло. Тогда зашла речь об автоматизации этого процесса и визуализации различного рода аналитики. Так мы подошли к мысли, что пора реализовывать BI внутри компании.

Читать далее

Что такое краудсорсинг и как он работает?

Время на прочтение6 мин
Количество просмотров10K

Краудсорсинг вносит свой вклад в большинство отраслей по всему миру. Он может быть чрезвычайно мощным, если использовать его в нужное время и в нужном месте. Возможно, вы уже слышали этот термин, но что же он означает? В этой статье мы расскажем, что такое краудсорсинг, как он работает, и почему множество компаний используют этот формат для совершенствования своей работы.

Что такое краудсорсинг?


Краудсорсинг — это практика использования знаний группы ради общей цели. Больше всего она полезна при решении сложных проблем инновационным образом или для упрощения сложных процессов.

Этот термин впервые был применён Джеффом Хоувом в статье 2006 года о подобной практике. Хотя краудсорсинг в той или иной форме существовал уже многие века, популярность его начала увеличиваться примерно с развитием электронной коммерции, социальных сетей и культуры смартфонов. Больше всего повлияла на рост интереса к этой практике увеличившаяся связность между людьми всего мира.
Читать дальше →

Как сэкономить на ресурсах с помощью модуля Terraform для AWS Spot Instance

Время на прочтение9 мин
Количество просмотров2.8K

Иногда бывает довольно сложно сэкономить на Spot Instance Amazon Web Services (AWS). Не стоит забывать, что по сути это — аукцион. Цены хоть и не меняются так же резко, как на биржах, тем не менее могут расти, пока не достигнут ondemand. Бывает, что такое продолжается не день и не два, а до нескольких месяцев, что приводит к повышению расходов вдвое на обычные ресурсы.

Как не попасть в ситуацию, когда, например, в ноябре всё прошло отлично, а в декабре из-за праздничного ажиотажа прайс удвоился, и вы получили не только дорогую систему, а ещё и с прерыванием? Давайте разберем причины, почему так происходит. Для этого рассмотрим стратегии распределения Spot Instance и поймем, как можно использовать модуль Terraform без всех этих проблем и при этом еще и сэкономить. В этом нам поможет инженер по облачным сервисам и архитектор AWS Владимир Самойлов, участник сообщества FivexL.

Читать далее

Вклад авторов