Обновить
4.26

Amazon Web Services *

Инфраструктура платформ облачных веб-сервисов

Сначала показывать
Порог рейтинга
Уровень сложности

Управляем правами доступа в облаке на примере Amazon Web Services

Время на прочтение4 мин
Охват и читатели3.4K

В этой статье руководитель группы защиты инфраструктурных ИТ-решений компании «Газинформсервис» Сергей Полунин рассмотрит два способа управления учётными записями и их правами в облачной среде на примере Amazon Web Services.

Identity and Access Management

Одним из сервисов, отвечающих за безопасность AWS является служба Identity and Access Management (IAM). Именно она обеспечивает триаду – идентификация, аутентификация, авторизация. Обычно при первом знакомстве с IAM рассказывают об обязательном включении многофакторной аутентификации и запрете пользоваться рутом.

Также обязательно упоминают про парольную политику, почти такую же, как в прочих системах, которыми вы уже управляете. Заодно намекают, что с логином и паролем можно зайти только в административный интерфейс, а вот управлять «начинкой» придётся с помощью специально созданных ключей. Все это вопросов не вызывает, примерно этого мы и ожидали, но есть нюансы.

IAM Policy

Управление доступом осуществляется при помощи политик IAM Policy, а правила пишутся в формате JSON и в этот момент начинают закрадываться некоторые сомнения, что легко не будет, потому что придется писать код самостоятельно, а не просто нажимать на кнопки.

Например,

 {

    "Version": "2012-10-17",

    "Statement": [

        {

            "Sid": "FullAccess",

            "Effect": "Allow",

            "Action": ["s3:*"],

            "Resource": ["*"]

        }

    ]

}

Это политика, например, даёт доступ ко всем S3 хранилищам, но запрещает работать с объектами в S3 хранилище my-secure-bucket.

Читать далее

BI с Redshift от ETL до бордов

Время на прочтение7 мин
Охват и читатели3.7K

Привет, хабр, я Node.js разработчик, и я хочу поделиться с вами опытом по реализации business intelligence (BI) процесса. 

В какой-то момент наш бизнес вырос до размера, пусть и небольшого, когда считать различные цифры и проводить аналитику в excel таблицах уже сложно и медленно, да и количество людей работающих с данными значительно выросло. Тогда зашла речь об автоматизации этого процесса и визуализации различного рода аналитики. Так мы подошли к мысли, что пора реализовывать BI внутри компании.

Читать далее

Что такое краудсорсинг и как он работает?

Время на прочтение6 мин
Охват и читатели13K

Краудсорсинг вносит свой вклад в большинство отраслей по всему миру. Он может быть чрезвычайно мощным, если использовать его в нужное время и в нужном месте. Возможно, вы уже слышали этот термин, но что же он означает? В этой статье мы расскажем, что такое краудсорсинг, как он работает, и почему множество компаний используют этот формат для совершенствования своей работы.

Что такое краудсорсинг?


Краудсорсинг — это практика использования знаний группы ради общей цели. Больше всего она полезна при решении сложных проблем инновационным образом или для упрощения сложных процессов.

Этот термин впервые был применён Джеффом Хоувом в статье 2006 года о подобной практике. Хотя краудсорсинг в той или иной форме существовал уже многие века, популярность его начала увеличиваться примерно с развитием электронной коммерции, социальных сетей и культуры смартфонов. Больше всего повлияла на рост интереса к этой практике увеличившаяся связность между людьми всего мира.
Читать дальше →

Как сэкономить на ресурсах с помощью модуля Terraform для AWS Spot Instance

Время на прочтение9 мин
Охват и читатели3K

Иногда бывает довольно сложно сэкономить на Spot Instance Amazon Web Services (AWS). Не стоит забывать, что по сути это — аукцион. Цены хоть и не меняются так же резко, как на биржах, тем не менее могут расти, пока не достигнут ondemand. Бывает, что такое продолжается не день и не два, а до нескольких месяцев, что приводит к повышению расходов вдвое на обычные ресурсы.

Как не попасть в ситуацию, когда, например, в ноябре всё прошло отлично, а в декабре из-за праздничного ажиотажа прайс удвоился, и вы получили не только дорогую систему, а ещё и с прерыванием? Давайте разберем причины, почему так происходит. Для этого рассмотрим стратегии распределения Spot Instance и поймем, как можно использовать модуль Terraform без всех этих проблем и при этом еще и сэкономить. В этом нам поможет инженер по облачным сервисам и архитектор AWS Владимир Самойлов, участник сообщества FivexL.

Читать далее

SNS и SQS: разбираемся, какие есть способы обмена сообщениями в облаках

Время на прочтение5 мин
Охват и читатели25K

Привет, Хабр! Сегодня поговорим о принципах асинхронной работы с сообщениями и их очередями в распределенной и бессерверной архитектуре. У Amazon для этого есть веб-сервисы Simple Notification Service (SNS) и Simple Queue Service (SQS): они позволяют обмениваться сообщениями между микросервисами. В этой статье разберём, чем они отличаются, что могут и какие есть ещё предложения на этом рынке.

Читать далее

Масштабирование бессерверного поискового робота и поисковой системы

Время на прочтение6 мин
Охват и читатели2K

Создание поисковой системы, безусловно, не самая простая задача. Чтобы пользователь мог быстро получить релевантный ответ на свой запрос, вы должны непрерывно добывать данные с веб-страниц и индексировать их содержимое. Главная цель при реализации — избежать чрезмерной сложности инфраструктуры, сохранив гибкость решения. Какой же должна быть при этом архитектура? Ответ на этот вопрос не очевиден. В этой статье мы расскажем о бессерверной поисковой системе, способной масштабироваться с целью обхода и индексирования крупных сайтов.

Читать перевод далее

Oracle, Docker, AWS: альтернативы сервисам для разработчиков, которые уже заблокировали в России или скоро заблокируют

Время на прочтение4 мин
Охват и читатели29K

С начала марта зарубежные IT-компании ограничивают или полностью закрывают доступ к своим продуктам пользователям из России. В списке, среди прочих, — Microsoft, Oracle, Amazon и другие крупные компании. Рассказываем, какие существуют альтернативы уже заблокированным сервисам и что делать, если заблокируют до сих пор доступные. Этот материал постоянно обновляется.

Прежде чем рассказывать об альтернативах, следует уточнить, что доступ к большей части сервисов можно получить через VPN. Однако обход блокировки не поможет, если сервис заблокировал аккаунт пользователя или приостановил подписку.

Еще один важный момент: почти все ПО в списке заблокировано добровольно,  — то есть со стороны издателя, а не со стороны российских контролирующих органов.

Читать далее

Пишем простой счетчик для сайта или приложения с помощью Google Cloud Functions и AWS Lambda/Snowflake

Время на прочтение8 мин
Охват и читатели4.1K

Как работают популярные счетчики веб или мобильной аналитики, например, Google Analytics или AppsFlyer? На сайт устанавливаются их коды или в приложение интегрируется мобильное SDK. Потом при каждом действии клиента отправляется http запрос на сервер аналитики.

У использования стандартных счетчиков/пикселей есть минусы:

некоторые посетители используют анонимайзеры, которые блокируют такие запросы;

их сложно кастомизировать под себя.

В этой статье мы напишем собственный простой счетчик, который будет решать эти проблемы. Встроим его в PowerBI отчеты. Но принцип одинаков, его можно будет использовать и на веб-сайте, и в приложении, и в других  устройствах с доступом к интернету. Попробуем две точки сбора событий, чтобы изучить больше технологий: Google Cloud Function, которая будет писать события в Google BigQuery, и Amazon Lambda Functions с записью событий в Snowflake.

Читать далее

Как устроена MemQ — система PubSub в Pinterest

Время на прочтение10 мин
Охват и читатели3.6K

MemQ — это дополнение к Kafka, отделяющее аппаратную часть чтения и записи от слоя хранения данных. Разработчики Pinterest постепенно заменяют Kafka на MemQ: балансировка с ним не только проще благодаря унификации данных, но и дешевле в 10 раз. К старту флагманского курса по Data Science приглашаем под кат за подробностями.

Читать далее

Back to 2021. Нововведения в Serverless с re:Invent от AWS

Время на прочтение4 мин
Охват и читатели1.5K

Ежегодный AWS re:Invent, проходивший в конце 2021 года, принёс массу новостей про бессерверные технологии Янашёл самые интересные: и под катом мы поговорим про запуск функций на Graviton2, новых возможностях для машинного обучения, перенос разработки в облако и визуальный редактор для step-функций.

Читать далее

Serverless AWS инфраструктура игры Emozle

Время на прочтение3 мин
Охват и читатели2.8K

Всем привет! Не так давно я запустил игру Emozle, вдохновившись идеей Wordle. Посетители сайта видят лишь html, несколько js и css файлов, а я бы хотел поделиться с вами тем, что скрыто! Ну и кому может быть интересна диаграмма AWS архитектуры, если не Хабру?

Читать далее

Как мы создавали мощный сервис для обучения нейронных сетей в помощь разработчикам и бизнесу

Время на прочтение8 мин
Охват и читатели5.2K

Машинное обучение стало популярной темой в последние годы, причем не только в среде разработчиков, но у широкой общественности. При этом разработка моделей для обучения нейронных сетей требует высокого уровня знаний и опыта в предметной области. Не все, кому она требуется, могут обучить себе модель самостоятельно, а обращаться к сторонним специалистам дорого. Рассказываем о том, как мы создавали сервис по обучению нейронных сетей для бизнес пользователей и разработчиков совместно с AI-стартапом.

Читать далее

Мой опыт собеседования в Amazon

Время на прочтение6 мин
Охват и читатели65K

О чём эта статья

Это не история успеха, потому что в Амазон меня не взяли, но и не история полного лузера, который бомбит из-за своей тупости, ибо позже я прошел в Майкрософт, о чем будет отдельный пост. 

Это история о моем опыте собеседования в Амазоне, почему мне в целом не понравилось по сравнению с другими FAANG. Так же тут будут ответы на “а что конкретно спрашивали на интервью, какие были задачки, что на систем дизайне было”, потому что мне не дали подписать NDA, все с пруфами, скринами и прочее.

В общем и целом, статья будет о моем опыте, какие были интервью, что было сложного, что не очень, как я готовился, и какая доля везения в этом всем.

Начало, предложение от Amazon

В один прекрасный день 6 сентября, мне пришел такой сообщение в Линкедин.

Читать далее

Ближайшие события

Как разработчику применять принципы лидерства Amazon

Время на прочтение9 мин
Охват и читатели15K

Добрый день, меня зовут Павел Поляков, я Principal Engineer в каршеринг компании SHARE NOW, в Гамбурге в ?? Германии. А еще я автор телеграм канала Хороший разработчик знает, где рассказываю обо всем, что обычно знает хороший разработчик.

Сегодня хочу поговорить о принципах лидерства в Amazon. Это перевод оригинальной статьи.

Amazon является одной из самых больших и дорогих технологических компаний в мире. На Amazon работают десятки тысяч разработчиков. Все они получают хорошую компенсацию от 150.000$ в год и выше. Удивительно, но вся внутренняя политика Amazon основывается всего лишь на 16 принципах. 16 коротких фраз, которые определяют как ведет себя хороший сотрудник в Amazon.

Давайте посмотрим что это за принципы и как они помогают разработчикам в Amazon быть наиболее продуктивными.

Читать далее

Amazon S3 — детективное расследование внутренней архитектуры

Время на прочтение9 мин
Охват и читатели20K

Мне понравился опыт прошлого расследования по фейсбуку, и я решил организовать очередную серию, теперь про Amazon. Для нетерпеливых — в самом конце статьи описан итоговый вариант архитектуры Amazon S3 и проанализированы его свойства.



Не так давно Амазон объявил о переходе S3 с модели eventual consistency на strong consistency, то есть, предоставления гарантии read-after-write, чтения того, что было только что записано. Сообщество отреагировало, но как-то очень вяло: Amazon S3 Now Delivers Strong Read-After-Write Consistency


Первое, что лично мне подумалось в ответ на эти новости: а как же теорема CAP?

Читать дальше →

AWS re:Invent 2021. Keynotes — хранение данных и IoT

Время на прочтение13 мин
Охват и читатели2K

Вот и подходит к концу AWS re:Invent 2021 - одно из главных событий года в мире облачных технологий. И в этой статье мы хотели бы поделиться финальной порцией анонсов. Очень много интересных новостей, начиная со снижения цен на хранилище S3, запуска EC2 на базе M1, расширения сетевых возможностей, заканчивая множеством новинок и для разработчиков. Можно не только почитать, но и подключиться к стриму, где архитекторы из AWS обсудят эти новинки и ответят на ваши вопросы. Регистрация здесь

Читать далее

AWS re:Invent 2021. Keynotes — AI/ML

Время на прочтение11 мин
Охват и читатели2.2K

Продолжаем делиться последними анонсами с AWS re:Invent 2021. Смело можно назвать третий день re:Invent днем машинного обучения и баз данных, внушительный список обновлений и новых релизов разберем в этой статье.

Читать далее

AWS re:Invent 2021. Keynotes

Время на прочтение14 мин
Охват и читатели2.5K

2021 год для Amazon Web Services является юбилейным по многим поводам: 15 лет с запуска первых сервисов, а сам re:Invent проходит уже 10-й раз! Второй день обучающей конференции подошел к концу, и в этой статье мы собрали самое важное за прошедшие дни.

По традиции лучшие solution архитекторы Amazon Web Services будут обсуждать все значимые анонсы re:Invent на русском языке в режиме лайф twitch на своем youtube канале. Регистрируйтесь, подключайтесь и задавайте ваши вопросы!

Читать далее

AWS ECS scheduled task using terraform

Время на прочтение2 мин
Охват и читатели2K

Всем привет.

Не так давно AWS добавил новую возможность запускать scheduled task, что как по мне, является весьма удобной фичей для некоторых выполнения некоторых задач. К сожаления, пока (надеюсь только пока) HashiCorp не добавила возможность управлять ними как ресурсом в terraform. Но есть способ как обойти эту (надеюсь) временную неприятность набором доступных в AWS сервисов и дальше я расскажу как это сделал я.

aws ecs scheduled task using terraform

Настройка AWS SSO с AWS Client VPN

Время на прочтение7 мин
Охват и читатели6.1K

В этом туториале я описываю простую и безопасную настройку мультиаккаунтной инфраструктуры основанной на AWS, включая SSO и решение для VPN от Amazon.

Читать далее

Вклад авторов