Многие из вас слышали про мировой успех облачных компаний и таких компаний как Amazon Web Services, Microsoft Azure и Google Cloud Platform. Сейчас мы видим, как отечественное облако активно развивается – Яндекс Облака, Mail.ru облако и Сбербанк тоже работает в этом направлении.
Лично у меня нет опыта работы с отечественным облаками и пока они еще достаточно молодые, но, я очень надеюсь, что они справятся с задачей и у нас появятся конкурентно способные облачные провайдеры.
Сам я занимаюсь задачами аналитики и инжиниринга данных, то есть работаю с buzz words – Big Data, Data Platform, Lakehouse, Data Lake, Data Science, Machine Learning (ML), AI и т. п., в крупных международных компаниях – Amazon, Microsoft, Xbox. Про все эти дела я уже 3 года успешно пишу в своем телеграмм канале Инжиниринг Данных, где уже больше 10 тысяч подписчиков.
Я работаю с облаками с 2014 года, с 2016 по 2020 в Амазоне (почти 5 лет), где принимал участие в знаменитом проекте Rolling Stone по миграции on-premise инфраструктуры для аналитики в облако AWS.
И далее в других командах создавал облачную дата платформу, теперь это называется data products для Business Intelligence и Machine Learning.
В Амазоне я проходил много тренингов по AWS и сдавал их экзамены, то есть все время был в «облачной» среде. Потом я перешел в Microsoft Gaming, и стал делать похожие вещи на Microsoft Azure. И продолжаю делать, теперь я могу рассказать, как строить платформу аналитику для ААА игры, это значит уровень блокбастера, игры, которые создается годами и имеет многомилионный бюджет.
Но работать с Azure, я начал намного раньше, когда создавал консалтинг компанию Rock Your Data в Канаде с целью делать «rolling stone» проекты для компаний в Северной Америке. В 2017–2018 году идея миграции в облака не была такой популярной как сейчас. Идея была правильная, но имплементация плохая, я подробно рассказал об этом в статье – «Опыт создания аналитической консалтинг-компании в Северной Америке (не очень успешный)»
Уже в то время я параллельно изучал Microsoft Azure, чтобы сдать экзамены и получить статус партнера. Все было достаточно просто после опыта в AWS.
Другая моя активность связана с Университетом Виктории в Британской Колумбии.
У них я читал лекции по облачным вычислениям для бизнес студентов (MBA) программы. Вообще история забавная. Сколько я жил в Канаде, я все время хотел преподавать в университете, чтобы сделать буст карьере. Я писал профессорам, факультетам, но реакции ноль. Это реально история не про опыт, а про связи. Важно знать кого-то, кто тебя порекомендует нужному человеку.
Один раз ходил на собеседование на курс по визуализации данных и аналитике, то, что нужно. Но мне отказали, зато предложили учить облачным вычислениям, ну облачные, так облачные. Я обычно не теряюсь в непонятных ситуациях, заодно походу разберусь, подумал я.
Сразу поделюсь вам хорошими книгами по этой тематике, которые я использовал. Само собой, я использовал все доступные обучающие ресурсы в Амазоне – внешние и внутренние. Я знал, как рассказать про облака понятно за пару уроков, но чтобы разбить программу на 12 уроков по 4 часа, это пришлось подумать и покопаться.
Содержание программы:
Week 1: Cloud Computing overview and essential cloud technologies.
Week 2: Cloud concepts and business benefits
Week 3: Cloud security fundamentals
Week 4: Cloud Architectures and Cloud Migration
Week 5: Modern Analytics - BI, Big Data and AI
Week 6: Cloud Career paths and professional certifications
Другой моей задачей было рассказать так, чтобы сильно не привязываться к конкретному вендору. В целом получилось неплохо. Я донес до людей значение Cloud Computing и различные аспекты использования облачных сервисы и многое другое.
Вот кстати лучшие книги, которые я нашел по теме, и которые использовал активно:
Architecting the Cloud: Design Decisions for Cloud Computing Service Models (SaaS, PaaS, and IaaS) – хорошая книга, много интересных примеров.
Cloud Computing: Concepts, Technology & Architecture – это прямо реально учебник, где много рассказывается про устройство дата центра и оборудования.
Ну конечно стоит поблагодарить Амазон за оплату книг, этих, и еще штук 20-30 других по моей тематике?
Таким образом у меня есть курс и контент на английском. И при этом я активно развиваю сообщество аналитики и совершенно бесплатно учу людей профессиям аналитики с целью дальнейшего трудоустройства и весьма эффективно – проект называет datalearn.ru. На сайт за год зарегистрировалось больше 4000 студентов. Многие пришли от других платных школ, не буду называть их название, но таких много, кто зарабатывает деньги продавая buzz words. Моя цель закрепить мой опыт и своего образа paying back my home country. Это мой персональный challenge и я его закончу.
Секрет трудоустройства прост – нужно после обучения провалить 20-30 собеседований и будет вам счастье=) Свой подход по поиску работы и развитию карьеры я давно описал в другой статье - Amazon, Microsoft, Facebook, Tesla, Lyft — история поиска работы мечты, или «Вредные» советы для карьерного развития. Статья была противоречивая, кто-то называл меня обманщиком и бездельником, кто-то говорил, что спустя многие года тяжелого труда пришел к таким же умозаключениям.
Согласной моей программе в течение первых 4х модулей я рассказываю базовые вещи из мира аналитики, которые не сильно изменились за 10 лет. Модуль 5 был посвящен облачным вычислениям, потому что:
1) Во-первых, в мире практически все компании используют облачные решения и уже знание основ AWS, Azure, GCP это почти как базовое знание Excel в описании вакансии. Про это уже могут даже не писать.
2) Во-вторых, в РФ ситуация обратная, так как по закону у нас нет дата центров AWS, Azure, GCP и использовать облачные вычисления не безопасно. Все помнят, как глушили IP AWS, когда попытались заблокировать телеграмм. Я сам пострадал, так как у меня был интернет-магазин на AWS для тещи. И следовать наши специалисты не имеет тех возможностей, которые умеют западные специалисты. Поэтому я хотел закрыть этот пробел.
3) В-третьих, многие ИТ специалисты хотят попробовать поработать за границей или получать удаленный проект. В обоих случаях нужно знать облачные технологии. Про своей опыт переезда в Канаду я тоже описал в статье - Поиск работы за границей и иммиграция в Канаду. И этот вариант все еще рабочий (провинциальная программа).
Таким образом, я собрался силами и записал курс, и, как мне кажется, он получился очень интересным. Я его добавил, как модуль 5 – «Введение в облачные вычисления» в свой курс на Data Learn. Но постарался его сделать максимально независимым, чтобы люди, кому не нужна аналитика, могли понять, что такое облачные вычисления, как они используются в мире.
Я хотел добавить курс бесплатно на STEPIK, но там куча ограничений по размеру видео и оформлению, поэтому добавлю сюда.
Давайте я вкратце расскажу про что программа и что в нее включено. Чтобы вы сразу могли получить весь контент. При условии, если вы хотите делать лабораторные работы, лучше зарегистрироваться и получить доступ ко всем контенту. Все бесплатно и лежит в открытом доступе.
1. Введение в Облачные Вычисления
В этом модуле мы узнаем про облачные вычисления, или просто cloud computing. Мы начнем с основ, и поговорим и главных вендорах и их решениях. Я расскажу про свой опыт с облачными решениями и постараюсь вас научить их использовать и дать достаточно знаний для того, чтобы вы могли понимать, что это такое, и как это используется, а так же применять в работе.
В этом видео вы узнаете про:
Основные вендоры облачных решений AWS, Microsoft Azure и Google Cloud
Типы облачных сервисов и их примеры (Cloud Service Models)
Модели облачных решений (Cloud Model Types)
Безопасность облачных решений и Shared Responsibility Model
Научитесь создавать виртуальную машину и подключаться к ней через SSH
Настраивать сеть для безопасного доступ (Networking)
Попробуете различные облачные сервисы
Примеры профессий, сертификации от вендоров и тренинги
Введение в курс - https://youtu.be/INmUJWobAAU
2. Введение в Облачные вычисления (Cloud Computing)?
В 2020 году и в 1-м квартале 2021 года западные вендоры (AWS, Azure, GCP) показали рекордные доходы. "Облако" используется повсеместно в западных странах и становится все популярней и востребовании. Прежде чем мы начнем использовать "облако" для аналитических задач, мы должны познакомиться с основами облачных вычислений.
В этом видео вы узнаете про:
Несколько кейсов из прошлого
История зарождения облачных вычислений и идеи utility computing
Ключевые бизнес драйверы и риски
Определения, терминология и характеристики облачных вычислений
Основные компоненты облачных вычислений и датаценров
Видео лекция - Введение в Облачные вычисления
Дополнительные материалы для изучения:
What is AWS? (Video English)
AWS vs Azure vs GCP (Video English)
Inside a Google data center (Video English)
Stephen Fry explains cloud computing (Video English)
NIST Definition of the Cloud Computing (English)
5 Real World Examples of Cloud Computing (English)
Top 10 use cases for cloud computing (English)
What is virtualization and how it works (English)
Flexera 2020 State of the Cloud Report (English)
3. Концепции и модели облачных вычислений
Согласно National Institute of Standards and Technology (NIST) можно выделить несколько типов облачных сервис моделей и тип самого облако.
В этом видео вы узнаете про:
Облачные Сервис Модели IaaS, Paas, Saas
Cloud Stack
Cloud Deployments Models - Public, Private, Hybrid и Community
Рост популярности облачных вычисления
Рост доли рынка основных вендоров
Видео лекция - Концепции и модели облачных вычислений
Дополнительные материалы для изучения:
NIST Definition of the service and deployment models (English)
AWS: Type of cloud computing (English)
Azure: Cloud service models (English)
Azure: Cloud service models (Video English)
McAffe Cloud Adoption and Risk Report (English)
4. Основы безопасности облачных решений
Безопасность одна из самых важных и скучных тем, по крайней мере для меня. Очень важно понимать возможности облачных провайдеров и знать основные правила создания облачных решений.
В этом видео вы узнаете про:
Cloud Shared Responsibility Model (Модель общей ответственности в облаке)
Security Terms (Термины безопасности)
Cloud Security Threats (Облачные угрозы безопасности)
Cloud Security Mechanisms
Видео лекция - Основы безопасности облачных решений
Дополнительные материалы для изучения
AWS Shared Responsibility Model (English)
Security services and technologies available on Azure (English)
What is AWS CLI (English)
Laws and Regulations Governing the Cloud Computing Environment
5. Данные в облаке
Данные повсюду и облака не исключение. Облачные решения могут создавать или использовать данные для различных целей, например аналитика, IoT, мобильные приложения, бизнес-приложения и многое другое. Все данные, которые находятся в "нашем" облаке - являются нашей собственностью, и мы несем за них ответственность и должны соблюдать законодательство и все регламенты.
В этом видео вы узнаете про:
Характеристики данных
Соответствие с законами
Тип хранения данных
Данные в России
Персональные Данные (PII)
Как работать с персональными данными в облаке по закону
AWS и Azure решения для Compliances
Видео лекция - Данные в облаке
Дополнительные материалы для изучения:
Introduction to AWS Security (English)
AWS Artifact (English)
Azure compliance (English)
Trust your cloud (English)
Защита персональных данных в облаке: что нужно знать по 152-ФЗ (Русский)
Модуль 5.6 Архитектура облачных решений
Прежде чем строить дом, нам нужно нарисовать архитектуру дома и сделать много других подготовительных работ. То же самое и в облаке и ИТ решениях. А если мы еще вспомним про принципы Амазон и их подход к созданию новых продуктов - Working Backwards, то самый первый шаг в создании решения мы начнем с потребностей клиента и бизнеса, напишем press releases, ответим на все возможные вопросы в FAQ и создадим visuals, включая диаграмму/архитектуру нашего будущего решения или продукта.
В этом видео вы узнаете про:
Что такое архитектура
Amazon Working Backwards и Press Releases
Enterprise Architecture Frameworks
TOGAF и Zachman frameworks
AWS и Azure blueprint решения и шаблоны
The 5 Pillars of the AWS Well-Architected Framework
Примеры AWS решений
Диаграммы и архитектуры аналитических решений
Видео лекция - теория - Данные в облаке
Дополнительные материалы для изучения:
AWS Well-Architected (English)
AWS Solutions Implementations (English)
7. Миграция в облако
Окей, облако это хорошо, но что делать, если существующее решение существует on-premise? Ответ прост - мигрировать. Но как? Облачные вендоры максимально решили нам помочь и предоставили огромное количество сервисов, которые упростят нашу жизнь.
В этом видео вы узнаете про:
Стратегии миграции в облако
Примеры миграции базы данных и аналитического решения
AWS Schema Conversion Tool
AWS Database Migration Service
Azure Migration Services
Видео лекция - теория - Миграция в облако
Дополнительные материалы для изучения:
8. Аналитические решения в облаке
Облачные вычисления дают нам много преимуществ, и аналитика не исключение. Мы можем сфокусироваться на решение бизнес-задач и не тратить время на создание инфраструктуры. В зависимости от задачи и доступных ресурсов мы можем использовать IaaS, PaaS или SaaS. Пару кликов и у вас есть хранилище данных, куда вы можете загружать данные и сразу их визуализировать практически в реальном времени. Если кратко, то возможности безграничны и зависят лишь от вашей фантазии и кошелька.
В этом видео вы узнаете про:
Основные компоненты аналитики
Роли и специалисты
AWS решения для аналитики
Azure решения для аналитики
GCP решения для аналитики
Видео лекция - теория - Миграция в облако
Дополнительные материалы для изучения:
9. Профессии и сертификация в облачных вычисления
AWS, Azure и GCP предлагают нам сертификацию на любой вкус и цвет. Есть для начинающих и продвинутых. Помимо основной сертификации есть еще специализация в аналитике, сетях, безопасности и тд.
В этом видео вы узнаете про:
Сертификации и специализации в AWS, Azure, GCP
Материалы подготовки
Нужна ли сертификация или нет?
Обзор облачных профессий на HeadHunter и Indeed
Видео лекция - теория - Миграция в облако
Обзор облачных вакансий - Вакансии с облачными технологиями
10. Python в Облаке
Python является самым популярным языком программирования и используются абсолютно для любых задач. В будующих модулях datalearn 07. Spark, 08. Big Data и 09. Data Lake мы начнем использовать Python для аналитики, трансформации и инжиниринга данных, поэтому мы решили вв конце модуля про облачные вычисления провести Workshop по Python на AWS. Из которого вы на парктики узнаете основы работы с Python.
Это очень интеренсый workshop на котором вы будет использовать облачную IDE AWS Cloud9, и с помощью языка Python будет обращаться к API AWS Translate сервиса, который делает перевод.
Видео - Python в Облаке
Дополнительные материалы для изучения:
Позавершения курса вы можете:
