Облачные вычисления *

Меня зовут Петр Зайцев, я генеральный директор, основатель Percona и хочу рассказать:

• как мы от open source-решений пришли к Database as a Service;
• какие существуют подходы к развертыванию баз данных в облаке;
• как Kubernetes может заменить DBaaS, устранив зависимость от вендора и сохранив простоту СУБД как сервиса.

Статья подготовлена на основе доклада на @Databases Meetup by Mail.ru Cloud Solutions & Tarantool. Если не хотите читать, можно посмотреть:

Рост вычислительных мощностей и развитие технологий виртуализации платформы x86 с одной стороны, и распространение ИТ-аутсорсинга с другой стороны привели к концепции utility computing (ИТ как коммунальная услуга). Почему бы не платить за ИТ так же, как за воду или электричество – ровно столько и ровно тогда, когда это нужно, и не более.

В этот момент и появилась концепция облачных вычислений – потребление ИТ услуг из «облака», т.е. из некоего внешнего пула ресурсов, не заботясь о том, как и откуда берутся эти ресурсы. Так же, как мы не заботимся об инфраструктуре насосных станций водоканала. К этому моменту была проработана и другая сторона концепции – а именно понятие ИТ-услуг и как ими управлять в рамках ITIL / ITSM.

Был разработан целый ряд определений облаков (облачных вычислений), но при этом не следует относиться к ним как к истине в последней инстанции – это лишь способ формализовать способы предоставления utility computing.

• «Облачные вычисления – это технология распределенной обработки данных, в которой компьютерные ресурсы и мощности предоставляются пользователю как Интернет-сервис» Википедия
• «Облачные вычисления представляют собой модель для обеспечения удобного сетевого доступа к общему пулу настраиваемых вычислительных ресурсов (например, сетей, серверов, систем хранения данных, приложений и услуг) по требованию, которые можно быстро выделить и предоставить с минимальными управленческими усилиями или минимальным вмешательством со стороны поставщика услуг» NIST
• «Облачные вычисления – это парадигма обеспечения сетевого доступа к масштабируемому и гибкому пулу распределяемых физических или виртуальных ресурсов, предоставляемых в режиме самообслуживания и администрируемых по требованию» ISO/IEC 17788:2014. Information technology — Cloud computing — Overview and vocabulary.

Поскольку Cloud4Y — корпоративный облачный провайдер, то и проекты у нас обычно крупные и сложные. Иногда затягивающиеся на длительный период из-за бюрократических проволочек и множества согласований. А ещё про многое рассказывать нельзя, чтобы не нарушать коммерческую тайну и NDA. Хотя историй (смешных и не очень) случается превеликое множество.

Сегодня мы расскажем вам об одном интересном проекте, который не так давно был успешно завершён. Все острые детали, позволяющие идентифицировать клиента, были вычеркнуты бдительными юристами и сотрудниками СБ. Но даже это не особо навредило самой истории.

Наконец-то, я получил сертификат AWS Solution Architect Associate и хочу поделиться мыслями о подготовке и сдаче самого экзамена.

Что такое AWS

Для начала пару слов о AWS – Amazon Web Services. AWS – это то самое облако в штанах, которое может предложить, наверное, почти всё что используется в мире IT. Хочется хранить терабайтные архивы, вот вам Simple Storage Service он же S3. Нужен балансировщик нагрузки и виртуальные машины в разных регионах, держите Elastic Load Balancer и EC2. Контейнеры, Kubernetes, бeccерверные вычисления, называйте, что хочется – нате!

     «Любишь Hyper-V – люби и PowerShell»
     Первое правило Сообщества Hyper-V в Телеграм 

     «А если любишь VMware ESXi, то люби PowerShell на пару с ESXi CLI и REST API»
     Дополнено мной

Живая миграция (live migration) – популярная функция в Hyper-V. Она позволяет переносить работающие виртуальные машины без видимого простоя. В сети много инструкций по переносу ВМ, но многие из них устарели. Вдобавок не все заглядывают в расширенные настройки и правильно используют возможности Live Migration. 

Я собрал нюансы и неочевидные параметры для быстрого переноса ВМ внутри кластера и между кластерами. Заодно поделюсь маленькими секретами в настройке и проектировании. Надеюсь, статья будет полезна начинающим админам.  

Дисклеймер: Все описанные шаги желательно сделать ДО ввода сервера Hyper-V в прод. Hyper-V никогда не прощает ошибок проектирования и подведет вас при первом удобном случае. То есть уже на следующий день.

В этой части мы перестаём говорить о простом и приятном и начинаем говорить о трудном. Переменные в Ansible: scope, precedence, рекурсивная интерполяция. Для тех, кто дочитает до конца, маленький бонус: упрощённая таблица приоритетов, с которой можно жить. Предыдущие части: 1, 2.

Обычно рассказ про переменные в Ансибл начинают с чего-то очень простенького, что создаёт у читателя иллюзию, что переменные в Ансибл — это как в любом другом языке программирования. Мутабельные или немутабельные, локальные и глобальные. Это не так.

Это не так.

У Ансибла возникла уникальная модель переменных (модель памяти?), которую надо учить с нуля. И рассматривать мы её начнём с того места, где значения используются (обычно переменные Ансибла рассматривают с того места, откуда они появляются). Почему? Потому что при рассказе в этом направлении у нас образуется направленный граф, который куда легче уложить в голову.

Обратите внимание — я сказал "значения", потому что "переменные" — это всего лишь имена к значениям. У переменных свой глубокий внутренний мир, и про него во второй части.

Мы 11 лет управляем ИТ-инфраструктурой клиентов разного калибра, от крупных компаний до стартапов. Опробовали и разные модели работы в формате time and materials, когда оплачивается не результат, а время исполнителя. Все эти модели, скажем так, неполноценны.

Подход бархатной перчатки срабатывал у Microsoft каждый раз. Уже более 30 лет Microsoft-Люси утягивает мяч от разработчика Чарли Брауна. И контроль над GitHub мне абсолютно ясен. Но использовать Ната [Nat Friedman, GH CEO] в роли приманки, по-моему, чересчур.[1]​

За Microsoft стоит удачная история овладевания и контроля над компьютерной платформой — с целью контроля над сферой разработки ПО. Та поддержка, которую они оказывали разработчикам на заре Windows, была легендарна. И реальна. Дело в том, что пока люди скучковывались в сообщество разработчиков Windows, изобретая попутно совсем новые категории программ, они и понятия не имели, что все их перспективы и с ними связанные мечты на самом деле принадлежали Microsoft. Конечно, поддержка и маркетинговая помощь от Microsoft были потрясающими. Но оглядываясь назад, мы были идиотами. Точнее, я — идиот №0055.

Я продолжаю выразительно пересказывать документацию Ансибла и разбирать последствия её незнания (ссылка на предыдущую часть).

В этой части мы обсуждаем инвентори. Я обещал ещё и переменные, но инвентори оказалась большой темой, так что посвящаем ей отдельную статью.

Мы будем разбирать каждый элемент инвентори (кроме host_group_vars plugin) и обсуждать зачем он, как его использовать правильно, и как неправильно.

Оглавление:

• Что такое хост? (и немного про транспорты)
• Доступ IP vs FQDN; inventory_hostname vs ansible_host
• ansible_user — писать или не писать?
• Группы
• Переменные: в инвентори или в плейбуку?
• Классификация инвентори по происхождению.

Облачный гейминг, он же игровой стриминг — это возможность играть в видеоигры через удаленное соединение.

Вместо того, чтобы собирать мощный компьютер для запуска новейшей игры с наивысшей производительностью и обновлять его каждые несколько лет, вы можете просто использовать чужое оборудование по ежемесячной подписке. Игра будет запускаться удаленно, вход с вашего локального контроллера будет отправляться в центр обработки данных, а затем дисплей с удаленного сервера вернется обратно вашему компьютеру.

По сути, вам понадобится только устройство, способное воспроизводить видеопоток. Легко настроить, легко играть, не о чем беспокоиться — кроме разве что интернет-соединения.

Здесь мы поговорим о двух сервисах стриминга игр, наиболее часто находящихся на слуху, — это NVIDIA GeForce NOW и Google Stadia. Вкратце обсудим их требования, архитектуру, производительность и, как итог, упомянем про будущее.

Сразу заметим, что речь пойдет о работе стриминговых сервисов (и, в частности, релевантности результатов тестов) для США, где проживает автор оригинального текста. Эта информация может дать представление о состоянии стриминговых сервисов на основных для них рынках, но не отображает текущую картину в России. У нас GeForce NOW (GFN.ru) запущен через партнеров, а Stadia официально не поддерживается. Если вас интересуют исследования локальных стриминговых сервисов — напишите об этом в комментариях, и, если мы увидим интерес, обязательно рассмотрим и этот аспект.

Я делаю много ревью для чужого кода на Ансибл и много пишу сам. В ходе анализа ошибок (как чужих, так и своих), а так же некоторого количества собеседований, я понял основную ошибку, которую допускают пользователи Ансибла — они лезут в сложное, не освоив базового.

Для исправления этой вселенской несправедливости я решил написать введение в Ансибл для тех, кто его уже знает. Предупреждаю, это не пересказ манов, это лонгрид в котором много букв и нет картинок.

Ожидаемый уровень читателя — уже написано несколько тысяч строк ямла, уже что-то в продакшене, но "как-то всё криво".

Не только на мировом, но и на российском рынке можно заметить волну интереса к технологиям сервисных сеток, или service mesh. Ниже под катом мы разберемся, какие задачи эта технология решает, как она развивалась, а также с какими вопросами сталкиваются корпорации при адаптации Istio у себя в ИТ-инфраструктуре.

Всем привет! В рамках курсовой работы я занимался исследованиями возможностей такой отечественной облачной платформы, как Яндекс.Облако. Платформа предлагает различные сервисы для решения практических задач. Однако иногда бывает нужно на основе этих сервисов настроить своё облачное приложение с достаточно развесистой инфраструктурой. В этой статье я хочу поделиться опытом развёртки такого приложения.

На днях в Нидерландах прошло «Евровидение» для нейросетей. Первое место отдали песне, созданной на основе звуков коал. Но, как это часто бывает, всеобщее внимание приковал к себе не победитель, а исполнитель, занявший третье место. Команда Can AI Kick It представила песню Abbus, которая буквально пронизана анархистскими, революционными идеями. Почему так вышло, при чём тут Reddit и кто позвал юристов, рассказывает Cloud4Y.

Всем привет! Мы уже тоже подустали от вебинаров, их количество за последние пару месяцев перевалило все возможные границы. Поэтому для хабра стараемся подбирать для вас самые интересные и полезные).

На начало июня (надеемся, лето все-таки наступит) мы запланировали несколько практических сессий, которые, уверены, будут интересны разработчикам. Во-первых — расскажем про serverless и новейший сверхбыстрый quarkus (как вам, например, 14мс холодного старта?), во-вторых — Альберт Халиулов расскажет про особенности облачной разработки на Jakarta EE, Microprofile и Docker (каждому участнику выдадим готовую виртуалку для практикума). Ну и наконец 9 июня Валерий Корниенко расскажет как можно развернуть свой OpenShift в IBM Cloud за пару минут. Интересно? Если да — детали под катом.

Если чему 2020-й и научил нас, так это тому, что мир может измениться в одно мгновение. На протяжении нескольких месяцев мы наблюдали за тем, как в работе каждой индустрии в мире появляются сбои. Заводы застыли, отели пустуют, а транспортные артерии, соединяющие всех нас, умолкли. В эти беспрецедентные времена компаниям и организациям приходится работать в условиях внезапных изменений, а это требует от них выхода на новый уровень гибкости.

Для того чтобы достичь этой гибкости, нужно непрерывно получать актуальную аналитику на основе постоянно меняющихся данных. Мы твердо нацелены на то, чтобы дать нашим пользователям возможность получать аналитику через Azure безопасно и эффективно. Когда мы представили Azure Synapse Analytics в прошлом ноябре, то фактически устранили барьеры между хранением корпоративных данных и аналитикой больших данных. Это позволило профессионалам в области данных сотрудничать друг с другом, а также создавать собственные решения для аналитики и с легкостью ими управлять. Azure Synapse Analytics – веха в индустрии, и мы с большой радостью наблюдали за высоким интересом клиентов к сервису с момента его дебюта в минувшем ноябре.

Но мы на этом не остановились. Подробности под катом.

26 мая приглашаем вас на онлайн-мероприятие "Azure для всех: вводный курс" — это отличная возможность всего за пару часов ознакомиться с возможностями облачных технологий Microsoft в формате онлайн. Специалисты Microsoft помогут вам раскрыть весь потенциал облака, поделившись своими знаниями, предложив эксклюзивные идеи и практические занятия.



В ходе двухчасового вебинара вы узнаете про общие концепции облачных вычислений, типы облаков (публичное, частное и гибридное облако) и типы сервисов (инфраструктура как сервис (IaaS), платформа как сервис (PaaS) и программное обеспечение как сервис (SaaS). Будут рассмотрены основные службы и решения Azure, касающиеся безопасности, конфиденциальности и соответствия регуляторным требованиям, а также способы оплаты и уровни поддержки, доступные в Azure.

Под катом вы найдете программу мероприятия.

Курс рассчитан на широкий круг специалистов.

По данным Statista, к 2025 году объём рынка big data вырастет до 175 зетабайт против 41 в  2019 (график). Чтобы получить работу в этой сфере, нужно понимать, как работать с большими данными, хранящимися в облаке. Cloud4Y подготовил список из 12 платных и бесплатных курсов по инжинирингу данных, которые расширят ваши знания в этой сфере и могут стать хорошей отправной точкой на пути к облачным сертификациям.

Во многих компаниях стоит задача быстрого развертывания кластеров Kubernetes. Хорошо, когда создание кластера происходит автоматически. Но ещё лучше, когда пользователь, например, разработчик может создать кластер и потом управлять им «по кнопке», не привлекая для этого devops’ов. В своей облачной лаборатории мы посмотрели, как с созданием кластера Kubernetes справляется платформа управления гибридным облаком Morpheus: автоматизировали развертывание и оценили возможности управления и масштабирования кластера.

Привет, меня зовут Дмитрий Краснов. Уже более пяти лет я занимаюсь администрированием кластеров Kubernetes и построением сложных микросервисных архитектур. В начале этого года мы запустили сервис по управлению кластерами Kubernetes на базе Containerum. Пользуясь поводом расскажу, что представляет собой этот самый Kubernetes и чем интеграция с вендором отличается от open source.

Для начала, что такое Kubernetes. Это система для управления контейнерами на большом количестве хостов. С греческого, кстати, переводится как «пилот» или «рулевой». Изначально разработана Google, после чего в качестве технологического вклада передана Cloud Native Computing Foundation, международной некоммерческой организации, которая объединяет ведущих мировых разработчиков, конечных пользователей и поставщиков контейнерных технологий.