Как стать автором
Обновить
При поддержке
9.46

Разработка публичных облаков *

Про публичные облака на языке их создателей

Сначала показывать
Порог рейтинга
Уровень сложности

DHCP-сервер облачной сети MWS. Как мы одинаковые адреса на разные виртуалки раздаём

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров2K

Привет! При построении overlay-сети облака MWS мы столкнулись с задачей: автоматически раздавать сетевые настройки виртуальным машинам на основе VRF — с полной изоляцией и без конфликтов.

Меня зовут Никита Усатов, я занимаюсь разработкой сервисов облачной сети MWS. В этой статье расскажу, как устроена наша сеть, зачем понадобился DHCP-сервер с поддержкой VRF, как через VPP реализован DHCP Proxy с Option 82, и какие изменения мы внесли в CoreDHCP. Покажу, как передаются настройки от Control Plane к Data Plane, и как CoreDHCP отслеживает конфигурации без перезапуска. В конце — реальные кейсы отладки и мониторинга.

Читать далее

Новости

Опыт внедрения Multus CNI в MWS

Уровень сложностиСредний
Время на прочтение20 мин
Количество просмотров643

Привет, Хабр! Меня зовут Глеб Когтев, я руководитель команды VPC Host Components, которая занимается разработкой виртуальной облачной сети в облаке MWS (IaaS). C этой статьёй мне помогал Юрий Кондратов — SRE в команде Kubernetes Operations, Research & Engineering (KORE). 

Сегодня поговорим об устройстве сети в Kubernetes-кластере, немного о нашем подходе к обеспечению связности сервисов и чем нам был полезен Multus CNI. Статья будет полезна тем, кто использует Kubernetes в своих задачах и хочет разобраться в устройстве сети, а ещё во взаимодействии компонентов K8s с контейнерами.

Читать далее

Почему мы делаем собственное объектное хранилище в MWS

Уровень сложностиСредний
Время на прочтение15 мин
Количество просмотров1.4K

Привет! Меня зовут Алексей Баранов, я руковожу направлением Data Storage Systems в облаке MWS. Мы начинаем серию статей, в которой расскажем, как устроены наши системы хранения, почему мы их делаем так и почему именно такие.

В этой статье расскажу, как мы подошли к выбору технологий для object storage новой облачной платформы. Обсудим плюсы и минусы популярных на рынке решений вроде Ceph RGW, какие требования мы предъявляли к системе, и какая архитектура в итоге получилась.

Читать далее

Как мы делаем IAM для облака MWS. От пользователей и до сервисных агентов

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров1.2K

Привет! Меня зовут Игорь Михалюк, я Tech Lead команды IAM в MWS. Сегодня поговорим, как мы делаем Identity and Access Management, или IAM, в облаке MWS.

Расскажу, как мы решили разграничивать доступ в облаке, а ещё о сложных случаях ограничения радиуса атаки на ресурсы наших клиентов. За время разработки мы столкнулись со множеством трудных решений, компромиссов, о которых тоже поделюсь в этой статье.

Читать далее

Покоряем сетевой стек Linux: декапсулируем пакеты с помощью eBPF на скорости 6Mpps+

Время на прочтение15 мин
Количество просмотров13K

Когда переход на VXLAN в облачных сетях грозил нарушить работу системы анализа трафика, нам нужно было найти решение, позволяющее сохранить точный сбор статистики при экстремальных нагрузках и измененной структуре заголовков пакетов. Я — Александр Шишебаров, старший разработчик в команде сетевых функций облака Selectel. Разрабатываю все, что связано с сетью: балансировщики, виртуальные роутеры, сети, глобальный роутер и так далее.

В этой статье рассказываю о том, как мы использовали eBPF для перехвата и декапсуляции VXLAN-пакетов прямо в ядре, обеспечив корректный сбор статистики без значительных изменений в архитектуре системы. Разберем, какие требования привели нас к этому решению, как его внедряли и каких результатов удалось достичь. Также расскажу, что такое eBPF, как работает технология, как начать с ней работать и на каких этапах сетевого стека Linux можно перехватывать пакеты с ее помощью. Подробности под катом!
Читать дальше →

Декларативный API, деревья поведений и реконсиляция: как мы в MWS строим сервис Compute

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров688

Приветствую всех! На связи Родион Цалкин, Tech Product IaaS в MWS. 

В этой статье расскажу, из каких решений на верхнем уровне состоит сердце MWS — сервис вычислительных ресурсов Compute — и как знания из разных областей помогают найти элегантные решения для возникающих проблем при его создании. Здесь не будет технического deep-dive’а (ждите в следующих статьях), поэтому статья будет интересна широкому кругу читателей.

Читать далее

Куб всему голова: строим внутреннюю Kubernetes-платформу на BareMetal в MWS

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров2.8K

Всем привет! Меня зовут Иван Гулаков, и последние несколько лет я занимаюсь построением и поддержкой платформы по предоставлению Kubernetes-кластеров для внутренних команд разработки в MWS. Эта статья — пересказ моего доклада с DevOps Conf 2024 о том, как мы наливаем железки и превращаем их в k8s-кластеры по всем канонам IaC.

За прошлый год наши подходы к наливке изменились. Тем не менее, это был важный шаг для становления нашей внутренней платформы Piñata.

Читать далее

Как мы работаем с реконсиляцией ресурсов в облаке MWS

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров1.3K

Привет! Я Сергей Самойлов — техлид направления слоя Control Plane для блочных устройств. В этой статье рассмотрим модель реконсиляции ресурсов в облаке на примере блочных устройств. Мы рассмотрим, что такое реконсиляция, когда она применяется и как это всё выглядит в MWS.

Читать далее

Тренды развития сетевой телеметрии и подход MWS к её внедрению

Уровень сложностиСредний
Время на прочтение17 мин
Количество просмотров963

Привет, я Борис Хасанов, и это заключительная часть цикла статей про сетевую телеметрию. В первой и второй частях рассказал про основы и базовые протоколы. Сегодня расскажу, как мы подошли к работе с телеметрией в облаке MWS и рассмотрю тренды развития сетевой телеметрии на ближайшее время.

Читать далее

Архитектура сетевой телеметрии: базовые компоненты и протоколы

Уровень сложностиСредний
Время на прочтение17 мин
Количество просмотров2.6K

Привет! Я — Борис Хасанов, ведущий сетевой архитектор в MWS, а это продолжение моей статьи о телеметрии, начало можно изучить здесь. В этой части разберём основы сетевой телеметрии, её виды, протоколы и модели.

Читать далее

OAM и основы сетевой телеметрии

Уровень сложностиСредний
Время на прочтение13 мин
Количество просмотров2.2K

Привет! Меня зовут Борис Хасанов — ведущий сетевой архитектор в MWS. Работаю с сетями уже много лет, а последнее время занимаюсь сетевой телеметрией. Она помогет мониторить состояние сети облака в моменте.

Это первая статья из цикла о трендах в развитии сетевой телеметрии и её имплементации в облаке MWS. Идея цикла появилась из моего несостоявшегося доклада на сетевой конференции «Яндекс nexthop 2024». Хочу поблагодарить Антона Корнелюка, Евгения Зобницева, коллег из MWS, а ещё коллег из IETF за идеи для этого цикла статей.

Сегодня расскажу о фреймворке ОАМ, его механизмах и протоколах и как он помогает следить за сетью. Итак — начинаем.

Читать далее

Автоматизировать управление инфраструктурой в облаке: почему мы решили разрабатывать свое решение

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров2K

Привет, Хабр! Меня зовут Захар Пикуль, я руковожу в СберТехе отделом сопровождения инфраструктуры тестовых сред. Созданием и внедрением ИТ‑решений в компаниях различного размера и уровня я занимаюсь уже более 15 лет.

Облачные решения стали неотъемлемой частью жизни современной компании. А с ростом числа виртуальных машин, развёрнутых в облаке, возникает всё больше ситуаций, которые требуют комплексного подхода к управлению. Мы планируем цикл статей, в которых поделимся нашими текущими и перспективными наработками по решению этих задач, основанными на нашем видении и накопленном практическом опыте автоматизации взаимодействия с облачной инфраструктурой.

Эта статья — вводная. В ней мы разберём вызовы, с которыми может столкнуться компания в процессе переезда в облако, и возможные способы их решения.

Читать далее

Безопасность CI/CD — базовая гигиена и реализация в разработке облака MWS

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров3.7K

Привет, Хабр! Меня зовут Алексей Федулаев, я руководитель направления Cloud Native Security в МТС Web Services. С этой статьёй мне помогал Андрей Моисеев — DevSecOps из моей команды, и Иван Орлов — Tech Lead из команды Development Platform. Сегодня мы поговорим об основах DevSecOps на примерах GitLab CI/CD. Расскажем о простых методах, которые помогут улучшить безопасность вашего сервиса или продукта.

Читать далее

Ближайшие события

Что нужно учесть на старте, чтобы сделать облако безопасным

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров2K

Привет! Я Виктор Бобыльков — CISO MWS. В этой статье расскажу, как обезопасить облако физически и инфраструктурно, как правильно использовать Red Teaming, чтобы натренировать Security Operation Center, и спасти клиентов от кибератак.

Читать далее

Изобретаем IAM для облака MWS: знакомство и ресурсная модель

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров1.6K

Мы с ребятами решили сделать облако. Не такое облако, которое «переносите свои файлы в облако», и даже не такое, которое «разверните сайт у нас на CMS, домен — в подарок». А то, что приходит в голову при использовании слова «гиперскейлер».

Я, Андрей Халиуллин, отвечаю за разработку сервиса IAM (Identity and Access Management) новой облачной платформы MWS. Поскольку мы хотим вести по возможности открытый диалог с рынком и комьюнити, в какой-то момент я получил задачу перестать писать IAM и начать писать статью про то, как мы пишем IAM. Мне есть что рассказать про исследование рынка облачных провайдеров, reverse engineering продуктовых и технологических решений, про технические вызовы в части надёжности, масштабируемости и обуздания продуктовой сложности сервисов и даже про попытки осознать «А что такое IAM?».

После нескольких подходов к этой статье мне удалось немного пройтись по поверхности темы управления ресурсами в облаке — и так статья превратилась в идею цикла статей о разработке IAM. 

Конкретно в этом тексте я сделаю некоторую подводку о том, зачем нужен IAM, и затем расскажу об уровнях ресурсной модели абстрактного облачного провайдера с комментариями, зачем каждый уровень нужен и что мы про это думаем в MWS. А дальше — следите за нашим хабом.

Читать далее

Проектирование облачной сети MWS: выбор технологий и решений

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров2.9K

Привет! Меня зовут Яков Жданов, я руковожу командой, которая разрабатывает облачную сеть и сетевые сервисы в MWS. Наша основная задача — обеспечить связность облачных ресурсов. Мы делаем так, чтобы виртуальные машины могли общаться друг с другом, выходить в интернет и принимать обратные соединения. В этой статье расскажу, какие подходы и решения мы выбрали для построения нашей сети.

Читать далее

Как мы строим публичное облако с нуля: опыт MWS

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров5.4K

Привет, Хабр! Меня зовут Данила Дюгуров, я CTO MWS. Сегодня расскажу, как наша команда создаёт облако MWS, и на его примере разберу ключевые концепции, которые лежат в основе построения облаков в целом: от аппаратного обеспечения и выбора сетевой архитектуры до организации работы в инфраструктурной команде. А ещё порассуждаю о том, что лучше для облачного провайдера — вендорский софт или OpenStack — и что в итоге выбрали мы. Спойлер: ни то ни другое.

Читать далее