Kubernetes *

Как автомасштабировать K8S в ноль — узнайте на IT-конференции GoCloud Tech 🔍

На прошлой неделе мы анонсировали IT-конференцию GoCloud Tech, а сегодня расскажем про один из докладов программы.

Автомасштабирование кластера Kubernetes и масштабирование подов помогают быстро расширить ресурсы при пиковых нагрузках. Но иногда проблема нехватки ресурсов кроется в неочевидном. Разберем, что делать, если триггер масштабирования кластера не утилизация, а события от внешних систем (например, очередь сообщений Kafka или платформа CI/CD). В прямом эфире запустим такое приложение вместе с классическими подходами автомасштабирования, а также масштабируем кластер по событиям с помощью KEDA (Kubernetes-based Event Driven Autoscaler).

Приходите послушать доклад и обсудить тему в неформальной обстановке.

🕚 Когда: 24 октября с 14:00 до 23:00

📍 Где: онлайн и офлайн в Москве в лофт-пространстве Goelro

👉 Зарегистрироваться на GoCloud Tech

Полезное в блоге:

• Что нового слышно о шине CXL: заметки с саммита по вычислениям, памяти и хранению данных

• Зачем нужна R&D-команда: взгляд разработчика

• Как объединить кластеры Kubernetes без даунтайма: пошаговая инструкция

«Эксплуатация и разработка в Kubernetes» — новый курс Яндекс Практикума

Мы запустили новый курс «Эксплуатация и разработка в Kubernetes», он поможет освоить и применить на практике технологии оркестрации контейнеров. С Kubernetes вы увеличите свою ценность на рынке труда, сможете обосновать повышение или найти место с более интересными проектами и привлекательной зарплатой.

Курс для специалистов с опытом: разработчиков, DevOps-инженеров и SRE. Чтобы начать обучение, вы должны знать основы программирования, Docker, Git, а ещё уметь работать в консоли и иметь базовые знания по Linux. 

Только актуальные и нужные знания: программу составляли инженеры и тимлиды, которые давно работают с Kubernetes. Благодаря этому, вы будете учиться только тому, что на самом деле пригодится в работе. 

Практика с первого дня обучения: вы будете много тренироваться на проектах, максимально похожих на реальные. Научитесь развёртывать приложения в Kubernetes, обеспечивать сетевое взаимодействие и безопасность, интегрироваться с CI/CD, настраивать мониторинг и логирование.

Поддержка комьюнити: с любыми трудностями поможет справиться команда сопровождения: наставники, ревьюеры, кураторы, техподдержка, а также сообщество однокурсников.

Курс рассчитан на 3 месяца, заниматься нужно ≈10 часов в неделю.

→ Узнать больше о курсе «Эксплуатация и разработка в Kubernetes»

Привет! Напоминаем, что до нашего митапа на тему «Уникальность работы с Kubernetes» осталось всего 10 дней. Делимся описанием докладов спикеров ✌️

18:30-19:00 | «Управление и мониторинг баз данных с помощью k8s» | Анатолий Тимченко — Team Lead DBA в Ситидрайве

– Анатолий  поделится кейсом внедрения средств мониторинга и управления СУБД (Postgres, Clickhouse, SQL Server) в инфраструктуру Ситидрайва с помощью helm и kubernetes.

19:10-19:40 | «Talos платформа для k8s в OKKO» | Алексей Романов — Lead of Kubernetes в OKKO.

– Алексей расскажет о внедрении платформы для kubernetes – Talos, а именно, зачем она в OKKO и какие нестандартные задачи можно решить при её внедрении.

20:10-20:40 | «Kubernetes: master внутри cluster-а» | Максим Залысин — Head of DevOps в Positive technologies

–В докладе Максим расскажет,  как пришёл к решению по запуску kube-apiserver, kube-controller-manager и kube-scheduler внутри Kubernetes кластера, а также в какой последовательности это делается и какую пользу приносит.

20:45-21:15 | «Переезд монолита с ВМ в k8s» | Александр Григоров — Заместитель технического директора по эксплуатации в Ситидрайве.

– Поговорим о том, что было в Ситидрайве до и о том, как нам удалось достичь цели, а также  какие изменения потребовались в инфраструктуре и в разработке.

Билетов на мероприятие всего 100. Участие бесплатное, но регистрация обязательна по ссылке – билет придёт вам на почту. Для входа в офис потребуется паспорт или водительское удостоверение.

Подборка вебинаров августа по ML 🗓

📌 22 августа, 16:00 

Как сократить расходы на инференс LLM? Кейс компании «Актион»

Вместе с коллегами из Compressa и «Актион» обсудим способы оптимизации open-source LLM-моделей на своем сервере и преимущества использования облака для инференса LLM. Сравним производительность LLM и стоимость токенов до и после оптимизации. Разберем кейс «Актион» и Compressa по обработке 100 000+ генераций в день всего на одной GPU-карте и узнаем, как удалось сократить расходы на инференс LLM.

Присоединиться онлайн →

📌 29 августа, 16:00 

Production ML: как настроить GPU-ноды в кластерах Kubernetes?

На практическом вебинаре покажем особенности работы с кластерами Kubernetes c GPU, настройку драйверов на GPU-нодах и масштабирование нагрузки в продакшене ML-сервисов. Обсудим практические кейсы использования GPU-нод в кластерах Kubernetes от клиентов Selectel.

Присоединиться онлайн →

19 сентября в московском офисе Ситидрайва пройдет очередной митап на тему «Уникальность работы с Kubernetes» – присоединяйся к нам!

Инженеры из команды Ситидрайва, OKKO и Positive Technologies расскажут об особенностях эксплуатации с использованием Kubernetes: только кейсы из практики и личный опыт. В завершение каждого доклада можно будет задать вопросы и пообщаться со спикерами в неформальной обстановке. А после мероприятия – подкрепиться закусками, погулять по офису и познакомиться друг с другом поближе.

Программа:

18:00-18:30 | Сбор в офисе Ситидрайва, знакомство и Welcome

18:30-19:00 | Доклад «Управление и мониторинг баз данных с помощью k8s»

Спикер: Анатолий Тимченко — Team Lead DBA в Ситидрайве.

19:10-19:40 | Доклад «Talos платформа для k8s в OKKO»

Спикер: Алексей Романов — Lead of Kubernetes в OKKO.

19:40-20:10 | Нетворкинг

20:10-20:40 | Доклад «Kubernetes: master внутри cluster-а»

Спикер: Максим Залысин — Head of DevOps в Positive technologies

20:45-21:15 | Доклад «Переезд монолита с ВМ в k8s»

Спикер: Александр Григоров — Заместитель технического директора по эксплуатации в Ситидрайве.

21:15-22:00 | Нетворкинг

Билетов на мероприятие всего 100. Участие бесплатное, но регистрация обязательна по ссылке – билет придёт вам на почту. Для входа в офис потребуется паспорт или водительское удостоверение.

Всем привет!

У нас есть два стула…Python и Go. Хоть немного зная один из этих языков, девопс может делать в Kubernetes разную магию.

Завтра встретимся с Виталием Лихачевым, SRE в Bооking.сom,ex-Avito Senior Software Engineer, на вебинаре, чтобы разобрать:

• Как использовать k8s как API, даже не зная его устройства? 
• Как создать при этом симбиоз между кодом и целым кластером?
• Как в k8s объединять бизнес-логику и инфраструктуру с помощью миллионов строк кода?

Всё это — на примерах Python и Go.

А ещё можно:

• Контролировать соответствие манифестов архитектуры стандартам — и при этом не ходить по репозиториям и не править манифесты руками 
• Подключать различные sidecar контейнеры для сбора логов и метрик —  и не мешать этим разработчикам
• Делать это всё на лету.

И мы постараемся показать, как. А уж на какой из стульев садиться — выбор за вами)

Дата и время — 21 августа, 19:00 мск 
Занять место на вебинаре — по ссылке.

Задайте вопрос по кубам архитекторам Southbridge

15 августа проведём бесплатную онлайн-консультацию вместе с архитекторами Southbridge и ответим на ваши вопросы по Kubernetes.

А чтобы эксперты смогли подготовиться и дать более подробные ответы — присылайте вопросы чуть заранее в бота консультации 😉

О Southbridge:

Компания Southbridge c 2007 года создаёт и обслуживает средне- и высоконагруженные IT-инфраструктуры. Среди клиентов — VolkswagenGroupRus, Альфастрахование, Skillbox, Спортмастер и другие.

Отвечать на вопросы будут её архитекторы:

Сергей Бондарев. Специалист по внедрению Kubernetes. Один из разработчиков kubespray с правами на принятие pull request. Работал над всеми куб-проектами Southbridge.

И Николай Месропян. Реализовал проекты по созданию и рефакторингу решений с применением Ansible для компаний Фольксваген, Спортмастер и других.

Чтобы получить бесплатную консультацию от экспертов по Kubernetes:

▶️ Напишите свой вопрос боту
▶️ Приходите на вебинар 15 августа
▶️ Получите ответ и задайте любые уточняющие вопросы

Если у вас нет конкретных вопросов — приходите послушать других и обменяться опытом.

📌 15 августа в 18:00 мск
📌 Зарегистрироваться и задать вопрос — по ссылке.

В Облаке Рег.ру запустили KaaS-решение

Мы расширили линейку IaaS-, PaaS- и SaaS‑решений и запустили новое — Kubernetes as a Service (KaaS). 

Сегодня 30 % заказчиков облачной платформы Рег.ру предпочитают разрабатывать клиентские приложения на базе микросервисной инфраструктуры с применением технологии оркестрации контейнеров Kubernetes. 

Kubernetes считается наиболее популярным и удобным инструментом для управления контейнерами, хотя его самостоятельное развертывание занимает в среднем от нескольких часов до нескольких дней. Услуга Kubernetes as a Service поможет сократить этот этап до 5–10 минут и снизить количество рутинных процессов при обслуживании ИТ-инфраструктуры. 

В рамках KaaS можно создать несколько кластеров и учесть различные конфигурации. Для каждого кластера доступен выбор типа: распределенного или нераспределенного. В каждом из кластеров можно создать до десяти групп воркеров и выбрать подходящий тариф и объем. Первоначальная установка, настройка и круглосуточная техническая поддержка останется на стороне Рег.ру.

Кстати, сервис KaaS уже используется нашими разработчиками для решения корпоративных задач и показывает отличные результаты. 

Последние два дня распродажи!

До 31 июля на видеокурсы Слёрма из этого списка скидка 50%. А времени до сентября как раз хватит, чтобы прокачать свой стек.

До старта бизнес-сезона остался один месяц лета. Пока вам на голову не свалилось 500 новых проектов, можно успеть разобраться в новом инструменте, подходе или методике.

🔹 Доступ к видеоурокам сохранится на 2 года
🔹 Можно спланировать учёбу на год вперёд, купить дешевле и учиться в любое время
🔹 Рассрочка действует и на акционные цены

Выбирайте, чему учиться, и активируйте промокод LETO2024! Особенно, если давно откладывали :)

Кластеризация с использованием Etcd

Недавно на одном из проектов перед нами поставили задачу — разработать кластеризируемую систему для управления гипервизорами. Таким образом заказчик хотел сохранить высокую доступность и отказоустойчивость системы, а также обеспечить связность при работе в географически разнесенных Data-центрах. В итоге мы рассмотрели кучу вариантов, но остановились на Etdc.

Чтобы запустить кластер Etcd, нужно как минимум три узла. Число узлов всегда будет нечетным. Так мы обеспечиваем кворум. В различных гайдах и инструкциях рекомендуется использовать три или пять узлов, максимум — семь. Если сделать больше узлов, это снизит производительность, поскольку на сбор кворума будет уходить больше времени.

Поясню: у нас практически любая операция должна получить кворум от всех узлов, поэтому чем больше узлов — тем ниже скорость операции.

Чтобы обойти это, можно подключить так называемый Learner, то есть не голосующую ноду. Она, как и остальные, синхронизируется с кластером, но не голосует. Если одна нода у нас выбывает, Learner можно быстро включить.

Что касается кластера Etcd, разделенного между Data-центрами, то, если мы будем использовать два Data-центра, система не будет High Availability. В таком случае лучше использовать третий Data-центр, так называемую кворумную площадку. Это может быть любая виртуальная машина в третьем месте, вплоть до ноутбука системного администратора.

Об опыте работы с Etcd рассказываем в большой статье. Делитесь мнением в комментариях.

Всем привет!

Когда заходит речь о разделении обязанностей между разработчиками и DevOps инженерами, споры обычно возникают в двух моментах - манифесты k8s\Openshift и CI джобы - они же джобы сборки. Поговорим про первые.
Мое мнение - за манифесты k8s\Openshift должны отвечать разработчики. Почему? А вот почему:

1. liveness\readiness probes - только разработчики знают, по каким url они находятся. Конечно в мире Spring Boot и Actuator есть некая стандартизация, но не везде и не всегда. И не всегда actuator подходит для healthcheck, но это отдельная тема

2. liveness\readiness timeouts - разработчики точно знают сколько времени старт пода. DevOps-ы могут это время эмпирически определить, но это требует времени)

3. timeouts, circuit breaker, retry - опять же только разработчики могут сказать, реализовали они их на прикладном уровне или требуется настройка на уровне Service Mesh. Могут быть требования корпоративной архитектуры\сопровождения ПРОМ, их определяющие, но опять же не везде и не всегда.

4. куда пишутся логи, какие существуют метрики, где их можно взять. Снова можно повториться, что где-то это стандартизировано, где-то нет.

5. любые другие тонкие облачные настройки - переменные среды, значение параметров в ConfigMap, поддержка graceful shutdown .... Наверняка DevOps или сопровождение со всем этим разберется. Но будет ли это эффективно?

DevOps для начинающих: подборка материалов от команды Selectel

В подборку вошли материалы для углубления знаний и улучшения практических навыков в DevOps: книги, плейлисты, каналы и курсы.

Канал TechWorldwithNana. Здесь регулярно выходят инструкции, обзоры и небольшие курсы для актуальных DevOps-инструментов: Docker, Kubernetes, Terraform, Ansible, GitLab CI/CD, Argo CD.

Курс «Сети для самых маленьких». 16 модулей о сетях, их настройке и администрировании. Материалы расположены так, чтобы пользователь мог пошагово идти от основ к сложных тем. К примеру, BGP и MPLS.

Плейлист «Docker: глубокое погружение». Курс на YouTube-канале JavaScript.Ninja состоит из шести видео. Они направлены на изучение принципов работы Docker. В среднем уроки длятся 20 минут, поэтому вы сможете легко изучать их в свободное время. Среди тем — изоляция, пространства имен и файловые слои.

Книга «Проект “Феникс”». В книге не освещаются технические аспекты DevOps. Повествование идет от лица технического директора департамента, где он сталкивается с ошибками в организации. Будет интересно руководителям, желающим улучшить процессы в своей компании, и всем, кто интересуется DevOps и хочет оценить пользу подхода в их работе.

Полная подборка — в Академии Selectel →

Приходите отметить 10 лет Kubernetes, обсудить кейсы и тренды DevOps на Kuber Conf 4 июля

В четверг, 4 июля, состоится главная в России конференция по Kubernetes®.
Мы встретимся на Kuber Conf'24 в московском GOELRO SPACE и в онлайне, чтобы обсудить тренды развития российского DevOps, использование контейнерных технологий и безопасность кластеров и данных.

В этом году Kubernetes исполнилось 10 лет — и это повод посмотреть, с чего всё начиналось, каких масштабов достигло сейчас, и поговорить, какие специалисты и технологии будут актуальны в ближайшие годы.

Среди тем:

• инсайты из исследования State of DevOps;

• кейсы хранения чувствительных данных в VCS и защиты против атак supply chain;

• обсуждение текущего состояния инструментов observability;

• опыт защиты Control Plane от перегрузки с помощью APF и применения политик Kyverno для безопасности кластеров и их конфигураций;

• рассказ о том, как и какие гайдлайны Kubernetes можно нарушить, чтобы описывать инфраструктуру в разы быстрее.

Ждём разработчиков, архитекторов, тестировщиков, инженеров по доступности сервисов, DevOps‑ и DevSecOps‑инженеров, и всех, кто работает с Kubernetes и не боится сложных задач.

Посмотреть программу и присоединиться

Всем DevOps! Наш DevOps-инженер Данил выпустил очень полезный туториал для тех, кто только начинает своё знакомство с Kubernetes.

Если вы хотите понять, как развернуть кластер Kubernetes на собственных серверах с отказоустойчивым балансировщиком в виде MetalLB, то новая статья в нашем блоге придётся как раз кстати.

Вы узнаете, как связка MetalLB, Longhorn и Kubespray позволяет обойтись меньшим количеством виртуалок и построить закрытую, высокоэффективную систему, способную удовлетворить специфические потребности бизнеса.

? Для того чтобы начать читать, тыкайте сюда.

Docker Hub ушел из России. Чем это грозит?

Сегодня Docker Hub перестал работать для российских пользователей. Вместо репозитория открывается сообщение о блокировке IP-адресов в нескольких регионах мира, в том числе в Крыму. Однако сайт недоступен для всех россиян. Head of DevOps в AGIMA Дамир Грачев объясняет, почему это стало головной болью для большинства IT-компаний.

— Стресс сегодня пережили многие, потому что тема микросервисной архитектуры стала модной в последние годы и Docker Hub был популярен. Из-за его отключения, по сути, упала инфраструктура многих проектов, остановился процесс выпуска релизов. Ломается сборка докеров, пайплайны и т. д. Могут даже ломаться кластеры Kubernetes, если в них ссылка на Docker Hub без зеркала.

Эта ситуация приводит к производственным сбоям. Все отвлекаются на решение этой проблемы. А если говорить глобально, то у каких-то компаний могут возникнуть проблемы с безопасностью. Сегодня мы увидели кучу странных зеркал на Docker Hub, которым сложно доверять. При их использовании произойти может что угодно — вплоть до повторении истории со СДЭКом.

Сейчас мы работаем в двух направлениях. Первое: чтобы мы могли продолжить работу, используем публичное зеркало, которому можно доверять. В нашем случае это зеркало от Яндекса. Второе направление: ищем способ решить проблему надолго. Поэтому у нас есть направление инфраструктурной разработки, делаем собственный кэширующий прокси. Рассчитываем уже сегодня закончить, на внедрение в проекты уйдет пара дней.

21 мая проводим воркшоп «Приватные инсталляции Kubernetes»

Хотите узнать, как развернуть приватную инсталляцию Kubernetes в публичном облаке с помощью Terraform?

На практическом вебинаре поделимся тонкостями:
? расскажем, как построить частное облако внутри публичного;
? разберем клиентские кейсы;
? покажем, как создать кластер Kubernetes с приватным API с помощью Terraform;

Задавайте вопросы через форму регистрации или в чате трансляции — ответим на них в конце вебинара. Авторам самых интересных подарим плюшевых Тирексов ?

Все зарегистрированные участники получат запись трансляции и примеры готовых манифестов Terraform.

Регистрируйтесь по ссылке →

Прекрасный и ужасный Kubernetes

Сегодня на очереди пост по докладу Василия Мермера из Fland о кубернизации приложений. В полной версии Василий в деталях рассказывает о плюсах и минусах Kubernetes, о критериях хорошего приложения и его жизненном цикле.

Kubernetes — полезный инструмент для развертывания, масштабирования и управления контейнезированными приложениями. Но если с ним неправильно обращаться, он может работать против вас. Наверняка так и появилось мнение, что Kubernetes — не торт. Но проблема в том, что люди часто используют один контейнер для всего:

? Помещают внутрь Supervisorctl несколько процессов.

? У каждого свои лог-файлы для разных мест.

? Состояние лежит рядом в виде файла.

Понятно, что такой катавасией невозможно управлять. Kubernetes к тому же и сложный инструмент, который нужно использовать правильно. И при условии, что разработка и эксплуатация работают вместе. Можно сказать, что разработчик и инженер едут в двухместных санях по бобслейной трассе.

Чтобы ехать хорошо и быстро, нужно правильно написать, собрать и доставить код.

? Если конвейер CI/CD построен правильно, мы успешно доедем до финиша.

? Чтобы было куда доставить код, нужен правильно приготовленный Kubernetes.

? Приложение должно быть написано в соответствии с 12 факторами:

? И еще 7 факторами:

• наблюдаемость (observable);

• прогнозируемость (schedulable);

• обновляемость (upgradable);

• минимальные привилегии (least privilege);

• контролируемость (auditable);

• защищенность (securable);

• измеримость (measurable).

Скидка 20% на комплект сервисов ⚡

Managed Kubernetes, облачные базы данных и объектное хранилище S3.

Запускайте и развивайте веб-проекты любой сложности с помощью отказоустойчивых и масштабируемых сервисов Selectel. До 30 июня подключите три сервиса: Managed Kubernetes, облачные базы данных и объектное хранилище S3 — и пользуйтесь ими со скидкой 20%.

Оплачивайте Managed Kubernetes, базы данных и хранилище по модели pay-as-you-go. Скидка действует в течение всего времени, пока вы используете комплект сервисов.

Как получить скидку?

1️⃣Зарегистрируйтесь в панели управления.

2️⃣Подключите Managed Kubernetes, облачные базы данных и объектное хранилище в подходящих вам конфигурациях.

3️⃣Оставьте заявку в тикет-системе. Напишите, что участвуете в этой акции, и укажите примерную сумму, которую планируете тратить на каждый сервис

4️⃣Дождитесь ответа от поддержки и пользуйтесь сервисами с ежемесячной скидкой 20%.

Подключайте сервисы со скидкой →

​​Добавили User Data в Managed Kubernetes ⚡️

User Data в кластере Managed Kubernetes — это пользовательские данные, которые можно указать при создании worker-нод. Они помогают сократить время настройки нод и развертывания инфраструктуры, а также увеличить производительность системы ?

Кастомизировать worker-ноды с помощью User Data →

Основной сценарий использования User Data — настройка параметров ядра через sysctl на worker-нодах. Так вы можете изменить размер сегмента разделяемой памяти или установить ограничения на число запущенных процессов. User Data также позволяет отключить IPv6 или создать каталог и загрузить в него файлы по сети.

Обновление уже доступно в панели управления Selectel. Указать User Data можно при создании кластера или добавлении новой группы нод по ссылке.

Безопасность контейнеров Kubernetes — обсудим, как снизить риски, на IT-конференции GoCloud про облака 📝

Новые технологии ускоряют и упрощают работу, а десятки векторов атак рождают новые инструменты защиты. На конференции GoCloud расскажем про основные угрозы для контейнеров и Kubernetes на каждом этапе атаки в разрезе популярных матриц фреймворков безопасности.

📌 Тема: Контейнеры и Kubernetes: современные атаки и меры по их митигации

📅 Когда: 21 марта в 14:20 мск

👉 Зарегистрироваться

Что еще интересного будет на GoCloud, смотрите в программе конференции. 

Полезное в блоге:

• Cloud.ru Evolution Object Storage: как превратить блочное хранилище в объектное

• Как разработать и запустить приложения с помощью сервисов Cloud.ru Evolution Container Apps

• Технические лидеры «‎Гринатома»‎, «‎Магнита»‎ и «‎М.Видео»‎ поделятся экспертизой 21 марта на IT-конференции GoCloud