Kubernetes *

Полезные ссылки и новости в дайджесте за сентябрь⛅

🦾 Анонсировали GoCloud Tech 2024 — IT-конференцию про облачные решения и русский AI, которая пройдет 24 октября онлайн и офлайн в Москве. Приходите послушать хардкорные доклады про облака, AI и изнанку наших сервисов, обменяться опытом и обсудить интересующие темы в неформальной обстановке: зарегистрироваться.

🎓 Запустили новый бесплатный курс Cloud.ru Cloud Fundamentals — про основы использования и внедрения облачных технологий, а еще сертификацию, чтобы вы могли официально подтвердить свои знания и навыки.

🔥 Предлагаем Evolution Managed Kubernetes по специальной цене — подключите сервис до 30 ноября 2024 года и используйте со скидкой 60% до конца 2025 года.

📺 Провели два вебинара:

• Практикум Cloud.ru Evolution: знакомство с облаком,

• Как развернуть кластер Kubernetes за несколько кликов.

И приглашаем на вебинары в октябре:

• Как эффективно и просто делать бэкапы в облаке,

• Практикум Cloud.ru Evolution: сайт в облаке.

🦾 Поделились обновлениями наших облачных платформ в дайджесте на сайте. Например, теперь в общем доступе сервисы Evolution Bare Metal и Evolution Artifact Registry — подключайте! 

📄 Опубликовали заметки с саммита по вычислениям, памяти и хранению данных 2024 в статье Что нового слышно о шине CXL. 

🎧 Обсудили с лидером продукта Романом Тимониным, какие навыки станут ключевыми с приходом ChatGPT и почему важно доводить проекты до конца. Подкаст смотрите на YouTube, на RuTube или в VK.

До встречи в ноябре!

Как мы интегрировали Managed Kubernetes с сервисами публичного облака — поделимся на IT-конференции GoCloud Tech 🎤

Приходите на конференцию GoCloud Tech — послушать доклад и обсудить тему в неформальной обстановке. Расскажем, как сервисы наблюдаемости помогают автоматизировать мониторинг, логирование и аудит в Kubernetes. Разберем, как повысить гибкость и масштабируемость решения с помощью интеграции облачных инфраструктурных сервисов, а безопасности приложений — с помощью систем управления ключами и секретами. А еще обсудим подводные камни, которые встречаются на пути межсервисной интеграции, и что с ними делать.

🕚 Когда: 24 октября с 16:05 до 16:30

📍 Где: онлайн и офлайн в Москве в лофт-пространстве Goelro

👉 Зарегистрироваться на GoCloud Tech

А еще сейчас вы можете подключить Evolution Managed Kubernetes и пользоваться сервисом со скидкой 60% до конца 2025 года.

Полезное в блоге:

• Нобелевские премии 2024 и искусственный интеллект. Физика: Джон Хопфилд и нейросети имени его

• Зачем я использую контейнеры как виртуалки: опыт python-разработчика

• Что нового слышно о шине CXL: заметки с саммита по вычислениям, памяти и хранению данных

Как мы уворачивались от граблей, пока строили DBaaS — расскажем на IT-конференции GoCloud Tech ☁️

Приходите на конференцию GoCloud Tech, и вы узнаете про плюсы, минусы и особенности нашего решения — Database as a Service (DBaaS) поверх Kubernetes, а также про особенности, которые мы заметили при работе операторов Kubernetes на различных сервисах. Вместе обсудим основные проблемы интеграции DBaaS и Serverless, сложности при работе с Dedicated-кластерами и преимущества концепции Shared-кластеров.

🕚 Когда: 24 октября с 19:05 до 19:30

📍 Где: онлайн и офлайн в Москве в лофт-пространстве Goelro

👉 Зарегистрироваться на GoCloud Tech

Полезное в блоге:

• Синергия ручных проверок и автоматизации: как мы улучшили тестирование и ускорили запуск продуктов

• Что нового слышно о шине CXL: заметки с саммита по вычислениям, памяти и хранению данных

• Математика прекрасного. Как создать красивую картинку, если ты дилетант, художник или нейросеть?

Пятница, вечер, а я все продолжаю тыкать свой kui в ноды кубернетиса.

Натыкал такое, добавил две новые команды: Node pods и Top node pods. Первая позволяет посмотреть все поды ноды. А вторая сделать топ поды ноды.

И если поды ноды kubectl умеет показывать из коробки, как-то так:

kubectl get po -A --field-selector spec.nodeName=<node_name>

То с топами подов нодов пришлось немного повозиться, kubectl не может сам сделать топ поды ноды, говорит такое:

kubectl top po -A --field-selector spec.nodeName=<node_name>
Error from server (BadRequest): "spec.nodeName" is not a known field selector: only "metadata.name", "metadata.namespace"

Пришлось ему немного помочь, сначала я запомнил поды ноды в переменную np

np=$(
   kubectl get po -A --field-selector spec.nodeName=<node_name> | \
   awk '{print $2}'
)

Потом сделал топ всех подов и грепнул поды ноды

kubectl top po -A | grep -F "$np"

И еще там были сопутствующие изменения и вот это вот все.

Творите, выдумывайте, пробуйте!)

Live-demo: NetBird в Kubernetes от CTO Amvera Cloud. Или как проксировать трафик из кластера до OpenAI

В этот четверг 10.10.2024 в 20:00 по МСК.

Georg Gaal @gecube и Maxim Makarov @MaximMakarov (CTO Amvera Cloud).

Туториал по проксированию трафика из кластера Kubernetes до API OpenAI, в частности про технологию NetBird.

По мотивам статьи "Как мы делали Proxy до API OpenAI, а пригодилось оно для доступа к Docker Hub".

Прямая трансляция: https://youtube.com/live/t-vcv0erjws
с ответами на вопросы из чата YouTube

Как сократить расходы на IT-инфраструктуру до 40%? ⚡️

Разверните кластеры Managed Kubernetes на выделенных серверах

Новое решение обеспечивает: 

♦️ максимальную производительность и скорость ответа, 

♦️ легкую интеграцию выделенных серверов кластера Kubernetes с другими облачными продуктами,

♦️ экономию на IT-инфраструктуре,

♦️ возможность изолировать ресурсы воркер-нод и получить гарантированный доступ к 100% вычислительных мощностей серверов.

Все это — благодаря использованию выделенных серверов в качестве воркер-нод. Такое решение идеально подойдет для размещения тестовых сред или production-окружения со стабильной нагрузкой.

Сервис полностью автоматизирован: он сам разворачивает кластер Kubernetes с Control Plane, настраивает сетевое окружение и глобальный роутер, а затем поднимает группу нод на выделенных серверах. Вам нужно только выбрать тип кластера и конфигурацию в панели.

Чтобы арендовать кластер Managed Kubernetes на выделенных серверах, переходите на страницу этого сервиса.

Задайте вопрос по кубам архитекторам Southbridge

10 октября повторим бесплатную онлайн-консультацию вместе с архитекторами Southbridge и ответим на ваши вопросы по Kubernetes.

А чтобы эксперты смогли подготовиться и дать более подробные ответы — присылайте вопросы чуть заранее в бота консультации.

Компания Southbridge c 2007 года создаёт и обслуживает средне- и высоконагруженные IT-инфраструктуры. Среди клиентов — VolkswagenGroupRus, Альфастрахование, Skillbox, Спортмастер и другие.

Отвечать на вопросы будут её архитекторы:

Сергей Бондарев. Специалист по внедрению Kubernetes. Один из разработчиков kubespray с правами на принятие pull request. Работал над всеми куб-проектами Southbridge.

И Николай Месропян. Реализовал проекты по созданию и рефакторингу решений с применением Ansible для компаний Фольксваген, Спортмастер и других.

А если у вас нет конкретных вопросов — приходите послушать других и обменяться опытом.

📌 10 октября в 19:00 мск
📌 Зарегистрироваться и задать вопрос — по ссылке.

Как автомасштабировать K8S в ноль — узнайте на IT-конференции GoCloud Tech 🔍

На прошлой неделе мы анонсировали IT-конференцию GoCloud Tech, а сегодня расскажем про один из докладов программы.

Автомасштабирование кластера Kubernetes и масштабирование подов помогают быстро расширить ресурсы при пиковых нагрузках. Но иногда проблема нехватки ресурсов кроется в неочевидном. Разберем, что делать, если триггер масштабирования кластера не утилизация, а события от внешних систем (например, очередь сообщений Kafka или платформа CI/CD). В прямом эфире запустим такое приложение вместе с классическими подходами автомасштабирования, а также масштабируем кластер по событиям с помощью KEDA (Kubernetes-based Event Driven Autoscaler).

Приходите послушать доклад и обсудить тему в неформальной обстановке.

🕚 Когда: 24 октября с 14:00 до 23:00

📍 Где: онлайн и офлайн в Москве в лофт-пространстве Goelro

👉 Зарегистрироваться на GoCloud Tech

Полезное в блоге:

• Что нового слышно о шине CXL: заметки с саммита по вычислениям, памяти и хранению данных

• Зачем нужна R&D-команда: взгляд разработчика

• Как объединить кластеры Kubernetes без даунтайма: пошаговая инструкция

Привет, снова я со своим kui'ем!)

Позанимался немного с нодами и подумал что удобно было бы выбирать ноды из вывода kubectl top no, добавил это. Команда (top) доступна на первом шаге (выбор кластера) и через "быстрые команды".

Творите, выдумывайте, пробуйте!)

Привет, небольшой апдейт для kui'я

Добавил команду удаления для кронжобов.

Творите, выдумывайте, пробуйте!)

«Эксплуатация и разработка в Kubernetes» — новый курс Яндекс Практикума

Мы запустили новый курс «Эксплуатация и разработка в Kubernetes», он поможет освоить и применить на практике технологии оркестрации контейнеров. С Kubernetes вы увеличите свою ценность на рынке труда, сможете обосновать повышение или найти место с более интересными проектами и привлекательной зарплатой.

Курс для специалистов с опытом: разработчиков, DevOps-инженеров и SRE. Чтобы начать обучение, вы должны знать основы программирования, Docker, Git, а ещё уметь работать в консоли и иметь базовые знания по Linux. 

Только актуальные и нужные знания: программу составляли инженеры и тимлиды, которые давно работают с Kubernetes. Благодаря этому, вы будете учиться только тому, что на самом деле пригодится в работе. 

Практика с первого дня обучения: вы будете много тренироваться на проектах, максимально похожих на реальные. Научитесь развёртывать приложения в Kubernetes, обеспечивать сетевое взаимодействие и безопасность, интегрироваться с CI/CD, настраивать мониторинг и логирование.

Поддержка комьюнити: с любыми трудностями поможет справиться команда сопровождения: наставники, ревьюеры, кураторы, техподдержка, а также сообщество однокурсников.

Курс рассчитан на 3 месяца, заниматься нужно ≈10 часов в неделю.

→ Узнать больше о курсе «Эксплуатация и разработка в Kubernetes»

Привет! Напоминаем, что до нашего митапа на тему «Уникальность работы с Kubernetes» осталось всего 10 дней. Делимся описанием докладов спикеров ✌️

18:30-19:00 | «Управление и мониторинг баз данных с помощью k8s» | Анатолий Тимченко — Team Lead DBA в Ситидрайве

– Анатолий  поделится кейсом внедрения средств мониторинга и управления СУБД (Postgres, Clickhouse, SQL Server) в инфраструктуру Ситидрайва с помощью helm и kubernetes.

19:10-19:40 | «Talos платформа для k8s в OKKO» | Алексей Романов — Lead of Kubernetes в OKKO.

– Алексей расскажет о внедрении платформы для kubernetes – Talos, а именно, зачем она в OKKO и какие нестандартные задачи можно решить при её внедрении.

20:10-20:40 | «Kubernetes: master внутри cluster-а» | Максим Залысин — Head of DevOps в Positive technologies

–В докладе Максим расскажет,  как пришёл к решению по запуску kube-apiserver, kube-controller-manager и kube-scheduler внутри Kubernetes кластера, а также в какой последовательности это делается и какую пользу приносит.

20:45-21:15 | «Переезд монолита с ВМ в k8s» | Александр Григоров — Заместитель технического директора по эксплуатации в Ситидрайве.

– Поговорим о том, что было в Ситидрайве до и о том, как нам удалось достичь цели, а также  какие изменения потребовались в инфраструктуре и в разработке.

Билетов на мероприятие всего 100. Участие бесплатное, но регистрация обязательна по ссылке – билет придёт вам на почту. Для входа в офис потребуется паспорт или водительское удостоверение.

Подборка вебинаров августа по ML 🗓

📌 22 августа, 16:00 

Как сократить расходы на инференс LLM? Кейс компании «Актион»

Вместе с коллегами из Compressa и «Актион» обсудим способы оптимизации open-source LLM-моделей на своем сервере и преимущества использования облака для инференса LLM. Сравним производительность LLM и стоимость токенов до и после оптимизации. Разберем кейс «Актион» и Compressa по обработке 100 000+ генераций в день всего на одной GPU-карте и узнаем, как удалось сократить расходы на инференс LLM.

Присоединиться онлайн →

📌 29 августа, 16:00 

Production ML: как настроить GPU-ноды в кластерах Kubernetes?

На практическом вебинаре покажем особенности работы с кластерами Kubernetes c GPU, настройку драйверов на GPU-нодах и масштабирование нагрузки в продакшене ML-сервисов. Обсудим практические кейсы использования GPU-нод в кластерах Kubernetes от клиентов Selectel.

Присоединиться онлайн →

19 сентября в московском офисе Ситидрайва пройдет очередной митап на тему «Уникальность работы с Kubernetes» – присоединяйся к нам!

Инженеры из команды Ситидрайва, OKKO и Positive Technologies расскажут об особенностях эксплуатации с использованием Kubernetes: только кейсы из практики и личный опыт. В завершение каждого доклада можно будет задать вопросы и пообщаться со спикерами в неформальной обстановке. А после мероприятия – подкрепиться закусками, погулять по офису и познакомиться друг с другом поближе.

Программа:

18:00-18:30 | Сбор в офисе Ситидрайва, знакомство и Welcome

18:30-19:00 | Доклад «Управление и мониторинг баз данных с помощью k8s»

Спикер: Анатолий Тимченко — Team Lead DBA в Ситидрайве.

19:10-19:40 | Доклад «Talos платформа для k8s в OKKO»

Спикер: Алексей Романов — Lead of Kubernetes в OKKO.

19:40-20:10 | Нетворкинг

20:10-20:40 | Доклад «Kubernetes: master внутри cluster-а»

Спикер: Максим Залысин — Head of DevOps в Positive technologies

20:45-21:15 | Доклад «Переезд монолита с ВМ в k8s»

Спикер: Александр Григоров — Заместитель технического директора по эксплуатации в Ситидрайве.

21:15-22:00 | Нетворкинг

Билетов на мероприятие всего 100. Участие бесплатное, но регистрация обязательна по ссылке – билет придёт вам на почту. Для входа в офис потребуется паспорт или водительское удостоверение.

Всем привет!

У нас есть два стула…Python и Go. Хоть немного зная один из этих языков, девопс может делать в Kubernetes разную магию.

Завтра встретимся с Виталием Лихачевым, SRE в Bооking.сom,ex-Avito Senior Software Engineer, на вебинаре, чтобы разобрать:

• Как использовать k8s как API, даже не зная его устройства? 
• Как создать при этом симбиоз между кодом и целым кластером?
• Как в k8s объединять бизнес-логику и инфраструктуру с помощью миллионов строк кода?

Всё это — на примерах Python и Go.

А ещё можно:

• Контролировать соответствие манифестов архитектуры стандартам — и при этом не ходить по репозиториям и не править манифесты руками 
• Подключать различные sidecar контейнеры для сбора логов и метрик —  и не мешать этим разработчикам
• Делать это всё на лету.

И мы постараемся показать, как. А уж на какой из стульев садиться — выбор за вами)

Дата и время — 21 августа, 19:00 мск 
Занять место на вебинаре — по ссылке.

Задайте вопрос по кубам архитекторам Southbridge

15 августа проведём бесплатную онлайн-консультацию вместе с архитекторами Southbridge и ответим на ваши вопросы по Kubernetes.

А чтобы эксперты смогли подготовиться и дать более подробные ответы — присылайте вопросы чуть заранее в бота консультации 😉

О Southbridge:

Компания Southbridge c 2007 года создаёт и обслуживает средне- и высоконагруженные IT-инфраструктуры. Среди клиентов — VolkswagenGroupRus, Альфастрахование, Skillbox, Спортмастер и другие.

Отвечать на вопросы будут её архитекторы:

Сергей Бондарев. Специалист по внедрению Kubernetes. Один из разработчиков kubespray с правами на принятие pull request. Работал над всеми куб-проектами Southbridge.

И Николай Месропян. Реализовал проекты по созданию и рефакторингу решений с применением Ansible для компаний Фольксваген, Спортмастер и других.

Чтобы получить бесплатную консультацию от экспертов по Kubernetes:

▶️ Напишите свой вопрос боту
▶️ Приходите на вебинар 15 августа
▶️ Получите ответ и задайте любые уточняющие вопросы

Если у вас нет конкретных вопросов — приходите послушать других и обменяться опытом.

📌 15 августа в 18:00 мск
📌 Зарегистрироваться и задать вопрос — по ссылке.

В Облаке Рег.ру запустили KaaS-решение

Мы расширили линейку IaaS-, PaaS- и SaaS‑решений и запустили новое — Kubernetes as a Service (KaaS). 

Сегодня 30 % заказчиков облачной платформы Рег.ру предпочитают разрабатывать клиентские приложения на базе микросервисной инфраструктуры с применением технологии оркестрации контейнеров Kubernetes. 

Kubernetes считается наиболее популярным и удобным инструментом для управления контейнерами, хотя его самостоятельное развертывание занимает в среднем от нескольких часов до нескольких дней. Услуга Kubernetes as a Service поможет сократить этот этап до 5–10 минут и снизить количество рутинных процессов при обслуживании ИТ-инфраструктуры. 

В рамках KaaS можно создать несколько кластеров и учесть различные конфигурации. Для каждого кластера доступен выбор типа: распределенного или нераспределенного. В каждом из кластеров можно создать до десяти групп воркеров и выбрать подходящий тариф и объем. Первоначальная установка, настройка и круглосуточная техническая поддержка останется на стороне Рег.ру.

Кстати, сервис KaaS уже используется нашими разработчиками для решения корпоративных задач и показывает отличные результаты. 

Последние два дня распродажи!

До 31 июля на видеокурсы Слёрма из этого списка скидка 50%. А времени до сентября как раз хватит, чтобы прокачать свой стек.

До старта бизнес-сезона остался один месяц лета. Пока вам на голову не свалилось 500 новых проектов, можно успеть разобраться в новом инструменте, подходе или методике.

🔹 Доступ к видеоурокам сохранится на 2 года
🔹 Можно спланировать учёбу на год вперёд, купить дешевле и учиться в любое время
🔹 Рассрочка действует и на акционные цены

Выбирайте, чему учиться, и активируйте промокод LETO2024! Особенно, если давно откладывали :)

Кластеризация с использованием Etcd

Недавно на одном из проектов перед нами поставили задачу — разработать кластеризируемую систему для управления гипервизорами. Таким образом заказчик хотел сохранить высокую доступность и отказоустойчивость системы, а также обеспечить связность при работе в географически разнесенных Data-центрах. В итоге мы рассмотрели кучу вариантов, но остановились на Etdc.

Чтобы запустить кластер Etcd, нужно как минимум три узла. Число узлов всегда будет нечетным. Так мы обеспечиваем кворум. В различных гайдах и инструкциях рекомендуется использовать три или пять узлов, максимум — семь. Если сделать больше узлов, это снизит производительность, поскольку на сбор кворума будет уходить больше времени.

Поясню: у нас практически любая операция должна получить кворум от всех узлов, поэтому чем больше узлов — тем ниже скорость операции.

Чтобы обойти это, можно подключить так называемый Learner, то есть не голосующую ноду. Она, как и остальные, синхронизируется с кластером, но не голосует. Если одна нода у нас выбывает, Learner можно быстро включить.

Что касается кластера Etcd, разделенного между Data-центрами, то, если мы будем использовать два Data-центра, система не будет High Availability. В таком случае лучше использовать третий Data-центр, так называемую кворумную площадку. Это может быть любая виртуальная машина в третьем месте, вплоть до ноутбука системного администратора.

Об опыте работы с Etcd рассказываем в большой статье. Делитесь мнением в комментариях.

Всем привет!

Когда заходит речь о разделении обязанностей между разработчиками и DevOps инженерами, споры обычно возникают в двух моментах - манифесты k8s\Openshift и CI джобы - они же джобы сборки. Поговорим про первые.
Мое мнение - за манифесты k8s\Openshift должны отвечать разработчики. Почему? А вот почему:

1. liveness\readiness probes - только разработчики знают, по каким url они находятся. Конечно в мире Spring Boot и Actuator есть некая стандартизация, но не везде и не всегда. И не всегда actuator подходит для healthcheck, но это отдельная тема

2. liveness\readiness timeouts - разработчики точно знают сколько времени старт пода. DevOps-ы могут это время эмпирически определить, но это требует времени)

3. timeouts, circuit breaker, retry - опять же только разработчики могут сказать, реализовали они их на прикладном уровне или требуется настройка на уровне Service Mesh. Могут быть требования корпоративной архитектуры\сопровождения ПРОМ, их определяющие, но опять же не везде и не всегда.

4. куда пишутся логи, какие существуют метрики, где их можно взять. Снова можно повториться, что где-то это стандартизировано, где-то нет.

5. любые другие тонкие облачные настройки - переменные среды, значение параметров в ConfigMap, поддержка graceful shutdown .... Наверняка DevOps или сопровождение со всем этим разберется. Но будет ли это эффективно?