Как мы уворачивались от граблей, пока строили DBaaS — расскажем на IT-конференции GoCloud Tech ☁️
Приходите на конференцию GoCloud Tech, и вы узнаете про плюсы, минусы и особенности нашего решения — Database as a Service (DBaaS) поверх Kubernetes, а также про особенности, которые мы заметили при работе операторов Kubernetes на различных сервисах. Вместе обсудим основные проблемы интеграции DBaaS и Serverless, сложности при работе с Dedicated-кластерами и преимущества концепции Shared-кластеров.
Как сократить расходы на IT-инфраструктуру до 40%? ⚡️
Разверните кластеры Managed Kubernetes на выделенных серверах
Новое решение обеспечивает:
♦️ максимальную производительность и скорость ответа,
♦️ легкую интеграцию выделенных серверов кластера Kubernetes с другими облачными продуктами,
♦️ экономию на IT-инфраструктуре,
♦️ возможность изолировать ресурсы воркер-нод и получить гарантированный доступ к 100% вычислительных мощностей серверов.
Все это — благодаря использованию выделенных серверов в качестве воркер-нод. Такое решение идеально подойдет для размещения тестовых сред или production-окружения со стабильной нагрузкой.
Сервис полностью автоматизирован: он сам разворачивает кластер Kubernetes с Control Plane, настраивает сетевое окружение и глобальный роутер, а затем поднимает группу нод на выделенных серверах. Вам нужно только выбрать тип кластера и конфигурацию в панели.
Чтобы арендовать кластер Managed Kubernetes на выделенных серверах, переходите на страницу этого сервиса.
10 октября повторим бесплатную онлайн-консультацию вместе с архитекторами Southbridge и ответим на ваши вопросы по Kubernetes.
А чтобы эксперты смогли подготовиться и дать более подробные ответы — присылайте вопросы чуть заранее в бота консультации.
Компания Southbridge c 2007 года создаёт и обслуживает средне- и высоконагруженные IT-инфраструктуры. Среди клиентов — VolkswagenGroupRus, Альфастрахование, Skillbox, Спортмастер и другие.
Отвечать на вопросы будут её архитекторы:
Сергей Бондарев. Специалист по внедрению Kubernetes. Один из разработчиков kubespray с правами на принятие pull request. Работал над всеми куб-проектами Southbridge.
И Николай Месропян. Реализовал проекты по созданию и рефакторингу решений с применением Ansible для компаний Фольксваген, Спортмастер и других.
А если у вас нет конкретных вопросов — приходите послушать других и обменяться опытом.
📌 10 октября в 19:00 мск 📌 Зарегистрироваться и задать вопрос — по ссылке.
Как автомасштабировать K8S в ноль — узнайте на IT-конференции GoCloud Tech 🔍
На прошлой неделе мы анонсировали IT-конференцию GoCloud Tech, а сегодня расскажем про один из докладов программы.
Автомасштабирование кластера Kubernetes и масштабирование подов помогают быстро расширить ресурсы при пиковых нагрузках. Но иногда проблема нехватки ресурсов кроется в неочевидном. Разберем, что делать, если триггер масштабирования кластера не утилизация, а события от внешних систем (например, очередь сообщений Kafka или платформа CI/CD). В прямом эфире запустим такое приложение вместе с классическими подходами автомасштабирования, а также масштабируем кластер по событиям с помощью KEDA (Kubernetes-based Event Driven Autoscaler).
Приходите послушать доклад и обсудить тему в неформальной обстановке.
«Эксплуатация и разработка в Kubernetes» — новый курс Яндекс Практикума
Мы запустили новый курс «Эксплуатация и разработка в Kubernetes», он поможет освоить и применить на практике технологии оркестрации контейнеров. С Kubernetes вы увеличите свою ценность на рынке труда, сможете обосновать повышение или найти место с более интересными проектами и привлекательной зарплатой.
Курс для специалистов с опытом: разработчиков, DevOps-инженеров и SRE. Чтобы начать обучение, вы должны знать основы программирования, Docker, Git, а ещё уметь работать в консоли и иметь базовые знания по Linux.
Только актуальные и нужные знания: программу составляли инженеры и тимлиды, которые давно работают с Kubernetes. Благодаря этому, вы будете учиться только тому, что на самом деле пригодится в работе.
Практика с первого дня обучения: вы будете много тренироваться на проектах, максимально похожих на реальные. Научитесь развёртывать приложения в Kubernetes, обеспечивать сетевое взаимодействие и безопасность, интегрироваться с CI/CD, настраивать мониторинг и логирование.
Поддержка комьюнити: с любыми трудностями поможет справиться команда сопровождения: наставники, ревьюеры, кураторы, техподдержка, а также сообщество однокурсников.
Курс рассчитан на 3 месяца, заниматься нужно ≈10 часов в неделю.
Привет! Напоминаем, что до нашего митапа на тему «Уникальность работы с Kubernetes» осталось всего 10 дней. Делимся описанием докладов спикеров ✌️
18:30-19:00 |«Управление и мониторинг баз данных с помощью k8s» | Анатолий Тимченко — Team Lead DBA в Ситидрайве
– Анатолий поделится кейсом внедрения средств мониторинга и управления СУБД (Postgres, Clickhouse, SQL Server) в инфраструктуру Ситидрайва с помощью helm и kubernetes.
19:10-19:40 |«Talos платформа для k8s в OKKO» | Алексей Романов — Lead of Kubernetes в OKKO.
– Алексей расскажет о внедрении платформы для kubernetes – Talos, а именно, зачем она в OKKO и какие нестандартные задачи можно решить при её внедрении.
20:10-20:40 | «Kubernetes: master внутри cluster-а» | Максим Залысин — Head of DevOps в Positive technologies
–В докладе Максим расскажет, как пришёл к решению по запуску kube-apiserver, kube-controller-manager и kube-scheduler внутри Kubernetes кластера, а также в какой последовательности это делается и какую пользу приносит.
20:45-21:15 |«Переезд монолита с ВМ в k8s» | Александр Григоров — Заместитель технического директора по эксплуатации в Ситидрайве.
– Поговорим о том, что было в Ситидрайве до и о том, как нам удалось достичь цели, а также какие изменения потребовались в инфраструктуре и в разработке.
Билетов на мероприятие всего 100. Участие бесплатное, но регистрация обязательна по ссылке – билет придёт вам на почту. Для входа в офис потребуется паспорт или водительское удостоверение.
Как сократить расходы на инференс LLM? Кейс компании «Актион»
Вместе с коллегами из Compressa и «Актион» обсудим способы оптимизации open-source LLM-моделей на своем сервере и преимущества использования облака для инференса LLM. Сравним производительность LLM и стоимость токенов до и после оптимизации. Разберем кейс «Актион» и Compressa по обработке 100 000+ генераций в день всего на одной GPU-карте и узнаем, как удалось сократить расходы на инференс LLM.
Production ML: как настроить GPU-ноды в кластерах Kubernetes?
На практическом вебинаре покажем особенности работы с кластерами Kubernetes c GPU, настройку драйверов на GPU-нодах и масштабирование нагрузки в продакшене ML-сервисов. Обсудим практические кейсы использования GPU-нод в кластерах Kubernetes от клиентов Selectel.
19 сентября в московском офисе Ситидрайва пройдет очередной митап на тему «Уникальность работы с Kubernetes» – присоединяйся к нам!
Инженеры из команды Ситидрайва, OKKO и Positive Technologies расскажут об особенностях эксплуатации с использованием Kubernetes: только кейсы из практики и личный опыт. В завершение каждого доклада можно будет задать вопросы и пообщаться со спикерами в неформальной обстановке. А после мероприятия – подкрепиться закусками, погулять по офису и познакомиться друг с другом поближе.
Программа:
18:00-18:30| Сбор в офисе Ситидрайва, знакомство и Welcome
18:30-19:00 | Доклад «Управление и мониторинг баз данных с помощью k8s»
Спикер: Анатолий Тимченко — Team Lead DBA в Ситидрайве.
19:10-19:40 | Доклад «Talos платформа для k8s в OKKO»
Спикер: Алексей Романов — Lead of Kubernetes в OKKO.
19:40-20:10 | Нетворкинг
20:10-20:40 | Доклад «Kubernetes: master внутри cluster-а»
Спикер: Максим Залысин — Head of DevOps в Positive technologies
20:45-21:15 | Доклад «Переезд монолита с ВМ в k8s»
Спикер: Александр Григоров — Заместитель технического директора по эксплуатации в Ситидрайве.
21:15-22:00 | Нетворкинг
Билетов на мероприятие всего 100. Участие бесплатное, но регистрация обязательна по ссылке – билет придёт вам на почту. Для входа в офис потребуется паспорт или водительское удостоверение.
У нас есть два стула…Python и Go. Хоть немного зная один из этих языков, девопс может делать в Kubernetes разную магию.
Завтра встретимся с Виталием Лихачевым, SRE в Bооking.сom,ex-Avito Senior Software Engineer, на вебинаре, чтобы разобрать:
• Как использовать k8s как API, даже не зная его устройства? • Как создать при этом симбиоз между кодом и целым кластером? • Как в k8s объединять бизнес-логику и инфраструктуру с помощью миллионов строк кода?
Всё это — на примерах Python и Go.
А ещё можно:
• Контролировать соответствие манифестов архитектуры стандартам — и при этом не ходить по репозиториям и не править манифесты руками • Подключать различные sidecar контейнеры для сбора логов и метрик — и не мешать этим разработчикам • Делать это всё на лету.
И мы постараемся показать, как. А уж на какой из стульев садиться — выбор за вами)
Дата и время — 21 августа, 19:00 мск Занять место на вебинаре — по ссылке.
15 августа проведём бесплатную онлайн-консультацию вместе с архитекторами Southbridge и ответим на ваши вопросы по Kubernetes.
А чтобы эксперты смогли подготовиться и дать более подробные ответы — присылайте вопросы чуть заранее в бота консультации 😉
О Southbridge:
Компания Southbridge c 2007 года создаёт и обслуживает средне- и высоконагруженные IT-инфраструктуры. Среди клиентов — VolkswagenGroupRus, Альфастрахование, Skillbox, Спортмастер и другие.
Отвечать на вопросы будут её архитекторы:
Сергей Бондарев. Специалист по внедрению Kubernetes. Один из разработчиков kubespray с правами на принятие pull request. Работал над всеми куб-проектами Southbridge.
И Николай Месропян. Реализовал проекты по созданию и рефакторингу решений с применением Ansible для компаний Фольксваген, Спортмастер и других.
Чтобы получить бесплатную консультацию от экспертов по Kubernetes:
▶️ Напишите свой вопрос боту ▶️ Приходите на вебинар 15 августа ▶️ Получите ответ и задайте любые уточняющие вопросы
Если у вас нет конкретных вопросов — приходите послушать других и обменяться опытом.
📌 15 августа в 18:00 мск 📌 Зарегистрироваться и задать вопрос — по ссылке.
Мы расширили линейку IaaS-, PaaS- и SaaS‑решений и запустили новое — Kubernetes as a Service (KaaS).
Сегодня 30 % заказчиков облачной платформы Рег.ру предпочитают разрабатывать клиентские приложения на базе микросервисной инфраструктуры с применением технологии оркестрации контейнеров Kubernetes.
Kubernetes считается наиболее популярным и удобным инструментом для управления контейнерами, хотя его самостоятельное развертывание занимает в среднем от нескольких часов до нескольких дней. Услуга Kubernetes as a Service поможет сократить этот этап до 5–10 минут и снизить количество рутинных процессов при обслуживании ИТ-инфраструктуры.
В рамках KaaS можно создать несколько кластеров и учесть различные конфигурации. Для каждого кластера доступен выбор типа: распределенного или нераспределенного. В каждом из кластеров можно создать до десяти групп воркеров и выбрать подходящий тариф и объем. Первоначальная установка, настройка и круглосуточная техническая поддержка останется на стороне Рег.ру.
Кстати, сервис KaaS уже используется нашими разработчиками для решения корпоративных задач и показывает отличные результаты.
До старта бизнес-сезона остался один месяц лета. Пока вам на голову не свалилось 500 новых проектов, можно успеть разобраться в новом инструменте, подходе или методике.
🔹 Доступ к видеоурокам сохранится на 2 года 🔹 Можно спланировать учёбу на год вперёд, купить дешевле и учиться в любое время 🔹 Рассрочка действует и на акционные цены
Выбирайте, чему учиться, и активируйте промокод LETO2024! Особенно, если давно откладывали :)
Недавно на одном из проектов перед нами поставили задачу — разработать кластеризируемую систему для управления гипервизорами. Таким образом заказчик хотел сохранить высокую доступность и отказоустойчивость системы, а также обеспечить связность при работе в географически разнесенных Data-центрах. В итоге мы рассмотрели кучу вариантов, но остановились на Etdc.
Чтобы запустить кластер Etcd, нужно как минимум три узла. Число узлов всегда будет нечетным. Так мы обеспечиваем кворум. В различных гайдах и инструкциях рекомендуется использовать три или пять узлов, максимум — семь. Если сделать больше узлов, это снизит производительность, поскольку на сбор кворума будет уходить больше времени.
Поясню: у нас практически любая операция должна получить кворум от всех узлов, поэтому чем больше узлов — тем ниже скорость операции.
Чтобы обойти это, можно подключить так называемый Learner, то есть не голосующую ноду. Она, как и остальные, синхронизируется с кластером, но не голосует. Если одна нода у нас выбывает, Learner можно быстро включить.
Что касается кластера Etcd, разделенного между Data-центрами, то, если мы будем использовать два Data-центра, система не будет High Availability. В таком случае лучше использовать третий Data-центр, так называемую кворумную площадку. Это может быть любая виртуальная машина в третьем месте, вплоть до ноутбука системного администратора.
Об опыте работы с Etcd рассказываем в большой статье. Делитесь мнением в комментариях.
Когда заходит речь о разделении обязанностей между разработчиками и DevOps инженерами, споры обычно возникают в двух моментах - манифесты k8s\Openshift и CI джобы - они же джобы сборки. Поговорим про первые. Мое мнение - за манифесты k8s\Openshift должны отвечать разработчики. Почему? А вот почему:
liveness\readiness probes - только разработчики знают, по каким url они находятся. Конечно в мире Spring Boot и Actuator есть некая стандартизация, но не везде и не всегда. И не всегда actuator подходит для healthcheck, но это отдельная тема
liveness\readiness timeouts - разработчики точно знают сколько времени старт пода. DevOps-ы могут это время эмпирически определить, но это требует времени)
timeouts, circuit breaker, retry - опять же только разработчики могут сказать, реализовали они их на прикладном уровне или требуется настройка на уровне Service Mesh. Могут быть требования корпоративной архитектуры\сопровождения ПРОМ, их определяющие, но опять же не везде и не всегда.
куда пишутся логи, какие существуют метрики, где их можно взять. Снова можно повториться, что где-то это стандартизировано, где-то нет.
любые другие тонкие облачные настройки - переменные среды, значение параметров в ConfigMap, поддержка graceful shutdown .... Наверняка DevOps или сопровождение со всем этим разберется. Но будет ли это эффективно?
DevOps для начинающих: подборка материалов от команды Selectel
В подборку вошли материалы для углубления знаний и улучшения практических навыков в DevOps: книги, плейлисты, каналы и курсы.
Канал TechWorldwithNana. Здесь регулярно выходят инструкции, обзоры и небольшие курсы для актуальных DevOps-инструментов: Docker, Kubernetes, Terraform, Ansible, GitLab CI/CD, Argo CD.
Курс «Сети для самых маленьких». 16 модулей о сетях, их настройке и администрировании. Материалы расположены так, чтобы пользователь мог пошагово идти от основ к сложных тем. К примеру, BGP и MPLS.
Плейлист «Docker: глубокое погружение». Курс на YouTube-канале JavaScript.Ninja состоит из шести видео. Они направлены на изучение принципов работы Docker. В среднем уроки длятся 20 минут, поэтому вы сможете легко изучать их в свободное время. Среди тем — изоляция, пространства имен и файловые слои.
Книга «Проект “Феникс”». В книге не освещаются технические аспекты DevOps. Повествование идет от лица технического директора департамента, где он сталкивается с ошибками в организации. Будет интересно руководителям, желающим улучшить процессы в своей компании, и всем, кто интересуется DevOps и хочет оценить пользу подхода в их работе.
Приходите отметить 10 лет Kubernetes, обсудить кейсы и тренды DevOps на Kuber Conf 4 июля
В четверг, 4 июля, состоится главная в России конференция по Kubernetes®. Мы встретимся на Kuber Conf'24 в московском GOELRO SPACE и в онлайне, чтобы обсудить тренды развития российского DevOps, использование контейнерных технологий и безопасность кластеров и данных.
В этом году Kubernetes исполнилось 10 лет — и это повод посмотреть, с чего всё начиналось, каких масштабов достигло сейчас, и поговорить, какие специалисты и технологии будут актуальны в ближайшие годы.
Среди тем:
инсайты из исследования State of DevOps;
кейсы хранения чувствительных данных в VCS и защиты против атак supply chain;
обсуждение текущего состояния инструментов observability;
опыт защиты Control Plane от перегрузки с помощью APF и применения политик Kyverno для безопасности кластеров и их конфигураций;
рассказ о том, как и какие гайдлайны Kubernetes можно нарушить, чтобы описывать инфраструктуру в разы быстрее.
Ждём разработчиков, архитекторов, тестировщиков, инженеров по доступности сервисов, DevOps‑ и DevSecOps‑инженеров, и всех, кто работает с Kubernetes и не боится сложных задач.
Всем DevOps! Наш DevOps-инженер Данил выпустил очень полезный туториал для тех, кто только начинает своё знакомство с Kubernetes.
Если вы хотите понять, как развернуть кластер Kubernetes на собственных серверах с отказоустойчивым балансировщиком в виде MetalLB, то новая статья в нашем блоге придётся как раз кстати.
Вы узнаете, как связка MetalLB, Longhorn и Kubespray позволяет обойтись меньшим количеством виртуалок и построить закрытую, высокоэффективную систему, способную удовлетворить специфические потребности бизнеса.
Сегодня Docker Hub перестал работать для российских пользователей. Вместо репозитория открывается сообщение о блокировке IP-адресов в нескольких регионах мира, в том числе в Крыму. Однако сайт недоступен для всех россиян. Head of DevOps в AGIMA Дамир Грачев объясняет, почему это стало головной болью для большинства IT-компаний.
— Стресс сегодня пережили многие, потому что тема микросервисной архитектуры стала модной в последние годы и Docker Hub был популярен. Из-за его отключения, по сути, упала инфраструктура многих проектов, остановился процесс выпуска релизов. Ломается сборка докеров, пайплайны и т. д. Могут даже ломаться кластеры Kubernetes, если в них ссылка на Docker Hub без зеркала.
Эта ситуация приводит к производственным сбоям. Все отвлекаются на решение этой проблемы. А если говорить глобально, то у каких-то компаний могут возникнуть проблемы с безопасностью. Сегодня мы увидели кучу странных зеркал на Docker Hub, которым сложно доверять. При их использовании произойти может что угодно — вплоть до повторении истории со СДЭКом.
Сейчас мы работаем в двух направлениях. Первое: чтобы мы могли продолжить работу, используем публичное зеркало, которому можно доверять. В нашем случае это зеркало от Яндекса. Второе направление: ищем способ решить проблему надолго. Поэтому у нас есть направление инфраструктурной разработки, делаем собственный кэширующий прокси. Рассчитываем уже сегодня закончить, на внедрение в проекты уйдет пара дней.
Хотите узнать, как развернуть приватную инсталляцию Kubernetes в публичном облаке с помощью Terraform?
На практическом вебинаре поделимся тонкостями: ? расскажем, как построить частное облако внутри публичного; ? разберем клиентские кейсы; ? покажем, как создать кластер Kubernetes с приватнымAPI с помощью Terraform;
Задавайте вопросы через форму регистрации или в чате трансляции — ответим на них в конце вебинара. Авторам самых интересных подарим плюшевых Тирексов ?
Все зарегистрированные участники получат запись трансляции и примеры готовых манифестов Terraform.
