DevOps *

Всем привет!

Когда заходит речь о разделении обязанностей между разработчиками и DevOps инженерами, споры обычно возникают в двух моментах - манифесты k8s\Openshift и CI джобы - они же джобы сборки. Поговорим про первые.
Мое мнение - за манифесты k8s\Openshift должны отвечать разработчики. Почему? А вот почему:

1. liveness\readiness probes - только разработчики знают, по каким url они находятся. Конечно в мире Spring Boot и Actuator есть некая стандартизация, но не везде и не всегда. И не всегда actuator подходит для healthcheck, но это отдельная тема

2. liveness\readiness timeouts - разработчики точно знают сколько времени старт пода. DevOps-ы могут это время эмпирически определить, но это требует времени)

3. timeouts, circuit breaker, retry - опять же только разработчики могут сказать, реализовали они их на прикладном уровне или требуется настройка на уровне Service Mesh. Могут быть требования корпоративной архитектуры\сопровождения ПРОМ, их определяющие, но опять же не везде и не всегда.

4. куда пишутся логи, какие существуют метрики, где их можно взять. Снова можно повториться, что где-то это стандартизировано, где-то нет.

5. любые другие тонкие облачные настройки - переменные среды, значение параметров в ConfigMap, поддержка graceful shutdown .... Наверняка DevOps или сопровождение со всем этим разберется. Но будет ли это эффективно?

Надежность — не просто слово, а важное дело

Привет! С вами центр надежности Т-Банка, и мы приглашаем инженеров на SRE-митап.

Где: Москва, офис Space, ул. Грузинский Вал, 7
Когда: 29 июля в 19:00

На встрече вы узнаете:

• как не напрягаясь казаться надежнее, чем есть на самом деле;

• понять, что ест ресурсы в PostgreSQL и как это прекратить;

• построить хранилище логов, если Grep вы уже переросли.

Для тех, кто не сможет прийти на митап, мы проведем онлайн-трансляцию. Регистрируйтесь по ссылке и выбирайте удобный формат участия.

О чем расскажут эксперты

Друзья! У Петра вышло продолжение серии обзорных статей про ClickHouse — open-source OLAP базу данных, ориентированную на колонки. В новой статье наш DevOps-инженер рассказывает про особенности репликации в этой СУБД.

Из этой части вы узнаете:

• как работают сервисы координации Zookeeper и ClickHouse Keeper;

• по какой причине может произойти падение репликации;

• почему не следует очищать Keeper вручную.

Чтобы вспомнить, о чём Пётр рассказывал в первой части — нажмите сюда.

А чтобы ознакомиться с новой частью — сюда.

Исследование State of DevOps Russia 2024: 44% российских компаний уже используют искусственный интеллект для разработки и тестирования ПО.

Yandex Cloud совместно с «Экспресс 42» и другими партнёрами выпустили первую часть исследования State of DevOps Russia. В этом году в опросе участвовали более 4000 специалистов — от руководителей до тех, кто напрямую связан с разработкой, тестированием и эксплуатацией систем.

По данным исследования, в 2023 году 33% российских компаний увеличили IT‑бюджет. Больше всего бизнес инвестировал в найм IT‑специалистов и обновление программного обеспечения и лицензий. Для оптимизации работы ПО и DevOps‑процессов компании стали чаще применять технологии искусственного интеллекта — об этом рассказали 44% опрошенных.

DevOps‑специалисты используют алгоритмы машинного обучения для автоматизации тестирования кода, выявления аномалий в данных, управления конфигурациями систем и инцидентами. 47% респондентов отметили, что применение таких технологий положительно повлияло на эффективность работы.

Кроме этого, 41% опрошенных отметили повышение прозрачности работы с данными при работе в облаке. 50% респондентов отметили, что облака помогают повышать соответствие требования регулятора в области информационной безопасности.

Исследование State of DevOps Russia 2024 провели «Экспресс 42» при стратегической поддержке Deckhouse совместно с облачной платформой Yandex Cloud и Head Hunter, AvitoTech, Т‑Банк, JUG Ru Group и OTUS.

DevOps для начинающих: подборка материалов от команды Selectel

В подборку вошли материалы для углубления знаний и улучшения практических навыков в DevOps: книги, плейлисты, каналы и курсы.

Канал TechWorldwithNana. Здесь регулярно выходят инструкции, обзоры и небольшие курсы для актуальных DevOps-инструментов: Docker, Kubernetes, Terraform, Ansible, GitLab CI/CD, Argo CD.

Курс «Сети для самых маленьких». 16 модулей о сетях, их настройке и администрировании. Материалы расположены так, чтобы пользователь мог пошагово идти от основ к сложных тем. К примеру, BGP и MPLS.

Плейлист «Docker: глубокое погружение». Курс на YouTube-канале JavaScript.Ninja состоит из шести видео. Они направлены на изучение принципов работы Docker. В среднем уроки длятся 20 минут, поэтому вы сможете легко изучать их в свободное время. Среди тем — изоляция, пространства имен и файловые слои.

Книга «Проект “Феникс”». В книге не освещаются технические аспекты DevOps. Повествование идет от лица технического директора департамента, где он сталкивается с ошибками в организации. Будет интересно руководителям, желающим улучшить процессы в своей компании, и всем, кто интересуется DevOps и хочет оценить пользу подхода в их работе.

Полная подборка — в Академии Selectel →

Приходите отметить 10 лет Kubernetes, обсудить кейсы и тренды DevOps на Kuber Conf 4 июля

В четверг, 4 июля, состоится главная в России конференция по Kubernetes®.
Мы встретимся на Kuber Conf'24 в московском GOELRO SPACE и в онлайне, чтобы обсудить тренды развития российского DevOps, использование контейнерных технологий и безопасность кластеров и данных.

В этом году Kubernetes исполнилось 10 лет — и это повод посмотреть, с чего всё начиналось, каких масштабов достигло сейчас, и поговорить, какие специалисты и технологии будут актуальны в ближайшие годы.

Среди тем:

• инсайты из исследования State of DevOps;

• кейсы хранения чувствительных данных в VCS и защиты против атак supply chain;

• обсуждение текущего состояния инструментов observability;

• опыт защиты Control Plane от перегрузки с помощью APF и применения политик Kyverno для безопасности кластеров и их конфигураций;

• рассказ о том, как и какие гайдлайны Kubernetes можно нарушить, чтобы описывать инфраструктуру в разы быстрее.

Ждём разработчиков, архитекторов, тестировщиков, инженеров по доступности сервисов, DevOps‑ и DevSecOps‑инженеров, и всех, кто работает с Kubernetes и не боится сложных задач.

Посмотреть программу и присоединиться

Привет, сегодня хочу коротко рассказать про жизненный цикл Docker контейнера.

Жизненный цикл Docker контейнера

1. Создание (Created):

   • Контейнер создаётся с помощью команды docker create.

   • Команда docker run объединяет docker create и docker start.

2. Запуск (Running):

   • Контейнер начинает работать с командами docker start или docker restart.

   • Можно приостановить контейнер командой docker pause и возобновить работу командой docker unpause.

3. Перезапуск (Restarting):

   • Контейнер автоматически перезапускается командой docker restart.

4. Пауза (Paused):

   • Контейнер временно приостанавливается командой docker pause и возобновляется командой docker unpause.

5. Остановка (Exited):

   • Контейнер прекращает свою работу командами docker stop или docker kill.

6. Удаление (Removing):

   • Контейнер удаляется командой docker rm.

Эти этапы помогают понять, как управлять контейнерами и какие команды для этого использовать.

Сохраняйте в закладки, подписывайтесь, ставьте лайки если эта информация была вам полезной.

✉️ Всем привет! Мы запустили собственную email-рассылку о DevOps и системном администрировании.

Что вы найдёте в наших письмах?

1. Эксклюзивные лонгриды на техническую тематику. Как на Хабре, только короче;

2. Понятные чек-листы и туториалы, которыми можно пользоваться;

3. Чил-аут контент с капелькой креатива.

Пишем редко, но с душой и по делу. Отбираем только полезные для вашей работы темы. Прислушаемся, если вам захочется чего-то более специального.

После подтверждения подписки вам на ящик сразу упадёт письмо с лучшими практиками по Kubernetes.

Нажмите сюда, чтобы подписаться. Будем рады каждому подписчику.

Любите бюджетные коммутаторы? Приглашаем на терапию для сетевиков 20 июня

На юбилейном митапе Selectel Network Meetup#10 создадим safe space для обсуждения дешевых коммутаторов: поделимся позитивным опытом и болью. Расскажем, как выглядит правильная TCP-сессия и почему что-то может пойти не так. А также откроем всю правду о Wi-Fi 😉

Приглашаем в офис Selectel всех, кто хочет присутствовать лично. А для участников из других городов организуем трансляцию встречи.

Темы докладов: 

• защита от SYN-flood,

• заблуждения о Wi-Fi,

• терапевтическая сессия: как поставить дешевый коммутатор и перестать беспокоиться.

Также вы сможете узнать подробнее про сетевой департамент Selectel и историю развития нашего Wi-Fi 🌐

Подключайтесь онлайн или приходите в наш офис ➡️

Мы провели исследование  и выяснили, что курс «Управление командой разработки» подходит руководителей DevOps, QA, DS и аналитиков. Сейчас 12% покупателей курса — проджект-менеджеры, а 14% — тимлиды различных направлений.

Приоритеты менеджеров:

• Стать более технически подкованными, чтобы лучше понимать разработчиков;

• Частично или полностью заменить тимлида, если в компании нет отдельной позиции;

• Стать увереннее, объективно оценивать свои навыки;

• Научиться оценивать время на выполнение задач;

• Повысить авторитет среди разработчиков.

Приоритеты тимлидов DevOps, QA, DS и аналитиков:

• Лучше справляться с текущей ролью (нет цели начать руководить разработчиками);

• Улучшить навыки управления и систематизировать знания;

• Проработать слабые стороны;

• Убедиться в своём подходе, не опираться на интуитивные решения. 

Для прохождения курса не требуются навыки программирования. Много внимания уделяется мягким навыкам с примерами из жизни руководителя разработчиков и тому, как:

• Управлять ресурсами и временем. Делегировать, планировать, находить баланс;

• Нанимать, адаптировать и мотивировать сотрудников, давать обратную связь;

• Ставить выполнение задач на поток, применять Scrum и Kanban;

• Проводить встречи результативно, находить подход ко всем в команде, взаимодействовать с заказчиками, решать конфликты.

https://hub.docker.com/ снова доступен?

Всем привет! Не docker'ом единым мы живы. Хочу показать, какими ещё вариантами обхода блокировки Docker Hub в России пользуется наша команда.

cri-o
Добавьте в файл /etc/containers/registries.conf следующий блок:
[[registry]]
location = "docker.io"

[[registry.mirror]]
location = "mirror.gcr.io"
и перезагрузите cri-o. Можно не переживать за контейнеры, они ребутаться не будут.

containerd
Нужно добавить или отредактировать блок plugins в /etc/containerd/config.toml:
[plugins]
[plugins."io.containerd.grpc.v1.cri"]
[plugins."io.containerd.grpc.v1.cri".registry]

[plugins."io.containerd.grpc.v1.cri".registry.mirrors]

[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
endpoint = ["https://registry-1.docker.io", "https://mirror.gcr.io"]
и перезагрузить containerd. Здесь тоже можно не переживать за запущенные контейнеры.

Kaniko
Если возникли проблемы при билде с помощью Kaniko, то можно решить проблему либо добавлением аргумента --registry-mirror mirror.gcr.io, либо с помощью переменной окружения KANIKO_REGISTRY_MIRROR="mirror.gcr.io". Мы, например, вынесли её на уровень админки GitLab, чтобы вообще не трогать .gitlab-ci.yml, поэтому рекомендуем воспользоваться именно переменной для более комфортного обхода блокировки.

Всем DevOps! Наш DevOps-инженер Данил выпустил очень полезный туториал для тех, кто только начинает своё знакомство с Kubernetes.

Если вы хотите понять, как развернуть кластер Kubernetes на собственных серверах с отказоустойчивым балансировщиком в виде MetalLB, то новая статья в нашем блоге придётся как раз кстати.

Вы узнаете, как связка MetalLB, Longhorn и Kubespray позволяет обойтись меньшим количеством виртуалок и построить закрытую, высокоэффективную систему, способную удовлетворить специфические потребности бизнеса.

? Для того чтобы начать читать, тыкайте сюда.

Docker Hub ушел из России. Чем это грозит?

Сегодня Docker Hub перестал работать для российских пользователей. Вместо репозитория открывается сообщение о блокировке IP-адресов в нескольких регионах мира, в том числе в Крыму. Однако сайт недоступен для всех россиян. Head of DevOps в AGIMA Дамир Грачев объясняет, почему это стало головной болью для большинства IT-компаний.

— Стресс сегодня пережили многие, потому что тема микросервисной архитектуры стала модной в последние годы и Docker Hub был популярен. Из-за его отключения, по сути, упала инфраструктура многих проектов, остановился процесс выпуска релизов. Ломается сборка докеров, пайплайны и т. д. Могут даже ломаться кластеры Kubernetes, если в них ссылка на Docker Hub без зеркала.

Эта ситуация приводит к производственным сбоям. Все отвлекаются на решение этой проблемы. А если говорить глобально, то у каких-то компаний могут возникнуть проблемы с безопасностью. Сегодня мы увидели кучу странных зеркал на Docker Hub, которым сложно доверять. При их использовании произойти может что угодно — вплоть до повторении истории со СДЭКом.

Сейчас мы работаем в двух направлениях. Первое: чтобы мы могли продолжить работу, используем публичное зеркало, которому можно доверять. В нашем случае это зеркало от Яндекса. Второе направление: ищем способ решить проблему надолго. Поэтому у нас есть направление инфраструктурной разработки, делаем собственный кэширующий прокси. Рассчитываем уже сегодня закончить, на внедрение в проекты уйдет пара дней.

Наша статья по DevSecOps победила в премии «Технотекст» в категории «Информационная безопасность», грейд Senior. Очень рад!

Расскажу в двух словах, о чём статья:
- В статье мы мы рассказали, что такое концепция Shift Left, и как она помогает сократить стоимость исправления ошибок и сроки разработки: чем раньше в процессе разработки начинаются проверки безопасности, тем лучше.
- Затем разобрали структуру DevSecOps-пайплайна и посмотрели, какие проверки безопасности проводят на каждом этапе пайплайна: от pre-commit до post-deploy.
- В конце рассказали о Security Dashboards — инструментах визуализации данных, которые помогают эффективно анализировать уязвимости и управлять процессом их устранения.

Читать статью

Все результаты премии «Технотекст»

Друзья, у Миши, нашего DevOps-инженера, вышла вторая часть серии про создание почтового сервера с чистого поля.

Вообще, создание почтовика — нетривиальная задача, которая требует внимания к деталям. Если вы хотите создать надёжный и эффективный почтовый сервер, который будет успешно функционировать и обслуживать пользователей, то вам помогут туториалы, которые пишет Миша.

В новой статье он показывает, как его настроить с помощью PostfixAdmin, Dovecot и RainLoop. А ещё в тексте вы найдёте немного экзотики, а именно best practices по Dovecot.

? Если вы ещё не читали, то вот ссылка. А здесь опубликована первая часть серии.

21 мая проводим воркшоп «Приватные инсталляции Kubernetes»

Хотите узнать, как развернуть приватную инсталляцию Kubernetes в публичном облаке с помощью Terraform?

На практическом вебинаре поделимся тонкостями:
? расскажем, как построить частное облако внутри публичного;
? разберем клиентские кейсы;
? покажем, как создать кластер Kubernetes с приватным API с помощью Terraform;

Задавайте вопросы через форму регистрации или в чате трансляции — ответим на них в конце вебинара. Авторам самых интересных подарим плюшевых Тирексов ?

Все зарегистрированные участники получат запись трансляции и примеры готовых манифестов Terraform.

Регистрируйтесь по ссылке →

Всем DevOps! Станислав Тибекин, CEO компании Nixys, публикует перевод огромного и полезного чек-листа по разработке облачного приложения. Первая часть посвящена бизнес-требованиям.

Вы узнаете, что нужно учесть при разработке приложения, чтобы обеспечить отказоустойчивость, масштабируемость и непрерывность бизнеса.

А ещё вы найдёте полезную информацию про:

• Базы данных;

• Хранилища данных;

• Инструменты;

• Мониторинг;

• Экологию.

Чтобы начать читать — кликайте сюда.

В 19:00 начинаем Selectel Admin Meetup.

Присоединяйтесь к трансляции, задавайте вопросы и общайтесь в чате с коллегами.

Смотрите трансляцию прямо в этом посте или переходите на YouTube.

Всем привет! Мы продолжаем обзор Redis — системы хранения данных в виде структур. 

Новая статья Петра, нашего DevOps-инженера, — это детальное руководство по базовой репликации Redis. Благодаря ему вы сможете настроить эту СУБД на высокий уровень отказоустойчивости. 

Если суперкратко:

• Репликация в Redis ассинхронна. 

• Репликация не блокируется на стороне мастера. 

• Репликация (почти) не блокируется на стороне слейвов. 

• У мастера может быть любое количество реплик.

• Каждый слейв может выступать мастером для другого инстанса.

А ещё в конце вас ждёт приятный бонус в виде разбора атаки на Redis через H2Miner, из-за которой можно полностью потерять данные на инстансе Redis

Нажмите сюда, что начать читать.