DevOps *

DevOps для начинающих: подборка материалов от команды Selectel

В подборку вошли материалы для углубления знаний и улучшения практических навыков в DevOps: книги, плейлисты, каналы и курсы.

Канал TechWorldwithNana. Здесь регулярно выходят инструкции, обзоры и небольшие курсы для актуальных DevOps-инструментов: Docker, Kubernetes, Terraform, Ansible, GitLab CI/CD, Argo CD.

Курс «Сети для самых маленьких». 16 модулей о сетях, их настройке и администрировании. Материалы расположены так, чтобы пользователь мог пошагово идти от основ к сложных тем. К примеру, BGP и MPLS.

Плейлист «Docker: глубокое погружение». Курс на YouTube-канале JavaScript.Ninja состоит из шести видео. Они направлены на изучение принципов работы Docker. В среднем уроки длятся 20 минут, поэтому вы сможете легко изучать их в свободное время. Среди тем — изоляция, пространства имен и файловые слои.

Книга «Проект “Феникс”». В книге не освещаются технические аспекты DevOps. Повествование идет от лица технического директора департамента, где он сталкивается с ошибками в организации. Будет интересно руководителям, желающим улучшить процессы в своей компании, и всем, кто интересуется DevOps и хочет оценить пользу подхода в их работе.

Полная подборка — в Академии Selectel →

Приходите отметить 10 лет Kubernetes, обсудить кейсы и тренды DevOps на Kuber Conf 4 июля

В четверг, 4 июля, состоится главная в России конференция по Kubernetes®.
Мы встретимся на Kuber Conf'24 в московском GOELRO SPACE и в онлайне, чтобы обсудить тренды развития российского DevOps, использование контейнерных технологий и безопасность кластеров и данных.

В этом году Kubernetes исполнилось 10 лет — и это повод посмотреть, с чего всё начиналось, каких масштабов достигло сейчас, и поговорить, какие специалисты и технологии будут актуальны в ближайшие годы.

Среди тем:

• инсайты из исследования State of DevOps;

• кейсы хранения чувствительных данных в VCS и защиты против атак supply chain;

• обсуждение текущего состояния инструментов observability;

• опыт защиты Control Plane от перегрузки с помощью APF и применения политик Kyverno для безопасности кластеров и их конфигураций;

• рассказ о том, как и какие гайдлайны Kubernetes можно нарушить, чтобы описывать инфраструктуру в разы быстрее.

Ждём разработчиков, архитекторов, тестировщиков, инженеров по доступности сервисов, DevOps‑ и DevSecOps‑инженеров, и всех, кто работает с Kubernetes и не боится сложных задач.

Посмотреть программу и присоединиться

Привет, сегодня хочу коротко рассказать про жизненный цикл Docker контейнера.

Жизненный цикл Docker контейнера

1. Создание (Created):

   • Контейнер создаётся с помощью команды docker create.

   • Команда docker run объединяет docker create и docker start.

2. Запуск (Running):

   • Контейнер начинает работать с командами docker start или docker restart.

   • Можно приостановить контейнер командой docker pause и возобновить работу командой docker unpause.

3. Перезапуск (Restarting):

   • Контейнер автоматически перезапускается командой docker restart.

4. Пауза (Paused):

   • Контейнер временно приостанавливается командой docker pause и возобновляется командой docker unpause.

5. Остановка (Exited):

   • Контейнер прекращает свою работу командами docker stop или docker kill.

6. Удаление (Removing):

   • Контейнер удаляется командой docker rm.

Эти этапы помогают понять, как управлять контейнерами и какие команды для этого использовать.

Сохраняйте в закладки, подписывайтесь, ставьте лайки если эта информация была вам полезной.

✉️ Всем привет! Мы запустили собственную email-рассылку о DevOps и системном администрировании.

Что вы найдёте в наших письмах?

1. Эксклюзивные лонгриды на техническую тематику. Как на Хабре, только короче;

2. Понятные чек-листы и туториалы, которыми можно пользоваться;

3. Чил-аут контент с капелькой креатива.

Пишем редко, но с душой и по делу. Отбираем только полезные для вашей работы темы. Прислушаемся, если вам захочется чего-то более специального.

После подтверждения подписки вам на ящик сразу упадёт письмо с лучшими практиками по Kubernetes.

Нажмите сюда, чтобы подписаться. Будем рады каждому подписчику.

Любите бюджетные коммутаторы? Приглашаем на терапию для сетевиков 20 июня

На юбилейном митапе Selectel Network Meetup#10 создадим safe space для обсуждения дешевых коммутаторов: поделимся позитивным опытом и болью. Расскажем, как выглядит правильная TCP-сессия и почему что-то может пойти не так. А также откроем всю правду о Wi-Fi 😉

Приглашаем в офис Selectel всех, кто хочет присутствовать лично. А для участников из других городов организуем трансляцию встречи.

Темы докладов: 

• защита от SYN-flood,

• заблуждения о Wi-Fi,

• терапевтическая сессия: как поставить дешевый коммутатор и перестать беспокоиться.

Также вы сможете узнать подробнее про сетевой департамент Selectel и историю развития нашего Wi-Fi 🌐

Подключайтесь онлайн или приходите в наш офис ➡️

Мы провели исследование  и выяснили, что курс «Управление командой разработки» подходит руководителей DevOps, QA, DS и аналитиков. Сейчас 12% покупателей курса — проджект-менеджеры, а 14% — тимлиды различных направлений.

Приоритеты менеджеров:

• Стать более технически подкованными, чтобы лучше понимать разработчиков;

• Частично или полностью заменить тимлида, если в компании нет отдельной позиции;

• Стать увереннее, объективно оценивать свои навыки;

• Научиться оценивать время на выполнение задач;

• Повысить авторитет среди разработчиков.

Приоритеты тимлидов DevOps, QA, DS и аналитиков:

• Лучше справляться с текущей ролью (нет цели начать руководить разработчиками);

• Улучшить навыки управления и систематизировать знания;

• Проработать слабые стороны;

• Убедиться в своём подходе, не опираться на интуитивные решения. 

Для прохождения курса не требуются навыки программирования. Много внимания уделяется мягким навыкам с примерами из жизни руководителя разработчиков и тому, как:

• Управлять ресурсами и временем. Делегировать, планировать, находить баланс;

• Нанимать, адаптировать и мотивировать сотрудников, давать обратную связь;

• Ставить выполнение задач на поток, применять Scrum и Kanban;

• Проводить встречи результативно, находить подход ко всем в команде, взаимодействовать с заказчиками, решать конфликты.

https://hub.docker.com/ снова доступен?

Всем привет! Не docker'ом единым мы живы. Хочу показать, какими ещё вариантами обхода блокировки Docker Hub в России пользуется наша команда.

cri-o
Добавьте в файл /etc/containers/registries.conf следующий блок:
[[registry]]
location = "docker.io"

[[registry.mirror]]
location = "mirror.gcr.io"
и перезагрузите cri-o. Можно не переживать за контейнеры, они ребутаться не будут.

containerd
Нужно добавить или отредактировать блок plugins в /etc/containerd/config.toml:
[plugins]
[plugins."io.containerd.grpc.v1.cri"]
[plugins."io.containerd.grpc.v1.cri".registry]

[plugins."io.containerd.grpc.v1.cri".registry.mirrors]

[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
endpoint = ["https://registry-1.docker.io", "https://mirror.gcr.io"]
и перезагрузить containerd. Здесь тоже можно не переживать за запущенные контейнеры.

Kaniko
Если возникли проблемы при билде с помощью Kaniko, то можно решить проблему либо добавлением аргумента --registry-mirror mirror.gcr.io, либо с помощью переменной окружения KANIKO_REGISTRY_MIRROR="mirror.gcr.io". Мы, например, вынесли её на уровень админки GitLab, чтобы вообще не трогать .gitlab-ci.yml, поэтому рекомендуем воспользоваться именно переменной для более комфортного обхода блокировки.

Всем DevOps! Наш DevOps-инженер Данил выпустил очень полезный туториал для тех, кто только начинает своё знакомство с Kubernetes.

Если вы хотите понять, как развернуть кластер Kubernetes на собственных серверах с отказоустойчивым балансировщиком в виде MetalLB, то новая статья в нашем блоге придётся как раз кстати.

Вы узнаете, как связка MetalLB, Longhorn и Kubespray позволяет обойтись меньшим количеством виртуалок и построить закрытую, высокоэффективную систему, способную удовлетворить специфические потребности бизнеса.

? Для того чтобы начать читать, тыкайте сюда.

Docker Hub ушел из России. Чем это грозит?

Сегодня Docker Hub перестал работать для российских пользователей. Вместо репозитория открывается сообщение о блокировке IP-адресов в нескольких регионах мира, в том числе в Крыму. Однако сайт недоступен для всех россиян. Head of DevOps в AGIMA Дамир Грачев объясняет, почему это стало головной болью для большинства IT-компаний.

— Стресс сегодня пережили многие, потому что тема микросервисной архитектуры стала модной в последние годы и Docker Hub был популярен. Из-за его отключения, по сути, упала инфраструктура многих проектов, остановился процесс выпуска релизов. Ломается сборка докеров, пайплайны и т. д. Могут даже ломаться кластеры Kubernetes, если в них ссылка на Docker Hub без зеркала.

Эта ситуация приводит к производственным сбоям. Все отвлекаются на решение этой проблемы. А если говорить глобально, то у каких-то компаний могут возникнуть проблемы с безопасностью. Сегодня мы увидели кучу странных зеркал на Docker Hub, которым сложно доверять. При их использовании произойти может что угодно — вплоть до повторении истории со СДЭКом.

Сейчас мы работаем в двух направлениях. Первое: чтобы мы могли продолжить работу, используем публичное зеркало, которому можно доверять. В нашем случае это зеркало от Яндекса. Второе направление: ищем способ решить проблему надолго. Поэтому у нас есть направление инфраструктурной разработки, делаем собственный кэширующий прокси. Рассчитываем уже сегодня закончить, на внедрение в проекты уйдет пара дней.

Наша статья по DevSecOps победила в премии «Технотекст» в категории «Информационная безопасность», грейд Senior. Очень рад!

Расскажу в двух словах, о чём статья:
- В статье мы мы рассказали, что такое концепция Shift Left, и как она помогает сократить стоимость исправления ошибок и сроки разработки: чем раньше в процессе разработки начинаются проверки безопасности, тем лучше.
- Затем разобрали структуру DevSecOps-пайплайна и посмотрели, какие проверки безопасности проводят на каждом этапе пайплайна: от pre-commit до post-deploy.
- В конце рассказали о Security Dashboards — инструментах визуализации данных, которые помогают эффективно анализировать уязвимости и управлять процессом их устранения.

Читать статью

Все результаты премии «Технотекст»

Друзья, у Миши, нашего DevOps-инженера, вышла вторая часть серии про создание почтового сервера с чистого поля.

Вообще, создание почтовика — нетривиальная задача, которая требует внимания к деталям. Если вы хотите создать надёжный и эффективный почтовый сервер, который будет успешно функционировать и обслуживать пользователей, то вам помогут туториалы, которые пишет Миша.

В новой статье он показывает, как его настроить с помощью PostfixAdmin, Dovecot и RainLoop. А ещё в тексте вы найдёте немного экзотики, а именно best practices по Dovecot.

? Если вы ещё не читали, то вот ссылка. А здесь опубликована первая часть серии.

21 мая проводим воркшоп «Приватные инсталляции Kubernetes»

Хотите узнать, как развернуть приватную инсталляцию Kubernetes в публичном облаке с помощью Terraform?

На практическом вебинаре поделимся тонкостями:
? расскажем, как построить частное облако внутри публичного;
? разберем клиентские кейсы;
? покажем, как создать кластер Kubernetes с приватным API с помощью Terraform;

Задавайте вопросы через форму регистрации или в чате трансляции — ответим на них в конце вебинара. Авторам самых интересных подарим плюшевых Тирексов ?

Все зарегистрированные участники получат запись трансляции и примеры готовых манифестов Terraform.

Регистрируйтесь по ссылке →

Всем DevOps! Станислав Тибекин, CEO компании Nixys, публикует перевод огромного и полезного чек-листа по разработке облачного приложения. Первая часть посвящена бизнес-требованиям.

Вы узнаете, что нужно учесть при разработке приложения, чтобы обеспечить отказоустойчивость, масштабируемость и непрерывность бизнеса.

А ещё вы найдёте полезную информацию про:

• Базы данных;

• Хранилища данных;

• Инструменты;

• Мониторинг;

• Экологию.

Чтобы начать читать — кликайте сюда.

В 19:00 начинаем Selectel Admin Meetup.

Присоединяйтесь к трансляции, задавайте вопросы и общайтесь в чате с коллегами.

Смотрите трансляцию прямо в этом посте или переходите на YouTube.

Всем привет! Мы продолжаем обзор Redis — системы хранения данных в виде структур. 

Новая статья Петра, нашего DevOps-инженера, — это детальное руководство по базовой репликации Redis. Благодаря ему вы сможете настроить эту СУБД на высокий уровень отказоустойчивости. 

Если суперкратко:

• Репликация в Redis ассинхронна. 

• Репликация не блокируется на стороне мастера. 

• Репликация (почти) не блокируется на стороне слейвов. 

• У мастера может быть любое количество реплик.

• Каждый слейв может выступать мастером для другого инстанса.

А ещё в конце вас ждёт приятный бонус в виде разбора атаки на Redis через H2Miner, из-за которой можно полностью потерять данные на инстансе Redis

Нажмите сюда, что начать читать.

Привет, админы! 25 апреля проводим Selectel Admin Meetup.

Обсудим применение IAC для тестирования облачной платформы. Понаблюдаем за эволюцией установщиков ОС. Устроим дискуссию о том, кем становиться в 2024 году — DevOps-инженером или системным администратором.

Темы докладов и спикеры

Применяем IAC для тестирования облачной платформы — не terraform’ом единым
Олег Зайцев, архитектор клиентских решений, Selectel.

Эволюция установщиков ОС — нельзя автоматизировать?!
Александр Никифоров, старший системный администратор, Selectel.

Баттл «DevOps и системный администратор — в чем разница и куда стоит развиваться в 2024 году?»
Михаил Морев, старший эксперт по развитию DevOps-практик, Райффайзенбанк.
Александр Никифоров, старший системный администратор, Selectel.
Антон Алексеев, DevOps-инженер, Selectel.

Смотрите подробную программу и регистрируйтесь →

Друзья, у нас вышла заключительная часть серии «Б значит не Безумие, а Безопасность».

В финальной статье наш DevOps‑инженер Алексей покажет, как защитить ваши базы данных. В роли БД рассматривается PostgreSQL версии 14 с управлением через patroni.

Вы узнаете, как повысить скорость анализа потенциальных инцидентов, как настроить процессы шифрования дисков, как сгенерировать SSL‑сертификаты для базы данных и обеспечить их двухстороннюю проверку. А ещё познакомитесь с wal‑g-backup.

Если ещё не читали, то сейчас самое время;) Нажмите сюда, чтобы начать.

Приглашаем на новый бесплатный вебинар «Стратегии успешной непрерывной интеграции».

На вебинаре поговорим о непрерывной интеграции, обсудим ее преимущества, стратегии и необходимые инструменты.

Дата: 11.04.2024
Время: 15:00-16:00 (МСК)

В рамках вебинара:
• обсудим, что такое непрерывная интеграция и задачи, которые она решает;
• поговорим про проблемы непрерывной интеграции и способы их решения;
• расскажем про скоростной конвейер и быструю обратную связь;
• поговорим про лучшие практики CI;
• обсудим процесс непрерывной интеграции и платформы для непрерывной интеграции;
• поделимся опытом работы с ограничениями;
• подискутируем про плюсы непрерывной интеграции.

Спикер вебинара: Никонов Герман работает в ИТ с 2012 года. Начал свою карьеру как системный администратор Windows и перешел к администрированию Linux и DevOps в 2018 от Junior Engineer до DevOps Engineer.

Регистрация по ссылке.

Прекрасный и ужасный Kubernetes

Сегодня на очереди пост по докладу Василия Мермера из Fland о кубернизации приложений. В полной версии Василий в деталях рассказывает о плюсах и минусах Kubernetes, о критериях хорошего приложения и его жизненном цикле.

Kubernetes — полезный инструмент для развертывания, масштабирования и управления контейнезированными приложениями. Но если с ним неправильно обращаться, он может работать против вас. Наверняка так и появилось мнение, что Kubernetes — не торт. Но проблема в том, что люди часто используют один контейнер для всего:

? Помещают внутрь Supervisorctl несколько процессов.

? У каждого свои лог-файлы для разных мест.

? Состояние лежит рядом в виде файла.

Понятно, что такой катавасией невозможно управлять. Kubernetes к тому же и сложный инструмент, который нужно использовать правильно. И при условии, что разработка и эксплуатация работают вместе. Можно сказать, что разработчик и инженер едут в двухместных санях по бобслейной трассе.

Чтобы ехать хорошо и быстро, нужно правильно написать, собрать и доставить код.

? Если конвейер CI/CD построен правильно, мы успешно доедем до финиша.

? Чтобы было куда доставить код, нужен правильно приготовленный Kubernetes.

? Приложение должно быть написано в соответствии с 12 факторами:

? И еще 7 факторами:

• наблюдаемость (observable);

• прогнозируемость (schedulable);

• обновляемость (upgradable);

• минимальные привилегии (least privilege);

• контролируемость (auditable);

• защищенность (securable);

• измеримость (measurable).