Друзья! У Петра вышло продолжение серии обзорных статей про ClickHouse — open-source OLAP базу данных, ориентированную на колонки. В новой статье наш DevOps-инженер рассказывает про особенности репликации в этой СУБД.
Из этой части вы узнаете:
как работают сервисы координации Zookeeper и ClickHouse Keeper;
по какой причине может произойти падение репликации;
почему не следует очищать Keeper вручную.
Чтобы вспомнить, о чём Пётр рассказывал в первой части — нажмите сюда.
Исследование State of DevOps Russia 2024:44% российских компаний уже используют искусственный интеллект для разработки и тестирования ПО.
Yandex Cloud совместно с «Экспресс 42» и другими партнёрами выпустили первую часть исследования State of DevOps Russia. В этом году в опросе участвовали более 4000 специалистов — от руководителей до тех, кто напрямую связан с разработкой, тестированием и эксплуатацией систем.
По данным исследования, в 2023 году 33% российских компаний увеличили IT‑бюджет. Больше всего бизнес инвестировал в найм IT‑специалистов и обновление программного обеспечения и лицензий. Для оптимизации работы ПО и DevOps‑процессов компании стали чаще применять технологии искусственного интеллекта — об этом рассказали 44% опрошенных.
DevOps‑специалисты используют алгоритмы машинного обучения для автоматизации тестирования кода, выявления аномалий в данных, управления конфигурациями систем и инцидентами. 47% респондентов отметили, что применение таких технологий положительно повлияло на эффективность работы.
Кроме этого, 41% опрошенных отметили повышение прозрачности работы с данными при работе в облаке. 50% респондентов отметили, что облака помогают повышать соответствие требования регулятора в области информационной безопасности.
Исследование State of DevOps Russia 2024 провели «Экспресс 42» при стратегической поддержке Deckhouse совместно с облачной платформой Yandex Cloud и Head Hunter, AvitoTech, Т‑Банк, JUG Ru Group и OTUS.
DevOps для начинающих: подборка материалов от команды Selectel
В подборку вошли материалы для углубления знаний и улучшения практических навыков в DevOps: книги, плейлисты, каналы и курсы.
Канал TechWorldwithNana. Здесь регулярно выходят инструкции, обзоры и небольшие курсы для актуальных DevOps-инструментов: Docker, Kubernetes, Terraform, Ansible, GitLab CI/CD, Argo CD.
Курс «Сети для самых маленьких». 16 модулей о сетях, их настройке и администрировании. Материалы расположены так, чтобы пользователь мог пошагово идти от основ к сложных тем. К примеру, BGP и MPLS.
Плейлист «Docker: глубокое погружение». Курс на YouTube-канале JavaScript.Ninja состоит из шести видео. Они направлены на изучение принципов работы Docker. В среднем уроки длятся 20 минут, поэтому вы сможете легко изучать их в свободное время. Среди тем — изоляция, пространства имен и файловые слои.
Книга «Проект “Феникс”». В книге не освещаются технические аспекты DevOps. Повествование идет от лица технического директора департамента, где он сталкивается с ошибками в организации. Будет интересно руководителям, желающим улучшить процессы в своей компании, и всем, кто интересуется DevOps и хочет оценить пользу подхода в их работе.
Приходите отметить 10 лет Kubernetes, обсудить кейсы и тренды DevOps на Kuber Conf 4 июля
В четверг, 4 июля, состоится главная в России конференция по Kubernetes®. Мы встретимся на Kuber Conf'24 в московском GOELRO SPACE и в онлайне, чтобы обсудить тренды развития российского DevOps, использование контейнерных технологий и безопасность кластеров и данных.
В этом году Kubernetes исполнилось 10 лет — и это повод посмотреть, с чего всё начиналось, каких масштабов достигло сейчас, и поговорить, какие специалисты и технологии будут актуальны в ближайшие годы.
Среди тем:
инсайты из исследования State of DevOps;
кейсы хранения чувствительных данных в VCS и защиты против атак supply chain;
обсуждение текущего состояния инструментов observability;
опыт защиты Control Plane от перегрузки с помощью APF и применения политик Kyverno для безопасности кластеров и их конфигураций;
рассказ о том, как и какие гайдлайны Kubernetes можно нарушить, чтобы описывать инфраструктуру в разы быстрее.
Ждём разработчиков, архитекторов, тестировщиков, инженеров по доступности сервисов, DevOps‑ и DevSecOps‑инженеров, и всех, кто работает с Kubernetes и не боится сложных задач.
Любите бюджетные коммутаторы? Приглашаем на терапию для сетевиков 20 июня
На юбилейном митапе Selectel Network Meetup#10 создадим safe space для обсуждения дешевых коммутаторов: поделимся позитивным опытом и болью. Расскажем, как выглядит правильная TCP-сессия и почему что-то может пойти не так. А также откроем всю правду о Wi-Fi 😉
Приглашаем в офис Selectel всех, кто хочет присутствовать лично. А для участников из других городов организуем трансляцию встречи.
Темы докладов:
защита от SYN-flood,
заблуждения о Wi-Fi,
терапевтическая сессия: как поставить дешевый коммутатор и перестать беспокоиться.
Также вы сможете узнать подробнее про сетевой департамент Selectel и историю развития нашего Wi-Fi 🌐
Мы провели исследование и выяснили, что курс «Управление командой разработки»подходит руководителей DevOps, QA, DS и аналитиков. Сейчас 12% покупателей курса — проджект-менеджеры, а 14% — тимлиды различных направлений.
Приоритеты менеджеров:
Стать более технически подкованными, чтобы лучше понимать разработчиков;
Частично или полностью заменить тимлида, если в компании нет отдельной позиции;
Стать увереннее, объективно оценивать свои навыки;
Научиться оценивать время на выполнение задач;
Повысить авторитет среди разработчиков.
Приоритеты тимлидов DevOps, QA, DS и аналитиков:
Лучше справляться с текущей ролью (нет цели начать руководить разработчиками);
Улучшить навыки управления и систематизировать знания;
Проработать слабые стороны;
Убедиться в своём подходе, не опираться на интуитивные решения.
Для прохождения курса не требуются навыки программирования. Много внимания уделяется мягким навыкам с примерами из жизни руководителя разработчиков и тому, как:
Управлять ресурсами и временем. Делегировать, планировать, находить баланс;
Нанимать, адаптировать и мотивировать сотрудников, давать обратную связь;
Ставить выполнение задач на поток, применять Scrum и Kanban;
Проводить встречи результативно, находить подход ко всем в команде, взаимодействовать с заказчиками, решать конфликты.
Всем привет! Не docker'ом единым мы живы. Хочу показать, какими ещё вариантами обхода блокировки Docker Hub в России пользуется наша команда.
cri-o Добавьте в файл /etc/containers/registries.conf следующий блок: [[registry]] location = "docker.io"
[[registry.mirror]] location = "mirror.gcr.io" и перезагрузите cri-o. Можно не переживать за контейнеры, они ребутаться не будут.
containerd Нужно добавить или отредактировать блок plugins в /etc/containerd/config.toml: [plugins] [plugins."io.containerd.grpc.v1.cri"] [plugins."io.containerd.grpc.v1.cri".registry]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"] endpoint = ["https://registry-1.docker.io", "https://mirror.gcr.io"] и перезагрузить containerd. Здесь тоже можно не переживать за запущенные контейнеры.
Kaniko Если возникли проблемы при билде с помощью Kaniko, то можно решить проблему либо добавлением аргумента --registry-mirror mirror.gcr.io, либо с помощью переменной окружения KANIKO_REGISTRY_MIRROR="mirror.gcr.io". Мы, например, вынесли её на уровень админки GitLab, чтобы вообще не трогать .gitlab-ci.yml, поэтому рекомендуем воспользоваться именно переменной для более комфортного обхода блокировки.
Всем DevOps! Наш DevOps-инженер Данил выпустил очень полезный туториал для тех, кто только начинает своё знакомство с Kubernetes.
Если вы хотите понять, как развернуть кластер Kubernetes на собственных серверах с отказоустойчивым балансировщиком в виде MetalLB, то новая статья в нашем блоге придётся как раз кстати.
Вы узнаете, как связка MetalLB, Longhorn и Kubespray позволяет обойтись меньшим количеством виртуалок и построить закрытую, высокоэффективную систему, способную удовлетворить специфические потребности бизнеса.
Сегодня Docker Hub перестал работать для российских пользователей. Вместо репозитория открывается сообщение о блокировке IP-адресов в нескольких регионах мира, в том числе в Крыму. Однако сайт недоступен для всех россиян. Head of DevOps в AGIMA Дамир Грачев объясняет, почему это стало головной болью для большинства IT-компаний.
— Стресс сегодня пережили многие, потому что тема микросервисной архитектуры стала модной в последние годы и Docker Hub был популярен. Из-за его отключения, по сути, упала инфраструктура многих проектов, остановился процесс выпуска релизов. Ломается сборка докеров, пайплайны и т. д. Могут даже ломаться кластеры Kubernetes, если в них ссылка на Docker Hub без зеркала.
Эта ситуация приводит к производственным сбоям. Все отвлекаются на решение этой проблемы. А если говорить глобально, то у каких-то компаний могут возникнуть проблемы с безопасностью. Сегодня мы увидели кучу странных зеркал на Docker Hub, которым сложно доверять. При их использовании произойти может что угодно — вплоть до повторении истории со СДЭКом.
Сейчас мы работаем в двух направлениях. Первое: чтобы мы могли продолжить работу, используем публичное зеркало, которому можно доверять. В нашем случае это зеркало от Яндекса. Второе направление: ищем способ решить проблему надолго. Поэтому у нас есть направление инфраструктурной разработки, делаем собственный кэширующий прокси. Рассчитываем уже сегодня закончить, на внедрение в проекты уйдет пара дней.
Наша статья по DevSecOps победила в премии «Технотекст» в категории «Информационная безопасность», грейд Senior. Очень рад!
Расскажу в двух словах, о чём статья: - В статье мы мы рассказали, что такое концепция Shift Left, и как она помогает сократить стоимость исправления ошибок и сроки разработки: чем раньше в процессе разработки начинаются проверки безопасности, тем лучше. - Затем разобрали структуру DevSecOps-пайплайна и посмотрели, какие проверки безопасности проводят на каждом этапе пайплайна: от pre-commit до post-deploy. - В конце рассказали о Security Dashboards — инструментах визуализации данных, которые помогают эффективно анализировать уязвимости и управлять процессом их устранения.
Друзья, у Миши, нашего DevOps-инженера, вышла вторая часть серии про создание почтового сервера с чистого поля.
Вообще, создание почтовика — нетривиальная задача, которая требует внимания к деталям. Если вы хотите создать надёжный и эффективный почтовый сервер, который будет успешно функционировать и обслуживать пользователей, то вам помогут туториалы, которые пишет Миша.
В новой статье он показывает, как его настроить с помощью PostfixAdmin, Dovecot и RainLoop. А ещё в тексте вы найдёте немного экзотики, а именно best practices по Dovecot.
? Если вы ещё не читали, то вот ссылка. А здесь опубликована первая часть серии.
Хотите узнать, как развернуть приватную инсталляцию Kubernetes в публичном облаке с помощью Terraform?
На практическом вебинаре поделимся тонкостями: ? расскажем, как построить частное облако внутри публичного; ? разберем клиентские кейсы; ? покажем, как создать кластер Kubernetes с приватнымAPI с помощью Terraform;
Задавайте вопросы через форму регистрации или в чате трансляции — ответим на них в конце вебинара. Авторам самых интересных подарим плюшевых Тирексов ?
Все зарегистрированные участники получат запись трансляции и примеры готовых манифестов Terraform.
Всем DevOps! Станислав Тибекин, CEO компании Nixys, публикует перевод огромного и полезного чек-листа по разработке облачного приложения. Первая часть посвящена бизнес-требованиям.
Вы узнаете, что нужно учесть при разработке приложения, чтобы обеспечить отказоустойчивость, масштабируемость и непрерывность бизнеса.
Всем привет! Мы продолжаем обзор Redis — системы хранения данных в виде структур.
Новая статья Петра, нашего DevOps-инженера, — это детальное руководство по базовой репликации Redis. Благодаря ему вы сможете настроить эту СУБД на высокий уровень отказоустойчивости.
Если суперкратко:
Репликация в Redis ассинхронна.
Репликация не блокируется на стороне мастера.
Репликация (почти) не блокируется на стороне слейвов.
У мастера может быть любое количество реплик.
Каждый слейв может выступать мастером для другого инстанса.
А ещё в конце вас ждёт приятный бонус в виде разбора атаки на Redis через H2Miner, из-за которой можно полностью потерять данные на инстансе Redis
Обсудим применение IAC для тестирования облачной платформы. Понаблюдаем за эволюцией установщиков ОС. Устроим дискуссию о том, кем становиться в 2024 году — DevOps-инженером или системным администратором.
Темы докладов и спикеры
Применяем IAC для тестирования облачной платформы — не terraform’ом единым Олег Зайцев, архитектор клиентских решений, Selectel.
Эволюция установщиков ОС — нельзя автоматизировать?! Александр Никифоров, старший системный администратор, Selectel.
Баттл «DevOps и системный администратор — в чем разница и куда стоит развиваться в 2024 году?» Михаил Морев, старший эксперт по развитию DevOps-практик, Райффайзенбанк. Александр Никифоров, старший системный администратор, Selectel. Антон Алексеев, DevOps-инженер, Selectel.
Друзья, у нас вышла заключительная часть серии «Б значит не Безумие, а Безопасность».
В финальной статье наш DevOps‑инженер Алексей покажет, как защитить ваши базы данных. В роли БД рассматривается PostgreSQL версии 14 с управлением через patroni.
Вы узнаете, как повысить скорость анализа потенциальных инцидентов, как настроить процессы шифрования дисков, как сгенерировать SSL‑сертификаты для базы данных и обеспечить их двухстороннюю проверку. А ещё познакомитесь с wal‑g-backup.
