DevOps *

Очередной пайплайн сборки для вашего приложения.

В этой статье описан “универсальный” пайплайн для сборки golang приложений. Универсальный в кавычках, потому что для сборки десятков разных приложений при помощи одного пайплайна нужно придерживаться  общих стандартов разработки. Которые как бывает не всегда соблюдаются даже в рамках одного проекта.

Привет, Хабр, это моя первая статья. Меня зовут Константин, я системный инженер в компании ГНИВЦ. Здесь я хотел бы вам рассказать, что такое Envoy и как с его помощью можно упростить жизнь разработчикам и повысить надёжность взаимодействия микросервисов, минуя инфраструктуру для кого-то страшного и непонятного Kubernetes, а используя простой и старомодный Docker. Также эта статья поможет познакомиться с Envoy поближе и узнать, как он шагает в ногу с таким проектом как Istio.

Хей! Всем привет, а вот и заключительная часть обзора исследования. А остальные ниже:

Обзор исследования State of DevOps 2024 DORA
1 часть: Dora-метрики и элитность
2 часть: Искусственный интеллект
3 часть: Platform Engineering
4 часть: DevExp. Лидерство. Клиентоцентричность

Разберем как важно трансформационное лидерство, DevExp и клиентоцентричность, как все это взаимосвязано и на что влияет. Эта часть особенно для тех, кто занимается выстраиванием процессов и руководит. Естественно деталей как конкретно это реализовать в исследовании нет и не будет, если бы были четкие и детерминированные алгоритмы - зачем тогда мы) Но исследование показывает нам куда двигаться, к чему стремиться. Что ж погнали:)

Салют! Меня зовут Сулейман, и я Senior Software Engineer с более чем 10 годами опыта в программировании. Я разрабатываю веб-сервисы, способные масштабироваться и выдерживать высокие нагрузки, а также активно участвую в open source проектах, публикую статьи, связанные с разработкой, и видео по решению алгоритмических задач, a еще пишу статьи в медиа вАЙТИ. Я сертифицированный Kubernetes Application Developer (CKAD), и мой опыт охватывает различные сферы разработки: от бэкенда и фронтенда до DevOps и разработки Android-приложений.

Когда вы разрабатываете приложения на базе Kubernetes, вам часто нужно управлять конфигурацией и секретами. Эти данные должны быть легко доступны для приложений, но также должны быть защищены и гибко управляемы. В Kubernetes для этого существуют два ключевых механизма — ConfigMaps и Secrets. В статье мы подробно разберем, что это за объекты, как их использовать и как эффективно ими управлять в кластере.

Краткая справка: Ключ-Астром – система мониторинга класса АРМ (application performance monitoring). Штука платная, лицензируется по объему оперативной памяти на серверах приложений и по сессиям мобилок или веб-приложений.

Полезна для мониторинга работы приложений, под капотом ИИ, который оперативно перестраивает пороги и следит за серьезными изменениями, например, рост количества ошибок и ухудшение времени отклика операций. Также находит связь между событиями и объединяет их в проблемы, обозначая все затронутые ИТ-системы, стоящие на мониторинге. И указывает количество затронутых пользователей.

Используется для:

• Сквозного транзакционного мониторинга
• Поиска первопричины сбоя
• Поиска узких мест
• Поиска наиболее медленно выполняющейся операции в цепочке
• Сбора клиентского пути (клиентского опыта)
• Сравнению работы новых релизов с текущим PROD-ом.

Привет! Я Лев Хакимов — техлид команды безопасности в Wildberries, а в прошлом — DevOps (хотя говорят, что бывших DevOps не бывает). А ещё я — организатор VrnCTF, CentralCTF, кубка CTF, MiaCTF, OmCTF. Автор дисциплин DevOps в ВГУ и ИТМО. В этой статье:

расскажу про Jenkins и его экосистему (для тех, у кого Jenkins нет, либо он мало с ним работал, это будет особенно полезно);

покажу, как мыслит и действует злоумышленник;. 

разберу проблемы безопасности и уязвимости в Jenkins;

научу, как защититься от угроз, выстроив тактику защиты; 

познакомлю с хорошими практиками по базовой конфигурации, если вы ещё не сталкивались с разворачиванием Jenkins;

сформирую чек-лист, как сделать Jenkins безопаснее. С его помощью вы сможете посмотреть на свою инсталляцию и понять, защищены ли вы от большей части самых распространённых атак.

Популярность облачных платформ и контейнеров растет с каждым днем. Вместе с этим появляется необходимость в активном контроле и защите используемых решений.

Есть много инструментов, которые могут сделать работу в K8s безопасной, а процессы — прозрачными и эффективными. Но в статье поговорим о самом недооцененном, но тем не менее актуальном способе для анализа безопасности в Kubernetes: о сборе Kube-Audit логов.

По результатам исследования, основанного на отзывах более 39000 специалистов из компаний самых разных отраслей и всех размеров, искусственный интеллект значительно влияет на эффективность разработчиков и команд (спасибо Кэп, мы догадывались). При этом на скорость доставки софта потребителям и развитие продуктов ИИ пока не оказывает положительного эффекта и даже наоборот. Вот тут уже интереснее.

Dora (DevOps Research and Assessment), исследовательская команда Google Cloud, на протяжении 10 лет собирает данные и выявляет тренды в разработке и доставке (delivery) программного обеспечения. Ниже мы (наша команда ТГ-канала AI4Dev следит за отчетами Dora уже второй год) отобрали, перевели и прокомментировали самое интересное о влиянии AI на разработку из нового отчета за 2024 год.

Узнайте, как команда «Фланта» активно участвует в разработке и поддержке Open Source-проектов, создавая инструменты, которые помогают сообществу и развивают облачные технологии.

В Altenar мы часто используем RabbitMQ как точку входа для наших продуктов. В данном случае речь пойдет о системе, которая рассчитывает спортивные данные и предоставляет их как внутренним системам организации, так и внешним пользователям за её пределами. При проектировании системы для компонента RabbitMQ были определены следующие требования...

Вы, наверное удивитесь, но чтобы написать учебник, надо знать системы сборки из софтверного БигТеха и, как ни странно, старый добрый сишный препроцессор (cpp).

Да, господа... Именно так...

В этой заметке я покажу несколько трюков по работе с LaTeX.

Всем привет, с вами Sergey Sabbath:)

А вот и моя любимая тема! Я с нетерпением ждал новый State of DevOps ради неё. Одна из самых ценных вещей в новом исследовании — это определение платформенной инженерии (PE, Platform Engineering) как социально-технической дисциплины. Здесь инженеры думают не только о технических аспектах автоматизации, но и о повторяемости процессов и о том, как предоставить самообслуживание клиентам платформенных решений.

“Platform engineering is a sociotechnical discipline where engineers focus on the intersection of social interactions between different teams and the technical aspects of automation, self‑ service, and repeatability of processes.”

Всем привет! Меня зовут Евгений Иляхин, я работаю архитектором процессов безопасной разработки в Positive Technologies, вместе с командой консалтинга в области безопасной разработки мы специализируемся на внедрении AppSec в различных компаниях и всячески продвигаем этот подход в массы.

В отрасли ИБ существует множество методологий, фреймворков, моделей безопасной разработки, которые помогают встроить AppSec в цикл создания ПО: BSIMM, OWASP SAMM, BSA SSF, Microsoft SDL и другие. Каждый из них имеет свои особенности, преимущества и, скажем так, способ использования и адаптации к собственным процессам. В ходе нашей работы мы познакомились со многими из них и пришли к выводу, что российским разработчикам нужен собственный инструмент. Зачем? Что из этого получилось? Расскажу в этой статье.

Откуда у контейнера берётся файловая система? Чтобы разобраться, инженер Google Михал Питр воспроизвёл действия Docker и создал файловую систему своими руками. От полноценной реализации его результат отличается тем, что в нём не используется пространство имён для дополнительной изоляции. 

Под катом — перевод, который поможет разобраться, как именно Docker создаёт новую файловую систему с помощью OverlayFS.

Dev и Ops, DevOps, DEVOPS – как много о нем сейчас разговоров. И не зря!

DevOps – это перспективное направление, которое будет продолжать развиваться и влиять на IT-индустрию в ближайшие годы, а то и десятилетия.

Это подтверждается ростом числа вакансий, связанных с DevOps, и увеличением спроса на специалистов в этой области. Например, анализ данных с hh.ru показывает, что количество DevOps-вакансий за год значительно выросло.

Несмотря на растущий спрос, на рынке наблюдается дефицит квалифицированных специалистов в области DevOps. Это связано с тем, что работа в DevOps требует широкого спектра навыков, включая знание различных инструментов автоматизации, умение работать в команде и адаптироваться к быстроменяющимся условиям.
DevOps: кто это? Разработчик? Системный Администратор? Менеджер? Или все вместе? 😱

DevOps – это не просто должность или роль, это целая методология!

Предлагаю начать с разбора понятия DevOps, продолжим с разбора профессии DevOps-инженер, и завершим его ролью и стеком технологий.

Всем привет! Работая DevOps-инженером, я задумался о мониторинге IPsec-туннелей, которых у нас уже накопилось достаточно. Они в основном используются для связи между облаками, так как инфраструктура разнесена — например, dev и prod живут у разных облачных провайдеров. Также есть интеграции со сторонними организациями, кластеры Kubernetes в AWS, GCP и т.д. Основная цель — получать алерты о падении туннеля раньше, чем сработают алерты о недоступности сервисов. Это особенно важно, поскольку Prometheus у нас один, он живёт в одном из облаков, а prometheus-stack в Kubernetes-кластерах работают в режиме агентов.

Первая проблема - выбор экспортера или разработка своего

Изначально наткнулся на экспортер от dennisstritzke, но проект уже архивный, последний релиз датируется сентябрем 2021 года, в README автор рекомендует использовать более свежий и поддерживаемый экспортер. Однако он использует VICI, соответственно необходима миграция с более старого подхода конфигурирования с помощью ipsec.conf на swanctl.conf. В документации есть подробное описание, и даже ссылка на скрипт-конвертор. Но зачем ломать то, что уже работает, пусть даже и deprecated? В итоге написал свой python скрипт, который дергает ipsec status, парсит вывод и формирует необходимые мне метрики для Prometheus.

Привет, Хабр! В прошлых постах мы разобрали особенности Docker на разных системах и его не менее интересного собрата Podman от Red Hat. Сегодня поговорим о ещё одном творении той же компании — OpenShift, который позиционируется, как "корпоративная" версия Kubernetes. Но так ли всё радужно, как рассказывают на презентациях?

Очень удобным способом настройки кластеров kubernetes является использование GitOps подхода. Его суть заключается в том, что выделяется отдельный git репозиторий, который становится хранилищем всех манифестов, определяющих состояние кластера. Таким образом мы получаем единое хранилище истины и единую точку конфигурации для управления кластером. Одним из пионеров и проповедников этого подхода являлась компания WeaveWorks, в рамках которой было разработано множество интересных решений, среди которых есть и GitOps-оператор FluxCD. Именно он и реализует цикл синхронизации манифестов из git репозитория с кластером.

Продолжаем наш цикл статей о типах и методах работы сборщиков данных с конечных точек, или, как принято их называть – агентов. В первой статье мы познакомились с этой сущностью и изучили основные нюансы сбора данных с их помощью. Так как мы в рамках разработки своих продуктов занимаемся и лог-менеджментом, и сбором событий, то хочется поделиться продолжением нашей обширной аналитики в quickstart формате. Поэтому в этом выпуске подробнее разберем функционал и используемые инструменты источников на ОС Windows.

Использование различных AI помощников быстро и уверенно входит в нашу жизнь. Копилоты, ChatGPT, YandexGPT, GigaChat, Claude и все их «собратья» помогают писать маркетинговые тексты, редактировать фото и видео, создавать треки для роликов. А говоря про ИТ, мы, наверняка, сразу вспоминаем, например, про GitHub Copilot и AI во всех современных IDE, которые помогают писать код.

Сегодня же мы на конкретных примерах посмотрим, как AI может помочь в работе в процессе администрирования и эксплуатации отдельных серверов или даже больших сложных распределенных инфраструктур. И даже попробуем ответить на один из самых популярных вопросов - заменит ли собой AI обычных сисадминов.

Сразу оговоримся, что, конечно, никакого настоящего AI не существует, а этим термином мы для упрощения называем весь класс сервисов, которые, в основном, работают на базе языковых моделей (LLM, large language model).

Погнали!