Обновить
256K+

DevOps *

Методология разработки программного обеспечения

477,43
Рейтинг
Сначала показывать
Порог рейтинга
Уровень сложности

Grafana 10: на что стоит обратить внимание в новом релизе

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели18K

Всем привет! Несколько месяцев назад прошел GrafanaCON 2023, на котором объявили о выходе десятой версии Grafana — инструмента для мониторинга и визуализации данных с аудиторией в 20 миллионов по всему миру.

Grafana 10 помогает добиться большего: подробнее анализировать данные и приходить к надежным выводам, удобнее работать в команде и делать более красивые дашборды. Grafana 10 полезна как опытным аналитикам, так и тем, кто только начинает свой путь.

В этой статье мы обсудим нововведения Grafana 10. Кроме того, вы можете сами ознакомиться с новыми функциями: 

Читать далее

Безопасность DevOps. Автоматизация и новые инструменты

Время на прочтение6 мин
Охват и читатели6.9K

Цикл популярности понятий из безопасности приложений, 2022 год. Из одноимённого отчёта Gartner. См. также обновление за 2023 год

В процессе внедрения системы безопасности в DevOps можно использовать многие инструменты, которые уже применяются в компании. Какие-то будут плотно интегрированы в процесс, а другие использоваться периодически.

Кроме старых, внедряются новые инструменты, чтобы устранить пробелы в инструментарии и дополнить возможности для автоматизации. Ключевые инструменты и процессы безопасности показаны на схеме вверху (из доклада Gartner).

Рассмотрим подробнее каждый этап автоматизации и внедрения новых инструментов в существующий рабочий процесс.
Читать дальше →

Как не сойти с ума, помечая цели для сбора метрик при мониторинге кластера. Спойлер: Victoria Metrics + Grafana

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели13K

В начале не было ничего. И создал DevOps кластер Kubernetes и сказал, что это есть хорошо. Но пришли злые программисты и начали требовать информацию о том, сколько ресурсов потребляют их контейнеры.

Статическая vs динамическая конфигурация

Создание сквозного конвейера MLOps с помощью Open-source инструментов

Уровень сложностиПростой
Время на прочтение12 мин
Охват и читатели6.4K
MLOps с открытым исходным кодом: TL;DR
Эта статья служит целенаправленным руководством для специалистов по исследованию данных и инженеров ML, которые хотят перейти от экспериментального машинного обучения к готовым к производству конвейерам MLOps. Мы выявим ограничения традиционных систем ML и познакомим вас с основными инструментами с открытым исходным кодом, которые помогут вам создать более надежную, масштабируемую и поддерживаемую систему ML.

Среди обсуждаемых инструментов — Feast для управления функциями, MLflow для отслеживания и версионирования моделей, Seldon для развертывания моделей, Evidently для мониторинга в реальном времени и Kubeflow для оркестровки рабочих процессов.

Введение


Ландшафт машинного обучения постоянно меняется, и переход от разработки моделей к их внедрению в производство сопряжен с рядом трудностей. Хотя блокноты Jupyter и изолированные скрипты полезны для экспериментов, им часто не хватает функций, необходимых для системы производственного уровня. Эта статья призвана помочь вам справиться с этими проблемами, познакомив с концепцией MLOps и набором инструментов с открытым исходным кодом, которые могут облегчить создание готового к производству ML-конвейера.

Независимо от того, являетесь ли вы специалистом по исследованию данных, желающим перейти к производственной деятельности, или инженером ML, стремящимся оптимизировать существующие рабочие процессы, эта статья призвана дать целенаправленный обзор основных практик и инструментов MLOps.
Читать дальше →

Как оценивать покрытие практиками ИБ

Время на прочтение6 мин
Охват и читатели2.4K

Всем привет!

Меня зовут Анастасия Арсеньева, я аналитик данных в Swordfish Security. Продолжаем рассказывать вам о метриках безопасной разработки — и показывать их на дашбордах модуля визуализации метрик DevSecOps платформы AppSec.Hub. Напомню, мы уже писали об оценке рисков ИБ, о зрелости подхода Shift Left и об обработке найденных уязвимостей.

В предыдущей статье мы начали говорить о проверках ИБ в контексте принципов DORA, а сегодня разберем вторую часть дашборда по сканированиям ИБ и попробуем ответить на вопрос: «Как оценить покрытие практиками ИБ приложения/всех систем?»

Читать далее

Безопасность CI/CD. Часть 2. Давайте рассмотрим как защитить ваши пайплайны

Уровень сложностиСредний
Время на прочтение19 мин
Охват и читатели8.6K

Приветствую, читатели! Меня зовут Моисеев Андрей, в ИБэшечке  я уже в совокупности более 5 лет, а сейчас работаю DevSecOps в компании Bimeister. За время своей рабочей деятельности у меня получилось сформулировать некоторые полезные паттерны безопасности, которыми я хотел бы поделиться. Если вы наткнулись на эту статью, то вы явно неравнодушны к инфосеку и желаете преисполниться духом праведным, ну, а если попали сюда просто так, то как минимум сможете понять боль ваших коллег в данной сфере.

Читать далее

Философия NoOps: кому и зачем нужна автоматизация K8s «на максималках»

Время на прочтение7 мин
Охват и читатели4.9K

Привет, Хабр! Я Максим Еремин, руководитель направления развития продуктов beeline cloud, и сегодня я хочу рассказать о нашем новом сервисе Cloud Kubernetes Clusters, который мы предоставляем вместе с компанией «Флант». Обсудим, что это за сервис, кому стоит задуматься о передаче управления компонентами Kubernetes «автопилоту» и при чем здесь NoOps.

Читать далее

Безопасность CI/CD: обзор тoп-10 угроз по версии OWASP и рекомендации по их устранению в вашем конвейере

Уровень сложностиСредний
Время на прочтение10 мин
Охват и читатели7.1K

Привет, Хабр!

Меня зовут Артём Пузанков, я DevSecOps Cluster Lead (руководитель направления безопасной разработки) в МТС Digital.

Экспертное сообщество OWASP представило OWASP Top 10 CI/CD Security Risks — список критических уязвимостей конвейера CI/CD. Его получили, исследовав векторы атак и проанализировав самые распространенные нарушения безопасности.

Top 10 помогает разработчикам и ИБ-специалистам определять приоритетные области для защиты своего конвейера CI/CD. Ещё он подсказывает наиболее вероятные поверхности рисков и проблемы, с которыми чаще всего сталкиваются специалисты. Давайте рассмотрим эти уязвимости и подумаем, как знакомство с ними поможет нам в работе.

Читать далее

Автоматизация развертывания инфраструктуры (IaC)

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели6K

Terraform - это инструмент с открытым исходным кодом, реализующий концепцию "Инфраструктура как код" и разработанный компанией HashiCorp. 

В своем декларативном характере Terraform позволяет разработчикам использовать высокоуровневый язык конфигурации HCL (HashiCorp Configuration Language) для описания желаемого состояния облачной или локальной инфраструктуры, предназначенной для запуска приложений. Следующим шагом является формирование плана достижения данного состояния и выполнение этапа подготовки инфраструктуры.

Читать далее

Обеспечение безопасности Kubernetes с помощью Open Policy Agent (OPA)

Время на прочтение7 мин
Охват и читатели3.4K

Kubernetes — это мощный инструмент, который помогает нам эффективно и надежно управлять и развертывать наше программное обеспечение. Однако по мере того как наши системы становятся все более сложными, может возникнуть проблема с обеспечением их безопасности и соответствия правилам и нормам. Именно здесь на помощь приходит Open Policy Agent (OPA). Перевели туториал, где рассматривается, как OPA можно использовать в Kubernetes для обеспечения безопасности наших систем и соблюдения политик.

Читать далее

Работа с хранилищами в Kubernetes: руководство для инженеров

Время на прочтение21 мин
Охват и читатели40K
image

Как DevOps-инженер я часто сталкиваюсь с необходимостью глубокого понимания тонких аспектов Kubernetes. Одним из таких ключевых элементов является управление хранилищем данных. Хотя этот элемент иногда остаётся в тени других задач, его важность для успешного развёртывания и поддержки приложений велика.

Накопленный мною опыт в этой области стал основой для этой статьи.

Я сфокусируюсь на трёх ключевых элементах управления хранилищем в Kubernetes:

  • PersistentVolumes (PV).
  • PersistentVolumeClaims (PVC).
  • Storage Classes.

Эти компоненты играют важную роль не только в выборе подходящих типов хранилищ, но и в их эффективном управлении, особенно в сценариях высокой нагрузки.

Так, при развёртывании масштабируемого веб-приложения, которое обрабатывает большие объёмы пользовательских данных и транзакций, хорошо настроенное управление хранилищем заметно повышает производительность и доступность данных. И тогда при увеличении нагрузки на приложение доступ к данным остаётся быстрым и надёжным, задержки уменьшаются, общее взаимодействие пользователя с приложением улучшается.

Например, у нас была задача обеспечить надёжное и масштабируемое хранение данных в веб-приложении для управления клиентскими заказами. Мы настроили в Kubernetes Storage Class на основе SSD для базы данных (что не является хорошей практикой): это помогло обеспечить быстрый доступ и обработку транзакций. А для логов и нечасто применяемых данных использовали отдельный Storage Class с HDD, и это позволило снизить затраты.

А главное, Storage в Kubernetes — это такая штука, которую ты сделал и забыл, дальше оно там само работает.

Рассказываю детально.
Читать дальше →

Как мы внедряли Sentry. Часть 2 — внедрение в разработку

Уровень сложностиСредний
Время на прочтение9 мин
Охват и читатели13K

В прошлый раз мы рассматривали внедрение Sentry со стороны эксплуатации: устанавливали на сервер self-hosted, делали его высокодоступным при помощи сети доставки td-agent, настраивали мониторинг.

Теперь рассмотрим процесс внедрения Sentry со стороны команды разработки.

Читать далее

Тестируем приложение как сын маминой подруги или взгляд на Trace Based Testing

Время на прочтение9 мин
Охват и читатели4.3K

Привет! Меня зовут Сергей, я бэкенд разработчик команды SEO в Банки.ру.
В этой статье хочу описать свое знакомство с техникой Trace Based Testing (TBT): 

расскажу о концепциях, которые чаще всего используются сейчас в тестировании
кратко опишу, что такое distributed tracing 
поделюсь опытом работы с TBT. 

Статья — мой субъективный взгляд на технику как бэкенд-разработчика. QA инженеры могут со мной поспорить и, скорее всего, будут правы.

Читать далее

Ближайшие события

Открываем курс по Kubernetes и рассказываем, зачем разработчику знать DevOps

Уровень сложностиПростой
Время на прочтение3 мин
Охват и читатели13K

Два года назад мы запустили в школе Metaclass курс «Деплой приложений в Kubernetes». С сегодняшнего дня мы делаем его бесплатным и приглашаем пройти всех, кто хочет прокачаться и попасть на стажировку к нам в команду.

В нашей компании все сотрудники проходят этот курс, поэтому мы решили рассказать об обучении на примере одного из студентов, бэкенд-разработчика Димы Ивахненко.

Читать далее

Безопасность DevOps. Обучение сотрудников

Время на прочтение4 мин
Охват и читатели6K


В предыдущей статье мы упомянули основную проблему современных практик DevOps и конвейера CI/CD (Continuous Integration/Continuous Delivery). Основная проблема с точки зрения безопасности в том, что проверка уязвимостей и мониторинг безопасности стоят в конце цикла разработки, перед развёртыванием продукта.

Более грамотный подход заключается в том, чтобы интегрировать практики по безопасности DevSecOps на раннем этапе (проактивный подход на КДПВ), а не постфактум. Первым делом программисты проходят обучение на предмет информационной безопасности, см. примерный план программы обучения для разработчиков. После этого инструменты безопасности интегрируются непосредственно в рабочий процесс.
Читать дальше →

Как облегчить эксплуатацию продукта и избавиться от кошмаров с релизами

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели1.7K

Привет, Хабр! Меня зовут Анатолий Саблин, я java-разработчик и техлид команды эксплуатации в СИБУР Диджитал. Сегодня я расскажу про сложности, которые возникают на этапе эксплуатации продукта, как они влияют на работоспособность, и как их решить. И особенно рассмотрю:

●      Что важно в разработке программного продукта помимо самого кода;

●      Как сделать релиз и не сломать прод;

●      Какая модель работы больше подходит для промышленной эксплуатации.

Читать далее

Б значит не Безумие, а Безопасность: часть 2 — перезагрузка

Уровень сложностиСредний
Время на прочтение13 мин
Охват и читатели5.6K

Что-то было модно, что-то вышло из моды, а что-то вечно и вечность в нашей статье — это кибербезопасность. В рамках серии статей хотелось бы поговорить об этом и поделиться нашим опытом. 

Во второй части я продолжу рассказ про проект, с которым мы уже познакомились ранее

1. Напомню про требования:

2. Замкнутый контур;

3. Отсутствие CVE во всех используемых продуктах;

4. Контроль безопасности уже имеющейся инфраструктуры;

5. Контроль доступа до среды;

6. Автоматизация процессов.

Но как быть, если ваша инфраструктура располагается в рамках kubernetes оркестратора? Как быть, если вы используете managed решение? Какие подходы для организации безопасности будут применимы? Под катом — про это, а еще про Managed Service for Kubernetes и Yandex Cloud, Kyverno, Tetragon, Falco и многое другое. 

Давайте посмотрим, что было дальше?

Что было дальше?

Знакомство с Kubernetes на практике

Уровень сложностиПростой
Время на прочтение9 мин
Охват и читатели17K

Если Вы хоть раз работали с высоконагруженными приложениями, то наверняка знаете, какое количество головной боли возникает в процессе. Как правило, в таких проектах все направлено на максимальную оптимизацию и увеличение быстродействия, но по достижению критической массы пользователей только на оптимизации уже не уехать. Частично эти проблемы помогает решить контейнеризация, которая сегодня есть уже почти у каждого сервиса. При попытке выложить свое приложение во всеобщий доступ, Вам наверняка придется неоднократно столкнуться с этим термином.

В этой статье мы поговорим о том, как начать свой путь в Kubernetes и даже разработаем полноценный fullstack проект и локально развернем его в Kubernetes.

Читать далее

Kubernetes и Kernel Panic

Время на прочтение6 мин
Охват и читатели3.9K


Команда VK Cloud перевела статью о том, как на контейнерной платформе Netflix увязали ошибку  Kernel Panic ядра Linux с подами Kubernetes.
Читать дальше →

Переход с ETL на ELT

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели8.4K


ETL (Извлечение-Трансформация-Загрузка) и ELT (Извлечение-Загрузка-Трансформация) — два термина, которые часто используются в области дата-инжиниринга, особенно в контексте захвата и преобразования данных. Хотя эти термины часто используются как взаимозаменяемые, они относятся к немного разным концепциям и имеют различные последствия для проектирования конвейера данных.

В этом посте мы проясним определения процессов ETL и ELT, обозначим различия между ними и обсудим преимущества и недостатки, которые они предлагают инженерам и командам по работе с данными в целом. И самое главное, я опишу, как недавние изменения в формировании современных команд по работе с данными повлияли на ландшафт борьбы ETL против ELT.

Понимание Извлечения (Extract), Загрузки (Load) и Трансформации (Transform) независимо друг от друга


Главный вопрос при сравнении ETL и ELT, очевидно, последовательность выполнения шагов Извлечения, Загрузки и Трансформации в рамках данных.
Читать дальше →