Официально представляем dapp — DevOps-утилиту для сопровождения CI/CD

Читатели этого блога, а также посетители последних HighLoad++ и РИТ++ с большой вероятностью уже слышали про нашу утилиту для DevOps-инженеров dapp, но теперь мы решили официально и окончательно представить её «большому миру». Формальное право на то нам даёт тот факт, что мы работаем с dapp для решения задач в production уже больше года, поэтому считаем, что технология созрела для более массового использования.

Обновлено 13 августа 2019 г.: в настоящее время проект dapp переименован в werf, его код переписан на Go, а документация значительно улучшена.



Итак, dapp — написанный на Ruby инструмент, созданный в компании «Флант» как Open Source-проект для реализации и сопровождения процессов CI/CD. Что он позволяет?

Сборка образов

Когда мы рассказывали о dapp впервые (пост, видео), речь шла об использовании этой утилиты для сборки образов Docker-контейнеров. Не буду пересказывать весь доклад, но перечислю основные возможности dapp, которые (с помощью конфигураций образов, описанных в Dappfile) позволяют выполнять сборку образов быстро и эффективно:

1. четыре стадии сборки образа (before_install, install, before_setup, setup), результаты выполнения которых кэшируются (даёт значительный рост в скорости повторных сборок образа);
2. «внешний контекст» для монтирования каталогов, используемых во время сборок, но исключаемых из конечного образа;
3. продуманная работа с Git, добавляющая в образ только дельты (git patch apply) при новых сборках и кэширующая содержимое этих патчей;
4. «артефакты» — возможность использования сторонних инструментов на этапе сборки проекта, но не включать их в финальный образ; для артефактов тоже поддерживается кэш (с недавним выпуском Docker 17.06 эта фича перестала быть столь значимой из-за появления multi-stage builds);
5. поддержка Chef, позволяющая настраивать системы в Docker-образах по рецептам (cookbooks).

Последнее мы планировали дополнить поддержкой Ansible, и актуальность этого вопроса для нас только возрастает, но фактическая реализация пока отстаёт от намерений.

Деплой в Kubernetes

Зато мы продвинулись в другом важном направлении — расширении возможностей dapp за рамками сборки образов, в области других составляющих процессов непрерывной интеграции и доставки приложений. Начальная поддержка деплоя в dapp ознаменовала возможность интеграции с системой Kubernetes, используемой нами для оркестровки контейнеров (подробнее мы недавно рассказывали: «Наш опыт с Kubernetes в небольших проектах (обзор и видео доклада)»). Суть этой фичи заключается в следующем:

1. Для Kubernetes готовятся YAML-конфигурации, которые могут быть разными для каждого нужного контура (production, staging, testing…) и которые помещаются в специальный каталог в Git-репозиторий с кодом приложения и инфраструктуры (например: файлы backend.yaml, frontend.yaml, cron.yaml в специальном каталоге .kube/).
2. Созданные конфигурации отдаются утилите kubectl, которая разворачивает описанную в них инфраструктуру в нужном кластере Kubernetes (опять же, кластеры могут быть разными для каждого контура).
3. Созданные Docker-образы разворачиваются в инфраструктуре Kubernetes.

Технически это реализовано с помощью команды dapp kube deploy (Обновлено 13 августа 2019 г.: см. подробнее про развертывание с помощью werf в документации), которая по своей сути является обёрткой к менеджеру пакетов Kubernetes — Helm, позволяя:

1. дополнять и расширять возможности передачи параметров в Helm (добавляет секретные значения и файлы, имеет helper для чтения этих файлов в шаблонах);
2. интегрировать образы, собираемые по Dappfile, в Helm (имеет helper для составления имени образа).

Примечание: Сам деплой мы делаем через GitLab CI, о чём писали в недавней статье «GitLab CI для непрерывной интеграции и доставки в production»: «Часть 1: наш пайплайн», «Часть 2: преодолевая трудности».

Дополнительная информация

Обновлено 13 августа 2019 г.

• «werf — наш инструмент для CI/CD в Kubernetes (обзор и видео доклада)» (Дмитрий Столяров; 27 мая 2019 на DevOpsConf);
• упомянутый доклад «Собираем Docker-образы для CI/CD быстро и удобно вместе с dapp (обзор и видео)»: пост и видео с выступления технического директора АО «Флант» Дмитрия Столярова, где и состоялась первая и более «камерная» презентация dapp;
• «Сборка проектов с dapp. Часть 1: Java»;
• «Сборка проектов с dapp. Часть 2: JavaScript (frontend)»;
• «Сборка и дeплой приложений в Kubernetes с помощью dapp и GitLab CI»;
• «Практика с dapp. Часть 1: Сборка простых приложений»;
• «Практика с dapp. Часть 2. Деплой Docker-образов в Kubernetes с помощью Helm»;
• официальная техническая документация — werf.io;
• отдельного внимания в этой документации заслуживает инструкция «Getting started»;
• официальная группа поддержки в Telegram — werf_ru.

Да, это Open Source!

Исходный код dapp написан на языке Ruby и опубликован на GitHub под свободной лицензией Apache License 2.0 (она же используется в таких близких нам проектах, как Moby/Docker, Kubernetes, Helm, etcd и других).

Обновлено 13 августа 2019 г.: в настоящее время проект dapp переименован в werf, его код переписан на Go, а документация значительно улучшена.

Мы приглашаем DevOps-инженеров и Open Source-энтузиастов, заинтересованных в применении dapp, к участию в проекте. Исследуйте его, задавайте вопросы (можно прямо здесь в комментариях), указывайте на проблемы, предлагайте улучшения. Спасибо за внимание!