Масштабируем и ускоряем сборки с помощью buildkit и Kubernetes. Upd

О теории можно почитать здесь.

Это больше инструкция по применению.

1. Берем какое-нибудь web-приложение с большим количеством зависимостей:

git clone https://github.com/quay/quay.git && cd quay
time docker build --no-cache .
real    8m38.954s

Сборка занимает примерно 8 минут без кэша. Примерно похожие результаты получаются если использовать podman/buildah с crun вместо runc.

2. Создаем сборочную ферму в Кубере с помощью buildx:

docker buildx create --platform amd64 --append --name kube-build-farm --driver kubernetes --driver-opt loadbalance=random --driver-opt replicas=2 --driver-opt namespace=buildx --driver-opt limits.cpu=1 --config ./config.toml --bootstrap

В config.toml указываем локальные директории под кэш:

cache-to = ["type=local,dest=/tmp/cache,mode=max"]
cache-from = ["type=local,src=/tmp/cache,mode=max"]

Видим как buildx разворачивает воркеров в Кубере:

kubectl get all -n buildx
NAME                                    READY   STATUS    RESTARTS   AGE
pod/kube-build-farm0-7949dd94db-frp6d   1/1     Running   0          30m
pod/kube-build-farm0-7949dd94db-qzhhz   1/1     Running   0          30m

3. Теперь можно собирать в Кубере с помощью docker buildix use kube-build-farm && docker buildix build ., или можно использовать Docker compose с buildkit:

COMPOSE_DOCKER_CLI_BUILD=1 \
DOCKER_BUILDKIT=1 \
DOCKER_DEFAULT_PLATFORM=linux/amd64 \
docker-compose build

---

Получаем масштабируемость и прозрачность процессов для DevOps, DevSecOps и SRE. Теперь можно использовать богатый инструментарий Kubernetes для работы со сборками и тестами.

upd:

Сравниваем сборку в kubernetes:

time docker buildx --builder kube-build-farm build . --no-cache
10:32.01 total

И на локальной машине (desktop-linux – Mac m1):

time docker buildx --builder desktop-linux build . --no-cache
13:41.42 total

Особенно заметной разница становится когда нужно собирать под разные архитектуры.
Сначала создаем builder для Куба:

docker buildx create --platform amd64 --append --name kube-build-farm --driver kubernetes --driver-opt loadbalance=random --driver-opt replicas=6 --driver-opt namespace=kbuild  --driver-opt=qemu.install=true --driver-opt limits.cpu=2 --bootstrap

--driver-opt=qemu.install=true – это флаг нужен для установки qemu в контейнерах.

• Можно собирать сразу для нескольких платформ:

time docker buildx --builder kube-build-farm build --platform linux/amd64,linux/arm64 . --no-cache

• Можно сократить в несколько раз сборку сложного приложения в Docker compose в несколько раз

time COMPOSE_DOCKER_CLI_BUILD=1 DOCKER_BUILDKIT=1 docker-compose build --builder kube-build-farm --no-cache

20:45.86 total

vs

80~ минут на Mac m1