Kubernetes tips & tricks: ускоряем bootstrap больших баз данных

[Negash]

Использую свой велосипед на ZFS, также каждый день приходит новый порезанный дамп базы (10-15гб) с прода, собрал сервис для выдачи баз разработчикам и для каждого review в пайплайнах, правда без документации тут

[qwertyRu]

Добрый день, можете под спойлер разместить весть файл .gitlab-ci.yml?

[Wimbo]

Все очень просто

variables:
  DAPP_VERSION: "0.31"

.base_deploy: &base_deploy
  stage: deploy
  script:
    - source dapp_use ${DAPP_VERSION}
    - dapp --version; set -x; pwd
    - dapp kube deploy
      --tag-ci
      --namespace ${CI_ENVIRONMENT_SLUG}
      --set "global.env=${CI_ENVIRONMENT_SLUG}"
      --set "global.reload_db=${DB:-false}"
      ${CI_REGISTRY_IMAGE}

stages:
  - build
  - deploy

Build:
  stage: build
  script:
    - source dapp_use ${DAPP_VERSION}
    - dapp --version; set -x; pwd
    - dapp dimg bp ${CI_REGISTRY_IMAGE} --tag-ci --use-system-tar
  tags:
    - build
  except:
    - schedules

To test:
  <<: *base_deploy
  except:
    - schedules
  tags:
    - deploy
  when: manual

To test (Reload DB):
  <<: *base_deploy
  except:
    - schedules
  variables:
    DB_RELOAD: "true"
  tags:
    - deploy
  when: manual

[qwertyRu]

Спасибо, действительно несложно. Еще вопрос. У Вас есть два init контейнера, один скачивает базу, другой ее подготавливает. Насколько я понял, они выполняются всегда по очереди, почему их не объединить в запуск одного скрипта (закачка и подготовка)?

[Wimbo]

На самом деле ничего не мешает :) Как ничего не мешает, и обойтись без инит контейнеров.
Просто тут каждый контейнер выполняет свою отдельную функцию, мы можем смотреть логи отдельных контейнеров, выделять ресурсы на отдельные стадии (CPU, RAM).