Oracle Real Application Clusters в среде Bare Metal Kubernetes Cluster / Habr

Приветствую всех!

Данная статья рассматривает необходимые и достаточные действия для запуска и настройки RAC 21.3 в кластере kubernetes 1.26. Прецедентов на апрель 2023 г. работы вне Oracle Cloud не найдено, поэтому пришлось провести тысячи экспериментов, отбросить и принять множество гипотез.

На сегодня первая в мире выкатка RAC в kubernetes и без docker.

uname -a

Linux r02 5.4.17-2136.300.7.el8uek.x86_64 #2 SMP Fri Oct 8 16:23:01 PDT 2021 x86_64 x86_64 x86_64 GNU/Linux

OEL 8.5 уже сертифицирована для Oracle RAC, 7.9 можно не устанавливать.

containerd --version

containerd github.com/containerd/containerd v1.6.4 212e8b6fa2f44b9c21b2798135fc6fb7c53efc16

runc --version

runc version 1.0.2

spec: 1.0.2-dev

go: go1.16.7

libseccomp: 2.5.1

Основные задачи настройки выкатки RAC:

Создание и настройка подсетей в кластере kubernetes
Настройка параметров:
1. - ядра рабочего узла kubernetes
2. - ядра контейнера RAC, namespaced и read only.
Выбор и настройка конфигурации используемой RAC оперативной памяти
Настройка общего хранилища RAC в kubernetes.

Данная выкатка не является единственно возможной конфигурацией, это самый простой пример работающего решения. Развертывание окружений разработки и тестирования может быть достигнуто относительно простым путем. Для настройки в production следует использовать другие подходы в настройке и резервировании общих разделов.

statefulset.yaml

################################################################################
#                                                                              #
#    Author: Serguei Nastassi          itoracle@icloud.com                     #
#    Created 01/03/2023                                                        #            
################################################################################
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: oracle-rac-213
spec:
  serviceName: rdbms
  podManagementPolicy: Parallel
  updateStrategy:
    type: RollingUpdate
  replicas: 1
  selector:
    matchLabels:
      app: oracle-rac-213
  template:
    metadata:
      labels:
        app: oracle-rac-213
      annotations:  
        k8s.v1.cni.cncf.io/networks: '[ 
            {
              "name": "macvlan-conf",
              "ips": ["172.16.1.150/24"]
            },
            {
              "name": "macvlan-priv-conf",
              "ips": ["192.168.17.150/24"]
            }
          ]'
    spec:
      terminationGracePeriodSeconds: 300
      securityContext:
        sysctls:
              - name: kernel.shmall
                value: "2097152"
              - name: kernel.sem
                value: "250 32000 100 128"
              - name: kernel.shmmax
                value: "8589934592"
              - name: kernel.shmmni
                value: "4096"
      containers:
        - name: rdbms
          image: cr.local:32424/container-registry.oracle.com/database/rac:21.3.0.0
          resources:
            requests:
              memory: "16Gi"
            limits:
              memory: "16Gi"
          securityContext:
            privileged: true
            capabilities:
              add: ["SYS_NICE","SYS_RESOURCE","NET_ADMIN","AUDIT_CONTROL","AUDIT_WRITE","SYSLOG","SYS_TIME","SYS_RESOURCE","SYS_RAWIO","SYS_MODULE","SYS_CHROOT","SYS_BOOT","SYS_ADMIN","SETUID","SETGID","NET_BIND_SERVICE","CHOWN"]
            runAsUser: 0
            procMount: "Unmasked"
            allowPrivilegeEscalation: true
          envFrom:
            - configMapRef:
                name: oracle-rdbms-config
          ports:
            - containerPort: 1521
              name: oracle-listener
            - containerPort: 5500
              name: oem-express
          volumeDevices:
            - name: ora-blk0
              devicePath: /dev/asm_disk01
            - name: ora-blk1
              devicePath: /dev/asm_disk02
            - name: ora-blk2
              devicePath: /dev/asm_disk03
            - name: ora-blk3
              devicePath: /dev/asm_disk04
            - name: ora-blk4
              devicePath: /dev/asm_disk05
          volumeMounts:
          - name: oradata
            mountPath: /oradata
          - name: tmpfs
            mountPath: /dev/shm
          - name: hp
            mountPath: /dev/hugepages
          - name: cgroups
            mountPath: /sys/fs/cgroup
#            readOnly: true
          - name: proc
            mountPath: /hostproc
          - name: boot
            mountPath: /boot
            readOnly: true
      volumes:
        - name: oradata
          nfs:
            server: "192.168.1.4"
            path: /home/oracle-rac-213
        - name: ora-blk0
          persistentVolumeClaim:
            claimName: nas-0-oracle-rac-213-0
        - name: ora-blk1
          persistentVolumeClaim:
            claimName: nas-1-oracle-rac-213-0
        - name: ora-blk2
          persistentVolumeClaim:
            claimName: nas-2-oracle-rac-213-0
        - name: ora-blk3
          persistentVolumeClaim:
            claimName: nas-3-oracle-rac-213-0
        - name: ora-blk4
          persistentVolumeClaim:
            claimName: nas-4-oracle-rac-213-0
        - name: tmpfs
          emptyDir:
            medium: Memory
            sizeLimit: 4Gi
        - name: hp
          hostPath:
            path: /dev/hugepages
        - name: cgroups
          hostPath:
            path: /sys/fs/cgroup
            type: Directory
        - name: proc
          hostPath:
            path: /home/hostproc
            type: Directory
        - name: boot
          hostPath:
            path: /boot
            type: Directory
  volumeClaimTemplates:
  - metadata:
      name: nas-0
    spec:
      accessModes:
        - ReadWriteMany
      volumeMode: Block
      resources:
        requests:
          storage: 23Gi
  - metadata:
      name: nas-1
    spec:
      accessModes:
        - ReadWriteMany
      volumeMode: Block
      resources:
        requests:
          storage: 23Gi
  - metadata:
      name: nas-2
    spec:
      accessModes:
        - ReadWriteMany
      volumeMode: Block
      resources:
        requests:
          storage: 23Gi
  - metadata:
      name: nas-3
    spec:
      accessModes:
        - ReadWriteMany
      volumeMode: Block
      resources:
        requests:
          storage: 23Gi
  - metadata:
      name: nas-4
    spec:
      accessModes:
        - ReadWriteMany
      volumeMode: Block
      resources:
        requests:
          storage: 23Gi

Сначала создадим пространство имен:

---
apiVersion: v1
kind: Namespace
metadata:
  name: oracle-rac-213
  labels:
    kubernetes.io/metadata.name: oracle-rac-213
    pod-security.kubernetes.io/enforce: privileged
spec:
  finalizers:
  - kubernetes

Всвязи с отменой podSecurityPolicy с версии 1.23, часть настроек осуществляется в пространстве имен.

Создание сетей и адаптеров

Приватная и частная сети RAC, исторически требуется от 2 адаптеров, виртуальные тоже подходят, с меньшим количеством адаптеров работать не будет.

По моему мнению любой CNI можно настроить на добавление дополнительных адаптеров контейнеру при запуске.

Для сокращения времени внедрения я использую готовое решение multus, одобренное cncf. При развертывании multus CNI в кластере kubernetes я советую обратить внимание на возможность развертывания только на узлах, где будут работать контейнеры RAC. Даже при отсутствии аннотаций в манифестах никакие контейнеры могут не запуститься по причине некорректных настроек после раскатки multus CNI. Сразу обратите внимание на файл /etc/cni/net.d/00-multus.conf

{ "cniVersion": "0.3.1", "name": "multus-cni-network", "type": "multus", "capabilities": {"portMappings": true}, "kubeconfig": "/etc/cni/net.d/multus.d/multus.kubeconfig", "delegates": [ { "cniVersion": "0.3.1", "name" ……

В будущих версиях containerd это может сработать и так, но сегодня при каждом запуске узла kubernetes этот файл обновляется и для корректной работы значение cniVersion должно быть 0.3.1.

Добавить определения сетей:

---
apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
  name: macvlan-conf
spec:
  config: '{
      "cniVersion": "0.3.1",
      "plugins": [
        {
          "type": "macvlan",
          "capabilities": { "ips": true },
          "master": "cni0",
          "mode": "bridge",
          "ipam": {
            "type": "static",
            "routes": [
              {
                "dst": "0.0.0.0/0",
                "gw": "172.16.1.1"
              }
            ]
          }
        }
      ]
    }'

---
apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
  name: macvlan-priv-conf
spec:
  config: '{
      "cniVersion": "0.3.1",
      "plugins": [
        {
          "type": "macvlan",
          "capabilities": { "ips": true },
          "master": "enp2s0f1",
          "mtu": 1500,
          "mode": "bridge",
          "ipam": {
            "type": "static"
          }
        }
      ]
    }'

Я специально написал mtu 1500 для приватной сети, зная, что требуются jumbo packets с mtu 9000 и мы получим предупреждение при развертывании grid в журналах. Ничего страшного в этом нет, просто для этой настройки потребуется еще немало работы, которая не входит в текущие планы. Вполне может оказаться, что 20% ускорения при использовании jumbo packets не скажется на общей производительности.

spec. securityContext:sysctls: именно здесь можно объявить для использования в контейнере часть параметров ядра, остальные можно установить на уровне рабочего узла kubernetes.

Для этого используется featureGates на рабочем узле, в файл /var/lib/kubelet/config.yaml добавить строку:

allowedUnsafeSysctls: [kernel.shm*, kernel.sem, net.*]

В файл /etc/kubernetes/manifests/kube-apiserver.yaml добавить

--feature-gates=ProcMountType=true

API server kubernetes перезапустится в течение нескольких минут, API ресурсы кластера будут недоступны. На этом пункте важно понимать что и зачем вы делаете, ��наче вы можете потерять свой кластер kubernetes.

Перезапустить kubelet, swap до этого момента должен быть все еще отключен.

Можно ничего этого не делать, просто все sysctl на уровне хоста добавить в /etc/sysctl.conf и sysctl -p, вопрос перфекционизма. Все требуемое официальной документацией Oracle туда тоже следует непременно добавить.

Для ускорения загрузки образа (20Gi) лучше настроить любой локальный реестр образов.

Потом

podman pull container-registry.oracle.com/database/rac:21.3.0.0

podman push --tls-verify=false <image> docker-service.docker-registry:5000/container-registry.oracle.com/database/rac:21.3.0.0

Для настройки mirror registry в config.toml добавьте имя и порт вашего реестра:

      [plugins."io.containerd.grpc.v1.cri".registry.configs]
        [plugins."io.containerd.grpc.v1.cri".registry.configs."cr.local:32424"]
          [plugins."io.containerd.grpc.v1.cri".registry.configs."cr.local:32424".tls]
            insecure_skip_verify = true

      [plugins."io.containerd.grpc.v1.cri".registry.headers]

      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."cr.local:32424"]
          endpoint = ["https://cr.local:32424"]

В этом примере podman работает в своем контейнере и порт хранилища используется в сети кластера kubernetes, а containerd работает с сетью хоста, поэтому мы видим порт из сервиса деплоймента podman в kubernetes.

securityContext:

            privileged: true

Здесь нет никакой ошибки, именно на уровне контейнера и объявляется второй блок securityContext. При сравнении с официальной docker конфигурацией Oracle выясняется существенная разница в работе docker и kubernetes.

Настройка параметров оперативной памяти

Общий объем оперативной памяти на описываемом стенде не очень большой - 20Gb, рекомендованный минимальный объем 16Gb для пода кажется нормальным. Также на узле обязательно работают kube-proxy, flannel, multus, container registry необязательно, экономит время.

Очень важно определиться на каком оборудовании можно и нужно использовать huge pages. По моему личному мнению, основанному на рекомендациях Oracle, официально определенную величину vm.nr_hugepages=16384 не стоит использовать на серверах с объемом физической оперативной памяти менее 64Gb. Попробовать можно, скорее всего база Oracle не стартует. Просто не используйте ее:

sysctl vm.nr_hugepages=0

Сервер БД Oracle сам переключится на использование обычных страниц, которых должно быть достаточно. Тогда следует коррелировать размер SGA и выделенной области /dev/shm. Тут они 3.8Gb и 4Gb соответственно.

Не забудьте отключить transparent huge pages во всех случаях:

sudo echo never > /sys/kernel/mm/transparent_hugepage/enabled

Лучше это сделать на уровне GRUB заранее.

Подготовка к запуску install grid infrastructure

В common_scripts создайте sh файл:

# Init script
sudo mv /etc/ntp.conf /etc/ntp.conf- 
sudo ln -s /oradata/.secrets/common_os_pwdfile.enc /run/secrets/common_os_pwdfile.enc
sudo ln -s /oradata/.secrets/pwd.key /run/secrets/pwd.key
sudo mount --bind /hostproc/net/core /proc/sys/net/core
sudo echo 950000 > /sys/fs/cgroup/cpu/system.slice/cpu.rt_runtime_us
sudo sysctl kernel.sched_rt_runtime_us=-1
sudo sed -i 's/134217728$/8388608/'  /etc/security/limits.conf
sudo yum -y install chrony
sudo systemctl start chronyd

Переименование файла ntp.conf, чтобы избежать ошибки cvu. Непонятно, зачем он оказался в этом образе.

Шифрование начального пароля и размещение закрытого ключа описано в документации Oracle, просто поместите те файлы сюда.

Далее идет трюк на грани фола. Невозможно пока отобразить все нужные параметры ядра, чтобы cvu check был чистым, скопируйте в обычную файловую систему участок

sudo cp -r /proc/sys/net /home/<…>

В этом командном файле mount --bind успешно подмонтирует этот кусочек в /proc контейнера и мы не увидим ни одной ошибки cvu ни журналов контейнера.

kernel.sched_rt_runtime_us=-1 на этой «-1» тут, честно говоря все и держится :) Данный параметр позволяет root процессам контейнера запускать процессы с приоритетом RT. ASM с версии 19.3 по другому работать не будет. 18.3 еще работает.

Система должна быть загружена со значением DefaultCPUAccounting=no в /etc/systemd/system.conf Иначе не заработает realtime в контейнере.

/etc/security/limits.conf содержит нереальное значение memlock 128Gb, база запускаться не будет, поэтому для системы 20Gb на все выделим по 8Gb на ASM и 8Gb на Oracle.

Chronyd пришел на смену ntp и он тут стартует.

Данный файл следует выполнить в первые 60 секунд работы контейнера, для этого там время и выделено.

kubectl -n oracle-rac-213 exec -it oracle-rac-213-0 -- bash /oradata/scripts/ini.sh

Разделяемое Хранилище

Разверните 1 или более nfs серверов для раздачи каталога с файлами хранилища. При наличии специализированного NAS оборудования тут можно много пропустить.

Подготовьте 2 или более файла на nfs серверах согласно документации Oracle.

Я использую немного другое, но очень быстрое решение:

cd /home/oracle-rac-213/

sudo fallocate -z -o 0 -l 23G asm_disk01.img

sudo fallocate -z -o 0 -l 23G asm_disk02.img

sudo fallocate -z -o 0 -l 23G asm_disk03.img

sudo fallocate -z -o 0 -l 23G asm_disk04.img

sudo fallocate -z -o 0 -l 23G asm_disk05.img

Наличие нулевых блоков хранится в метаданных файловой системы.

На рабочем узле kubernetes смонтируйте шару:

mkdir -p /mnt/ora

mount -t nfs 192.168.1.4:/home/oracle-rac-213 /mnt/ora

Смонтируйте каждый файл как устройство:

losetup -f /mnt/ora/asm_disk01.img

… И т.д.
Теперь можно объявить все persistent volumes:

---
kind: PersistentVolume
apiVersion: v1
metadata:
  name: nas-0
spec:
  volumeMode: Block
  capacity:
    storage: 23Gi
  local:
    path: /dev/loop0
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
            - r02

Все объявить надо.

Persistent volume claims у нас объявлены в statefulset manifest.

Настройки

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: oracle-rdbms-config
  labels:
    app: oracle-rac-213
data:
#  IGNORE_CVU_CHECKS: "true"
#
  CLUSTER_NAME: "ora-213"
#  DHCP_CONF: "TRUE"
  NODE_VIP: "172.16.1.160"
  VIP_HOSTNAME: "oracle-rac-213-0-v"
  PUBLIC_IP: "172.16.1.150"
  PUBLIC_HOSTNAME: "oracle-rac-213-0"
  SCAN_NAME: "ora-scan"
#  SCAN_IP: "172.16.1.70"
  PRIV_IP: "192.168.17.150"
  PRIV_HOSTNAME: "oracle-rac-213-0-p"
#
#  CMAN_IP: "172.16.1.15"
#  CMAN_HOSTNAME: "cman-1"
  #
  COMMON_OS_PWD_FILE: "common_os_pwdfile.enc"
  PWD_KEY: "pwd.key"
  #
  DOMAIN: "oracle-rac-213.svc.cluster.local"
#  DNS_SEARCH: "10.96.0.10"
#  DNS_SERVERS: "192.168.1.1"  #"10.96.0.10"
#  DEFAULT_GATEWAY: "172.16.1.1"       # within container
  ASM_DEVICE_LIST: "/dev/asm_disk01,/dev/asm_disk02,/dev/asm_disk03,/dev/asm_disk04,/dev/asm_disk05"
  ASM_DISCOVERY_DIR: "/dev"
#  GRID_RESPONSE_FILE: "grid_sample.rsp"
#  DBCA_RESPONSE_FILE: "dbca_sample.rsp"
  OP_TYPE: "INSTALL"

Не указываю явно DNS сервер, нормальный режим работы Oracle, он будет ориентироваться на resolv.conf, далее cluster dns. Главное в этой цепочке указать соответствие имен хостов из этого списка и их адресов, для SCAN указать все 3 адреса 172.16.1.70 - 172.16.1.72. Я использовал dns сервер из внешнего к кластеру kubernetes сетевого домена, поэтому пришлось указывать все 2 раза с доменом и без. Имя домена в контейнере образуется по правилам kubernetes: oracle-rac-213.svc.cluster.local

Включение swap

sudo fallocate -l 32G /swap.img

sudo chmod 600 /swap.img

sudo mkswap /swap.img

sudo swapon /swap.img

Запуск и мониторинг

Примените все манифесты, начиная с создания пространства имен и заканчивая statefulset.

Я использую Argocd:

Сервисы для доступа к БД и OEM можно получить в моем репозитории https://github.com/itoracl/oracle-rac-213, как и все вышеприведенные манифесты.

Для вашей системы потребуется дополнительная настройка доступа к БД извне кластера. CMAN это опция и его можно и нужно настроить дополнительно.

**Примерно через час видим полный good luck screen**

Выполним внутри контейнера:

[grid@oracle-rac-213-0 ~] $ crsctl check crs

CRS-4638: Oracle High Availability Services is online

CRS-4537: Cluster Ready Services is online

CRS-4529: Cluster Synchronization Services is online

CRS-4533: Event Manager is online

[grid@oracle-rac-213-0 ~] $ crsctl status resource -w "TYPE co ’ora’" -t

--------------------------------------------------------------------------------

Name Target State Server State details

--------------------------------------------------------------------------------

Local Resources

--------------------------------------------------------------------------------

ora.LISTENER.lsnr

ONLINE ONLINE oracle-rac-213-0 STABLE

ora.chad

ONLINE ONLINE oracle-rac-213-0 STABLE

ora.net1.network

ONLINE ONLINE oracle-rac-213-0 STABLE

ora.ons

ONLINE ONLINE oracle-rac-213-0 STABLE

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.ASMNET1LSNR_ASM.lsnr(ora.asmgroup)