Немного практики для "пощупать" HPA в кластере, поиграться параметрами масштабирования. Можно было бы быстро перейти от теории к практике, ну или наоборот. В примерах используется масштабирование на основе очереди RabbitMQ. Можно использовать minikube, MicroK8s, или где вам удобно... Для удобства развёртывания примеры k8s-hpa-rabbitmq-demo.

В данном случае тестировать HPA можно тремя способами: с помощью одной KEDA, с помощью Prometheus Adapter и метрик из Prometheus, а также с помощью KEDA и метрик из VictoriaMetrics. Необходимо выбрать один или использовать по очереди. Все способы разворачиваются с минимальными требованиями без "лишних" объектов. Для работы с очередью понадобится агент mrlioncub/rabbitmq-agent в кластере.

Перед разворачиванием подключим репозитории helm:

helm repo add helmforge https://repo.helmforge.dev
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo add vm https://victoriametrics.github.io/helm-charts
helm repo add kedacore https://kedacore.github.io/charts
helm repo add k8s-hpa-rabbitmq-demo https://mrlioncub.github.io/k8s-hpa-rabbitmq-demo
helm repo update

Для всех тестов нам понадобится RabbitMQ с включённым /metrics:

charts/rabbitmq/values.yaml:

#это имя сервиса понадобится для обращения 
fullnameOverride: "rabbitmq-server"

auth:
  username: guest
  password: guest

podAnnotations:
  prometheus.io/scrape: "true"

metrics:
  enabled: true

singleNode:
  persistence:
    enabled: false

helm upgrade --create-namespace --namespace k8-hpa-rabbitmq-demo --install rabbitmq-server helmforge/rabbitmq -f charts/rabbitmq/values.yaml

Полезные команды, которые могут понадобиться для анализа:

kubectl -n k8-hpa-rabbitmq-demo exec rabbitmq-server-0 -- rabbitmqctl list_queues -s - показать значение очереди

kubectl -n k8-hpa-rabbitmq-demo run curl -it --rm --image=alpine/curl --restart=Never -- curl -s http://rabbitmq-server:15692/metrics | grep 'rabbitmq_queue_messages{vhost="/",queue="task_queue"}' - показать очередь уже в самих метриках сервиса

Способ 1: KEDA

Для этого способа нужна сама KEDA:

helm upgrade --create-namespace --namespace k8-hpa-rabbitmq-demo --install keda kedacore/keda

и тот кто будет обрабатывать очередь:

helm upgrade --create-namespace --namespace k8-hpa-rabbitmq-demo --install rabbitmq-agent-reciever k8s-hpa-rabbitmq-demo/rabbitmq-agent --set keda.enabled=true

Проверим работу ScaledObject для работы с KEDA, созданного при развёртывании rabbitmq-agent-reciever. Пример, что работает (READY: True):

$ kubectl get scaledobject -n k8-hpa-rabbitmq-demo
NAME                    SCALETARGETKIND      SCALETARGETNAME           MIN   MAX   READY   ACTIVE   FALLBACK   PAUSED   TRIGGERS   AUTHENTICATIONS   AGE
rabbitmq-scaledobject   apps/v1.Deployment   rabbitmq-agent-reciever   1     10    True    False    False      False    rabbitmq                     2m

Способ 2: Prometheus и Prometheus Adapter

Соответственно понадобятся Prometheus и Prometheus Adapter

charts/prometheus/values.yaml (подробнее):

alertmanager:
  enabled: false
prometheus-pushgateway:
  enabled: false
prometheus-node-exporter:
  enabled: false
kube-state-metrics:
  enabled: false

charts/prometheus-adapter/values.yaml (подробнее):

prometheus:
  url: http://prometheus-server
  port: 80

rules:
  default: false
  custom:
  - seriesQuery: 'rabbitmq_queue_messages{namespace!="",pod!="",queue="task_queue"}'
    resources:
      overrides:
        namespace: {resource: "namespace"}
        pod: {resource: "pod"}
    metricsQuery: sum(<<.Series>>{<<.LabelMatchers>>,queue="task_queue"}) by (<<.GroupBy>>)

helm upgrade --create-namespace --namespace k8-hpa-rabbitmq-demo --install prometheus prometheus-community/prometheus -f charts/prometheus/values.yaml
helm upgrade --create-namespace --namespace k8-hpa-rabbitmq-demo --install prometheus-adapter prometheus-community/prometheus-adapter -f charts/prometheus-adapter/values.yaml

и кто будет обрабатывать очередь:

helm upgrade --create-namespace --namespace k8-hpa-rabbitmq-demo --install rabbitmq-agent-reciever k8s-hpa-rabbitmq-demo/rabbitmq-agent --set autoscaling.enabled=true

Проверим, что всё появилось в CustomMetrics, которые создал Prometheus Adapter из Prometheus. Пример, что работает:

$ kubectl get --raw /apis/custom.metrics.k8s.io/v1beta1/namespaces/k8-hpa-rabbitmq-demo/pods/rabbitmq-server-0/rabbitmq_queue_messages | jq .
{
  "kind": "MetricValueList",
  "apiVersion": "custom.metrics.k8s.io/v1beta1",
  "metadata": {},
  "items": [
    {
      "describedObject": {
        "kind": "Pod",
        "namespace": "k8-hpa-rabbitmq-demo",
        "name": "rabbitmq-server-0",
        "apiVersion": "/v1"
      },
      "metricName": "rabbitmq_queue_messages",
      "timestamp": "2026-06-09T08:02:47Z",
      "value": "0",
      "selector": null
    }
  ]
}

Способ 3: VictoriaMetrics и KEDA

charts/victoriametrics/values.yaml (подробнее):

server:
  scrape:
    enabled: true
    config:
      scrape_configs:
      - job_name: rabbitmq
        static_configs:
        - targets:
          - rabbitmq-server:15692
  persistentVolume:
      enabled: false

helm upgrade --create-namespace --namespace k8-hpa-rabbitmq-demo --install victoriametrics vm/victoria-metrics-single -f charts/victoriametrics/values.yaml
helm upgrade --create-namespace --namespace k8-hpa-rabbitmq-demo --install keda kedacore/keda

Проверим работу ScaledObject можно аналогично как и в первом способе.

Очередь и HPA

Проверить HPA на любом из способов:

kubectl -n k8-hpa-rabbitmq-demo get hpa

Пример работающего HPA, в первом и третьем способе:

NAME                             REFERENCE                            TARGETS      MINPODS   MAXPODS   REPLICAS   AGE
keda-hpa-rabbitmq-scaledobject   Deployment/rabbitmq-agent-reciever   0/30 (avg)   1         10        1          40s

Пример работающего HPA, во втором способе:

$ kubectl -n k8-hpa-rabbitmq-demo get hpa
NAME                  REFERENCE                            TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
rabbitmq-server-hpa   Deployment/rabbitmq-agent-reciever   0/30      1         10        1          4m47s

При TARGETS: <unknown>/30 значит объект hpa создан, но данные с метрик ещё не поступили.

После уже можно пробовать заполнить очередь и смотреть как работает HPA.
Отправить 50 сообщений в очередь и проверим как меняется hpa:

kubectl --namespace k8-hpa-rabbitmq-demo run sender -it --rm --image=mrlioncub/rabbitmq-agent --restart=Never -- sender 50
kubectl -n k8-hpa-rabbitmq-demo get hpa -w

Как работает HPA для первого и третьего способов:

NAME                             REFERENCE                            TARGETS              MINPODS   MAXPODS   REPLICAS   AGE
keda-hpa-rabbitmq-scaledobject   Deployment/rabbitmq-agent-reciever   <unknown>/30 (avg)   1         10        0          0s
keda-hpa-rabbitmq-scaledobject   Deployment/rabbitmq-agent-reciever   0/30 (avg)           1         10        1          15s
keda-hpa-rabbitmq-scaledobject   Deployment/rabbitmq-agent-reciever   48/30 (avg)          1         10        1          60s
keda-hpa-rabbitmq-scaledobject   Deployment/rabbitmq-agent-reciever   23/30 (avg)          1         10        2          76s
keda-hpa-rabbitmq-scaledobject   Deployment/rabbitmq-agent-reciever   21500m/30 (avg)      1         10        2          91s
keda-hpa-rabbitmq-scaledobject   Deployment/rabbitmq-agent-reciever   18500m/30 (avg)      1         10        2          106s
keda-hpa-rabbitmq-scaledobject   Deployment/rabbitmq-agent-reciever   16/30 (avg)          1         10        2          2m1s
keda-hpa-rabbitmq-scaledobject   Deployment/rabbitmq-agent-reciever   12500m/30 (avg)      1         10        2          2m16s
keda-hpa-rabbitmq-scaledobject   Deployment/rabbitmq-agent-reciever   8/30 (avg)           1         10        2          2m31s
keda-hpa-rabbitmq-scaledobject   Deployment/rabbitmq-agent-reciever   5/30 (avg)           1         10        2          2m46s
keda-hpa-rabbitmq-scaledobject   Deployment/rabbitmq-agent-reciever   2/30 (avg)           1         10        2          3m1s
keda-hpa-rabbitmq-scaledobject   Deployment/rabbitmq-agent-reciever   0/30 (avg)           1         10        2          3m16s
keda-hpa-rabbitmq-scaledobject   Deployment/rabbitmq-agent-reciever   0/30 (avg)           1         10        1          7m16s

Как работает HPA для второго способа:

NAME                  REFERENCE                            TARGETS        MINPODS   MAXPODS   REPLICAS   AGE
rabbitmq-server-hpa   Deployment/rabbitmq-agent-reciever   <unknown>/30   1         10        0          4s
rabbitmq-server-hpa   Deployment/rabbitmq-agent-reciever   <unknown>/30   1         10        1          15s
rabbitmq-server-hpa   Deployment/rabbitmq-agent-reciever   0/30           1         10        1          60s
rabbitmq-server-hpa   Deployment/rabbitmq-agent-reciever   41/30          1         10        1          2m
rabbitmq-server-hpa   Deployment/rabbitmq-agent-reciever   41/30          1         10        2          2m15s
rabbitmq-server-hpa   Deployment/rabbitmq-agent-reciever   41/30          1         10        3          2m30s
rabbitmq-server-hpa   Deployment/rabbitmq-agent-reciever   41/30          1         10        5          2m45s
rabbitmq-server-hpa   Deployment/rabbitmq-agent-reciever   5/30           1         10        7          3m
rabbitmq-server-hpa   Deployment/rabbitmq-agent-reciever   0/30           1         10        7          4m1s
rabbitmq-server-hpa   Deployment/rabbitmq-agent-reciever   0/30           1         10        2          8m1s
rabbitmq-server-hpa   Deployment/rabbitmq-agent-reciever   0/30           1         10        1          9m1s

Какая разница

Разберём разницу в вариантах, в одном TARGETS с (avg) в другом REPLICAS поднималась до 7. В ScaledObject тип метрики по умолчанию AverageValue (1,2), а для второго варианта в hpa.yaml у нас указан тип Value.
AverageValue рассчитывается как среднее кол-во сообщений на каждую реплику (т.е. делится на количество подов), а Value - абсолютное значение. У нас 50 сообщений при пороге в 30 (hpa.yaml, keda.yaml, kedavm.yaml): 50/30 = 1.67, что превышает 10% по умолчанию для того, чтобы kubernetes начал масштабирование.

Поиграться не только с вариантами, но и с rabbitmq-agent-reciever настройками для hpa в yaml, скачав репозиторий:

git clone --depth 1 https://github.com/mrlioncub/k8s-hpa-rabbitmq-demo.git
cd k8s-hpa-rabbitmq-demo

Установить helm из директории, если изменился helm (например, для KEDA):

helm upgrade --create-namespace --namespace k8-hpa-rabbitmq-demo --install rabbitmq-agent-reciever charts/rabbitmq-agent --set keda.enabled=true

Игры с Horizontal Pod Autoscaling