Планируем GPU-нагрузку в Kubernetes: от стандартных механизмов до кастомных решений

apiVersion: v1
kind: Pod
metadata:
  name: model-server
  labels:
    app: inference
    model: gpt-j
spec:
  affinity:
    podAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
      - labelSelector:
          matchExpressions:
          - key: app
            operator: In
            values:
            - model-cache
        topologyKey: kubernetes.io/hostname
  containers:
  - name: inference-server
    image: model-server:latest
    resources:
      limits:
        nvidia.com/gpu: 1

podAntiAffinity:
  preferredDuringSchedulingIgnoredDuringExecution:
  - weight: 100
    podAffinityTerm:
      labelSelector:
        matchExpressions:
        - key: app
          operator: In
          values:
          - inference
      topologyKey: kubernetes.io/hostname

Юзкейс: изоляция дорогостоящих GPU‑узлов для производственных рабочих нагрузок ML, предотвращение размещения на них некритичных подов.

# Пометка узла
kubectl taint nodes gpu-node-1 dedicated=ml-prod:NoSchedule


# Под с toleration
apiVersion: v1
kind: Pod
metadata:
  name: critical-model-training
spec:
  tolerations:
  - key: "dedicated"
    operator: "Equal"
    value: "ml-prod"
    effect: "NoSchedule"
  containers:
  - name: training-job
    image: ml-framework:latest
    resources:
      limits:
        nvidia.com/gpu: 8

Юзкейс: разделение GPU‑ресурсов между командами в крупной организации, где команда компьютерного зрения получает выделенные GPU для своих специфических задач.

# Узел для команды компьютерного зрения
kubectl taint nodes gpu-node-2 team=computer-vision:NoSchedule


# Только поды команды CV могут использовать эти узлы
apiVersion: v1
kind: Pod
metadata:
  name: object-detection-training
spec:
  tolerations:
  - key: "team"
    operator: "Equal"
    value: "computer-vision"
    effect: "NoSchedule"
  containers:
  - name: cv-container
    # ...

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: production-critical
value: 1000000
globalDefault: false
description: "Critical production ML inference"

❗️ Обратите внимание: чем выше значение value, тем выше приоритет.  

apiVersion: v1
kind: Pod
metadata:
  name: customer-facing-inference
spec:
  priorityClassName: production-critical
  containers:
  - name: inference-server
    image: inference:latest
    resources:
      limits:
        nvidia.com/gpu: 1

Юзкейс: в кластере с 10 GPU‑узлами поды распределены неравномерно — на каждом узле используется только 1–2 GPU из 8 доступных. Descheduler консолидирует нагрузку, освобождая целые узлы для размещения задач, требующих много GPU (например, обучение больших моделей).

apiVersion: "descheduler/v1alpha1"
kind: "DeschedulerPolicy"
strategies:
  "RemoveDuplicates":
    enabled: true
  "LowNodeUtilization":
    enabled: true
    params:
      nodeResourceUtilizationThresholds:
        thresholds:
          "nvidia.com/gpu": 25  # Узлы с утилизацией GPU менее 25%
          "cpu": 20
          "memory": 20
        targetThresholds:
          "nvidia.com/gpu": 80  # Целевая утилизация GPU 80%
          "cpu": 70
          "memory": 70
      numberOfNodes: 2  # Максимум 2 узла могут быть недозагружены
  "RemovePodsViolatingNodeAffinity":
    enabled: true
    params:
      nodeAffinityType:
      - "requiredDuringSchedulingIgnoredDuringExecution"

Юзкейс: критичные ML‑сервисы должны быть равномерно распределены по зонам доступности, но со временем распределение нарушается. Descheduler восстанавливает баланс.

apiVersion: "descheduler/v1alpha1"
kind: "DeschedulerPolicy"
strategies:
  "RemovePodsViolatingTopologySpreadConstraint":
    enabled: true
    params:
      includeSoftConstraints: true
  "LowNodeUtilization":
    enabled: true
    params:
      nodeResourceUtilizationThresholds:
        thresholds:
          "nvidia.com/gpu": 30
        targetThresholds:
          "nvidia.com/gpu": 75
      # Обрабатываем только ML namespace'ы
      evictableNamespaces:
        include:
        - "ml-inference"
        - "ml-training"

Юзкейс: в кластере есть узлы с T4 GPU (для инференса) и A100 GPU (для обучения). Со временем поды могут оказаться на неоптимальных узлах из‑за изменений в кластере. Descheduler исправляет такие нарушения, перемещая поды на узлы с подходящими типами GPU.

apiVersion: "descheduler/v1alpha1"
kind: "DeschedulerPolicy"
strategies:
  "RemovePodsViolatingNodeAffinity":
    enabled: true
    params:
      nodeAffinityType:
      - "requiredDuringSchedulingIgnoredDuringExecution"
      - "preferredDuringSchedulingIgnoredDuringExecution"
  "LowNodeUtilization":
    enabled: true
    params:
      nodeResourceUtilizationThresholds:
        thresholds:
          "nvidia.com/gpu": 20
        targetThresholds:
          "nvidia.com/gpu": 70
      # Обрабатываем только ML-нагрузки
      evictableNamespaces:
        include:
        - "ml-inference"
        - "ml-training"
        - "ml-experiments"
      # Учитываем селекторы подов для правильного размещения
      labelSelector:
        matchExpressions:
        - key: gpu-workload-type
          operator: In
          values:
          - "inference"
          - "training"

Юзкейс: крупная ML‑платформа с различными типами нагрузок требует тонкой настройки Descheduler с учётом приоритетов, возраста подов и специфических меток.

apiVersion: "descheduler/v1alpha1"
kind: "DeschedulerPolicy"
strategies:
  "LowNodeUtilization":
    enabled: true
    params:
      nodeResourceUtilizationThresholds:
        thresholds:
          "nvidia.com/gpu": 25
          "cpu": 20
          "memory": 20
        targetThresholds:
          "nvidia.com/gpu": 75
          "cpu": 70
          "memory": 70
      evictableNamespaces:
        include:
        - "ml-training"
        - "ml-experiments"
      nodeFit: true  # Проверяем, что под может быть перемещен
      # Фильтры для исключения критичных подов
      thresholdPriority: 10000  # Не трогаем поды с приоритетом выше 10000
      thresholdPriorityClassName: "high-priority-inference"
  "RemovePodsHavingTooManyRestarts":
    enabled: true
    params:
      podRestartThreshold: 5  # Удаляем поды с более чем 5 перезапусками
      includingInitContainers: true
  "PodLifeTime":
    enabled: true
    params:
      maxPodLifeTimeSeconds: 86400  # 24 часа для экспериментальных подов
      podStatusPhases:
      - "Pending"
      - "PodInitializing"
      labelSelector:
        matchLabels:
          workload-type: "experiment"

Юзкейс: критичный производственный сервис инференса, который должен иметь:

• Высокий приоритет для вытеснения других подов.

• Размещение на специальных узлах с T4 GPU (оптимальных для инференса).

• Изоляцию от подов обучения для стабильной задержки.

• Распределение по зонам доступности для обеспечения отказоустойчивости.

apiVersion: v1
kind: Pod
metadata:
  name: production-inference
  labels:
    app: inference
    environment: production
spec:
  priorityClassName: high-priority-inference
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: nvidia.com/gpu.product
            operator: In
            values:
            - NVIDIA-T4  # Оптимально для инференса
    podAntiAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
      - labelSelector:
          matchExpressions:
          - key: app
            operator: In
            values:
            - training  # Избегать узлов с подами обучения
        topologyKey: kubernetes.io/hostname
  tolerations:
  - key: "dedicated"
    operator: "Equal"
    value: "inference"
    effect: "NoSchedule"
  topologySpreadConstraints:
  - maxSkew: 1
    topologyKey: topology.kubernetes.io/zone
    whenUnsatisfiable: DoNotSchedule
    labelSelector:
      matchLabels:
        app: inference
  containers:
  - name: inference-container
    image: inference-server:latest
    resources:
      limits:
        nvidia.com/gpu: 1

Юзкейс: распределённое обучение крупной языковой модели, которое требует:

• Мощные A100 GPU с большим объемом памяти.

• Размещение подов одного и того же задания на одних и тех же узлах (когда возможно) для оптимизации межузловой коммуникации.

• Толерантность к taint «training», чтобы использовать узлы, выделенные для обучения.

• Запрос большого количества ресурсов (8 GPU, hugepages, память).

apiVersion: v1
kind: Pod
metadata:
  name: distributed-llm-training-worker-1
  labels:
    app: distributed-training
    role: worker
    job-id: llm-training-job-123
spec:
  priorityClassName: medium-priority-training
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: nvidia.com/gpu.product
            operator: In
            values:
            - NVIDIA-A100
          - key: nvidia.com/gpu.memory
            operator: Gt
            values:
            - "40000"  # Нужно минимум 40GB памяти
    podAffinity:
      preferredDuringSchedulingIgnoredDuringExecution:
      - weight: 100
        podAffinityTerm:
          labelSelector:
            matchExpressions:
            - key: job-id
              operator: In
              values:
              - llm-training-job-123
          topologyKey: kubernetes.io/hostname
  tolerations:
  - key: "workload"
    operator: "Equal"
    value: "training"
    effect: "NoSchedule"
  containers:
  - name: training-container
    image: pytorch-distributed:latest
    resources:
      limits:
        nvidia.com/gpu: 8
        hugepages-2Mi: 5Gi
        memory: 128Gi

Юзкейс: ограниченное количество GPU, требуется максимальная утилизация ресурсов. Конфигурация направлена на «плотную упаковку» подов, чтобы минимизировать фрагментацию GPU‑ресурсов. Поды будут размещаться на узлах, где уже используются GPU, до полного исчерпания ресурсов узла.

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
- schedulerName: gpu-optimized-scheduler
  plugins:
    score:
      enabled:
      - name: NodeResourcesBalancedAllocation
        weight: 2  # Повышенный вес для сбалансированного размещения
      - name: NodeResourcesFit
        weight: 4  # Высокий вес для плотной упаковки
  pluginConfig:
  - name: NodeResourcesFit
    args:
      scoringStrategy:
        type: MostAllocated  # Стратегия плотной упаковки
        resources:
        - name: nvidia.com/gpu
          weight: 10  # Высокий вес для GPU
        - name: cpu
          weight: 3
        - name: memory
          weight: 1

Юзкейс: сервис инференса, требующий стабильной задержки и предсказуемой производительности. Конфигурация равномерно распределяет нагрузку по всем доступным GPU, предотвращая перегрузку отдельных узлов. Это минимизирует соревнование за ресурсы и обеспечивает стабильное время отклика.

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
- schedulerName: gpu-balanced-scheduler
  plugins:
    score:
      enabled:
      - name: NodeResourcesBalancedAllocation
        weight: 5  # Сильный акцент на сбалансированное распределение
      - name: NodeResourcesFit
        weight: 2
      - name: TaintToleration
        weight: 1
  pluginConfig:
  - name: NodeResourcesFit
    args:
      scoringStrategy:
        type: LeastAllocated  # Стратегия равномерного распределения
        resources:
        - name: nvidia.com/gpu
          weight: 8
        - name: cpu
          weight: 2
        - name: memory
          weight: 1

Юзкейс: обучение очень больших моделей (например, LLM), требующих значительных объемов GPU‑памяти. Конфигурация отдает приоритет узлам с наибольшим объёмом доступных ресурсов GPU и памяти, чтобы предотвратить аварийное завершение подов из‑за нехватки памяти.

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
- schedulerName: large-model-scheduler
  plugins:
    preFilter:
      enabled:
      - name: NodeResourcesFit
      - name: NodePorts
    filter:
      enabled:
      - name: NodeResourcesFit
      - name: NodeName
      - name: NodeUnschedulable
    preScore:
      enabled:
      - name: InterPodAffinity
      - name: NodeAffinity
      - name: NodeResourcesFit
    score:
      enabled:
      - name: NodeResourcesBalancedAllocation
        weight: 1
      - name: NodeResourcesFit
        weight: 10
  pluginConfig:
  - name: NodeResourcesFit
    args:
      # Увеличенный буфер для избежания OOM-ситуаций
      scoringStrategy:
        type: MostAllocated
        resources:
        - name: nvidia.com/gpu
          weight: 10
        - name: memory
          weight: 5
        - name: cpu
          weight: 3

Юзкейс: высокопроизводительные вычисления, где критически важна скорость межпроцессорного обмена данными. Планировщик отдаёт предпочтение узлам с GPU, которые соединены через NVLink, и размещает поды с учетом NUMA‑топологии.

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
- schedulerName: nvlink-aware-scheduler
  plugins:
    filter:
      enabled:
      - name: NodeResourcesFit
      - name: NodeAffinity
      - name: PodTopologySpread
    score:
      enabled:
      - name: NodeResourcesFit
        weight: 8
      - name: NodeAffinity
        weight: 5
      - name: PodTopologySpread
        weight: 3
      - name: InterPodAffinity
        weight: 2
  pluginConfig:
  - name: NodeResourcesFit
    args:
      scoringStrategy:
        type: MostAllocated
        resources:
        - name: nvidia.com/gpu
          weight: 15
        - name: hugepages-2Mi
          weight: 8  # Важно для высокопроизводительных вычислений
        - name: memory
          weight: 5
        - name: cpu
          weight: 3
  - name: NodeAffinity
    args:
      addedAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
          nodeSelectorTerms:
          - matchExpressions:
            - key: nvidia.com/gpu.nvlink
              operator: Exists
            - key: node.kubernetes.io/instance-type
              operator: In
              values:
              - gpu-h100-8x  # Узлы с 8 H100 GPU и NVLink

Юзкейс: универсальная конфигурация для кластера с различными типами GPU‑нагрузок. Разные профили оптимизированы под конкретные сценарии использования.

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
# Профиль для инференса - быстрое размещение, равномерное распределение
- schedulerName: inference-scheduler
  plugins:
    score:
      enabled:
      - name: NodeResourcesFit
        weight: 3
      - name: NodeResourcesBalancedAllocation
        weight: 5
      - name: ImageLocality
        weight: 2  # Учитываем локальность образов
  pluginConfig:
  - name: NodeResourcesFit
    args:
      scoringStrategy:
        type: LeastAllocated
        resources:
        - name: nvidia.com/gpu
          weight: 8
        - name: cpu
          weight: 3
        - name: memory
          weight: 2


# Профиль для обучения - плотная упаковка, максимальная утилизация
- schedulerName: training-scheduler
  plugins:
    score:
      enabled:
      - name: NodeResourcesFit
        weight: 8
      - name: NodeResourcesBalancedAllocation
        weight: 2
      - name: PodTopologySpread
        weight: 3
  pluginConfig:
  - name: NodeResourcesFit
    args:
      scoringStrategy:
        type: MostAllocated
        resources:
        - name: nvidia.com/gpu
          weight: 12
        - name: memory
          weight: 6
        - name: hugepages-2Mi
          weight: 4
        - name: cpu
          weight: 2


# Профиль для экспериментов - гибкое размещение с низким приоритетом
- schedulerName: experiment-scheduler
  plugins:
    score:
      enabled:
      - name: NodeResourcesFit
        weight: 4
      - name: NodeResourcesBalancedAllocation
        weight: 3
      - name: TaintToleration
        weight: 2
  pluginConfig:
  - name: NodeResourcesFit
    args:
      scoringStrategy:
        type: LeastAllocated
        resources:
        - name: nvidia.com/gpu
          weight: 6
        - name: cpu
          weight: 3
        - name: memory
          weight: 2

Юзкейс: современные GPU A100/H100 поддерживают Multi‑Instance GPU (MIG), позволяя разделять один физический GPU на несколько виртуальных. Планировщик оптимизирован для эффективного использования MIG‑инстансов.

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
- schedulerName: mig-aware-scheduler
  plugins:
    filter:
      enabled:
      - name: NodeResourcesFit
      - name: NodeAffinity
    score:
      enabled:
      - name: NodeResourcesFit
        weight: 10
      - name: NodeResourcesBalancedAllocation
        weight: 3
      - name: NodeAffinity
        weight: 2
  pluginConfig:
  - name: NodeResourcesFit
    args:
      scoringStrategy:
        type: MostAllocated  # Максимизируем использование MIG-слайсов
        resources:
        - name: nvidia.com/mig-1g.5gb    # MIG 1/7 A100
          weight: 8
        - name: nvidia.com/mig-2g.10gb   # MIG 2/7 A100
          weight: 10
        - name: nvidia.com/mig-3g.20gb   # MIG 3/7 A100
          weight: 12
        - name: nvidia.com/mig-7g.40gb   # MIG 7/7 A100 (полный GPU)
          weight: 15
        - name: memory
          weight: 4
        - name: cpu
          weight: 2

В этом примере Volcano гарантирует, что все четыре пода (1 parameter server и 3 workers) будут запущены одновременно, что критично для распределённого обучения.

apiVersion: batch.volcano.sh/v1alpha1
kind: Job
metadata:
  name: distributed-training
spec:
  minAvailable: 4
  schedulerName: volcano
  plugins:
    env: []
    svc: []
  policies:
    - event: PodEvicted
      action: RestartJob
  tasks:
    - replicas: 1
      name: ps
      template:
        spec:
          containers:
            - image: tensorflow/tensorflow:gpu
              name: tensorflow
              resources:
                limits:
                  nvidia.com/gpu: 1
    - replicas: 3
      name: worker
      template:
        spec:
          containers:
            - image: tensorflow/tensorflow:gpu
              name: tensorflow
              resources:
                limits:
                  nvidia.com/gpu: 2

В этом сценарии обучения YuniKorn гарантирует справедливое распределение GPU‑ресурсов между разными задачами обучения с соблюдением квот для различных команд. Современный YuniKorn использует стандартные Kubernetes‑ресурсы с аннотациями.

# Job для обучения модели с YuniKorn аннотациями
apiVersion: batch/v1
kind: Job
metadata:
  name: inference-job
  namespace: ml-inference
  annotations:
    # Указываем очередь YuniKorn
    yunikorn.apache.org/queue: root.engineering.ml-team
    # Включаем gang scheduling для координированного запуска подов
    yunikorn.apache.org/task-group-name: inference-workers
    yunikorn.apache.org/task-groups: |-
      [{
        "name": "inference",
        "minMember": 4,
        "minResource": {
          "nvidia.com/gpu": 4,
          "memory": "32Gi",
          "cpu": "16"
        },
        "nodeSelector": {
          "gpu-type": "tesla-v100"
        },
        "tolerations": [{
          "key": "dedicated",
          "operator": "Equal",
          "value": "ml-training",
          "effect": "NoSchedule"
        }]
      }]
spec:
  parallelism: 4
  completions: 4
  template:
    metadata:
      labels:
        app: inference
        yunikorn.apache.org/task-group-name: inference-workers
    spec:
      schedulerName: yunikorn
      restartPolicy: Never
      containers:
      - name: inference
        image: inference-server:latest
        resources:
          requests:
            nvidia.com/gpu: 1
            memory: "8Gi"
            cpu: "4"
          limits:
            nvidia.com/gpu: 1
            memory: "8Gi"
            cpu: "4"

В этом примере KAI‑Scheduler размещает задачу обучения крупной языковой модели на узел с 8 GPU, которые соединены через NVLink, обеспечивая максимальную производительность межпроцессорного обмена данными.

apiVersion: scheduling.kai.io/v1
kind: GPUTask
metadata:
  name: llm-training
spec:
  schedulerName: kai-scheduler
  priority: high
  topologyAware: true
  gpuCount: 8
  nvlinkRequired: true
  template:
    spec:
      containers:
      - name: training
        image: llm-training:latest
        resources:
          limits:
            nvidia.com/gpu: 8
            memory: "128Gi"

Исходная ситуация. Команда ML‑исследователей используют стандартный kube‑scheduler:

apiVersion: batch/v1
kind: Job
metadata:
  name: distributed-training
spec:
  parallelism: 4
  template:
    spec:
      containers:
      - name: training
        image: training:latest
        resources:
          limits:
            nvidia.com/gpu: 1

Проблема. Из‑за нехватки GPU только часть подов запускается, остальные остаются в состоянии Pending, блокируя уже запущенные поды, которые ожидают остальные.

Решение с Volcano:

apiVersion: batch.volcano.sh/v1alpha1
kind: Job
metadata:
  name: distributed-training
spec:
  minAvailable: 4
  schedulerName: volcano
  tasks:
    - replicas: 4
      name: worker
      template:
        spec:
          containers:
          - name: training
            image: training:latest
            resources:
              limits:
                nvidia.com/gpu: 1

Результат. Поды либо запускаются все одновременно, либо ждут вместе, что устраняет проблему с блокировкой ресурсов и повышает общую утилизацию GPU в кластере.

Исходная ситуация. Компания использует ручное разделение ресурсов через отдельные namespaces с ResourceQuotas:

apiVersion: v1
kind: ResourceQuota
metadata:
  name: team-a-quota
  namespace: team-a
spec:
  hard:
    nvidia.com/gpu: 8
---
apiVersion: v1
kind: ResourceQuota
metadata:
  name: team-b-quota
  namespace: team-b
spec:
  hard:
    nvidia.com/gpu: 8

Проблема. Команда A часто не использует все выделенные GPU, в то время как команда B страдает от нехватки ресурсов и длительных очередей подов.

Решение с YuniKorn:

# Конфигурация YuniKorn
partitions:
  - name: default
    queues:
      - name: root
        queues:
          - name: team-a
            resources:
              guaranteed:
                nvidia.com/gpu: 4
              max:
                nvidia.com/gpu: 12
          - name: team-b
            resources:
              guaranteed:
                nvidia.com/gpu: 4
              max:
                nvidia.com/gpu: 12

Результат. Каждая команда получает гарантированный минимум GPU, но может использовать больше ресурсов, если они доступны. YuniKorn динамически выделяет неиспользуемые GPU команды A для команды B, повышая общую утилизацию ресурсов на 40%.

Исходная ситуация. Исследовательская лаборатория использует Volcano для обучения больших языковых моделей:

apiVersion: batch.volcano.sh/v1alpha1
kind: Job
metadata:
  name: llm-training
spec:
  minAvailable: 8
  schedulerName: volcano
  tasks:
    - replicas: 8
      name: training
      template:
        spec:
          containers:
          - name: llm-container
            image: llm-training:latest
            resources:
              limits:
                nvidia.com/gpu: 1

Проблема. Тренировка выполняется неоптимально из‑за случайного размещения подов, которые могут оказаться на разных узлах с ограниченной межузловой пропускной способностью сети.

Решение с KAI‑Scheduler:

apiVersion: scheduling.kai.io/v1
kind: GPUWorkload
metadata:
  name: llm-training
spec:
  schedulerName: kai-scheduler
  topologyAware: true
  preferSameNode: true
  communicationPattern: allToAll
  template:
    spec:
      containers:
      - name: llm-container
        image: llm-training:latest
        resources:
          limits:
            nvidia.com/gpu: 8

Результат. KAI‑Scheduler размещает все 8 GPU для задачи на одном узле с NVLink‑соединениями, сокращая время обучения на 35% благодаря устранению узких мест в межузловой коммуникации.