Оптимизация в Python c Kubernetes: кэширование и CDN

Привет, Хабр!

Очень важно не только писать хороший код, но и использовать все возможности инфраструктуры на максимум. Именно с этой целью в этой статье рассмотрим, как правильно использовать инструменты кэширования внутри Kubernetes и как настроить CDN для максимума производительности Python-приложения.

Кэширование

kube-fledged

kube-fledged — это дополнение для Kubernetes, позволяющее управлять кэшами образов контейнеров непосредственно на рабочих узлах кластера. Основная цель — ускорение запуска и масштабирования подов за счет предварительного кэширования образов на рабочих узлах.

Для начала работы с kube-fledged, нужно установить его в кластер:

kubectl apply -f https://raw.githubusercontent.com/senthilrch/kube-fledged/master/deploy/kube-fledged.yaml

После установки можно создать ресурс ImageCache для указания, какие образы должны кэшироваться на каких узлах. Пример манифеста для кэширования образа Python:

apiVersion: kubefledged.io/v1alpha2
kind: ImageCache
metadata:
  name: python-image-cache
spec:
  cacheSpec:
    images:
      - name: python:3.12-alpine
        pullPolicy: IfNotPresent
    nodeSelector:
      matchLabels:
        disktype: ssd

Манифест указывает Kubernetes кэшировать образ python:3.12-alpine на всех узлах с меткой disktype: ssd. Так ускорим запуск подов, использующих этот образ, поскольку образ уже будет находиться на узле и не потребуется его загрузка с Docker Hub или другого реестра.

kuik

kube-image-keeper — это еще один инструмент, который сохраняет образы контейнеров в локальном реестре.

Kuik использует веб-хук для автоматической модификации спецификаций подов, чтобы использовать локально кэшированные образы. Пример конфигурации kuik, которая создает кэш для образа nginx:

apiVersion: kuik.io/v1alpha1
kind: CachedImage
metadata:
  name: nginx-cached
spec:
  image: nginx:latest

Установив kuik в кластере, можно управлять кэшем через Kubernetes API.

Промежуточное кэширование результатов API

Ещё один способ ускорения приложений — кэширование ответов от API.

Например, используем Redis для кэширования ответов API в Python-приложении. Предположим, есть функция, которая обращается к внешнему сервису для получения информации о погоде. Можно кэшировать эти данные, чтобы при последующих запросах снизить задержку:

import redis
import requests

cache = redis.Redis(host='localhost', port=6379, db=0)

def get_weather(city):
    # попытка получить данные из кэша
    if (cached_weather := cache.get(city)) is not None:
        return cached_weather.decode('utf-8')
    
    # запрос к API для получения погоды
    response = requests.get(f'http://api.weatherapi.com/v1/current.json?key=API_KEY&q={city}')
    weather_data = response.json()['current']['condition']['text']

    # кэширование данных
    cache.setex(city, 3600, weather_data)  # кэш действителен 1 час
    return weather_data

current_weather = get_weather('Moscow')
print(current_weather)

Если информация о погоде для указанного города уже есть в кэше, мы извлекаем её оттуда, в противном случае делаем запрос к API и сохраняем результат в кэше на один час.

CDN

Cloudflare CDN с контроллерами входа Kubernetes позволяет распределять статические ресурсы и оптимизировать маршрутизацию трафика. Все это достигается за счет кэширования статических активов, что снижает нагрузку на кластер и улучшает время ответа для конечных пользователей. Для интеграции потребуется создать Ingress ресурс в Kubernetes и настроить DNS записи в Cloudflare для указания на Ingress контроллер.

Пример настройки Ingress в Kubernetes с Cloudflare:

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: example-ingress
  annotations:
    kubernetes.io/ingress.class: "nginx"
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  rules:
  - host: yourdomain.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: example-service
            port:
              number: 80

После настройки Ingress, настраиваем CNAME запись в Cloudflare аккаунте, чтобы указать на Ingress контроллер.

Еще есть Cloudflare Workers, который позволяет манипулировать запросами и ответами на лету, прежде чем они достигнут приложения:

addEventListener('fetch', event => {
  event.respondWith(handleRequest(event.request))
})

async function handleRequest(request) {
  let response = await fetch(request)
  // логика для изменения ответа
  return new Response(response.body, response)
}

Помимо всего этого, есть функция автоматической оптимизации изображений, которая существенно сокращает размер файлов без потери качества. Для включения этой функции нужно будет активировать настройку Polish в Cloudflare аккаунте.

Пример управление этим через API:

curl -X PATCH "https://api.cloudflare.com/client/v4/zones/ZONE_ID/settings/polish" \
     -H "X-Auth-Email: EMAIL" \
     -H "X-Auth-Key: API_KEY" \
     -H "Content-Type: application/json" \
     --data '{"value":"lossless"}'

Так можно активировать оптимизацию изображений в режиме lossless.

Rocket Loader — еще одна полезная функция Cloudflare, которая улучшает время загрузки страниц за счет асинхронной загрузки JavaScript.

Включение Rocket Loader также возможно через API:

curl -X PATCH "https://api.cloudflare.com/client/v4/zones/YOUR_ZONE_ID/settings/rocket_loader" \
     -H "X-Auth-Email: YOUR_EMAIL" \
     -H "X-Auth-Key: YOUR_API_KEY" \
     -H "Content-Type: application/json" \
     --data '{"value":"on"}'

---

Спасибо за прочтение статьи! Какие вы еще знаете методы для оптимизации кода в Python с помощью Kubernetes? Было бы интересно почитать ваши способы в комментариях!

Статья подготовлена в преддверии старта курса "Инфраструктурная платформа на основе Kubernetes". Узнать подробнее о курсе и записаться на бесплатные вебинары можно тут.