Автор статьи: Рустем Галиев
IBM Senior DevOps Engineer & Integration Architect. Официальный DevOps ментор и коуч в IBM
Привет, Хабр! Начнем с цитаты.
«Работа в производственной среде означает пристальное наблюдение за тем, как все работает, поэтому важно иметь данные, которые обеспечивают такое понимание. В конце концов, способность распознавать потенциально проблемные паттерны в том, как работают ваши приложения или как Kubernetes обрабатывает определенные рабочие нагрузки, может означать разницу между быстрым исправлением и получением звонка в 3 часа ночи, потому что ваш сайт не работает» — Брайан МакКлейн, Staff technologist, VMware.
Сегодня мы узнаем, как в Kubernetes:
Установить Prometheus и Grafana.
Настроить источник данных Prometheus для Grafana.
Настроить панель инструментов для Grafana.
Получить доступ к веб-интерфейсу Grafana.
Сначала проверим наш кластер.
{ clear && </span>
echo -e "\n=== Kubernetes Status ===\n" && </span>
kubectl get --raw '/healthz?verbose' && </span>
kubectl version --short && </span>
kubectl get nodes && </span>
kubectl cluster-info;
} | grep -z 'Ready| ok|passed|running'
Также Helm для установки приложений в кластер.
helm version --short
Панель управления Kubernetes
Вы можете администрировать свой кластер с помощью инструмента командной строки kubectl или использовать панель мониторинга Kubernetes.
Устанавливаем Прометей
Prometheus — это набор инструментов для системного мониторинга и оповещения с открытым исходным кодом, который собирает и сохраняет свои метрики в виде данных временных рядов (т. е. информация о метриках хранится с отметкой времени, в которую она была записана, наряду с необязательными парами ключ‑значение, называемыми метками).
Для этой лабораторной работы мы будем использовать хорошо написанный чарт Bitnami Prometheus для установки Prometheus.
Добавим ссылку на репозиторий Bitnami Chart в Helm:
helm repo add bitnami https://charts.bitnami.com/bitnami && helm repo list
Устанавливаем Прометей:
helm install my-kube-prometheus bitnami/kube-prometheus --set prometheus.service.type=NodePort --set prometheus.service.nodePort=30010
Прометей будет доступен через несколько минут:
kubectl get deployments,pods,services --selector app.kubernetes.io/instance=my-kube-prometheus
Чтобы получить ссылку на прометея, используем команду:
export NODE_PORT=$(kubectl get --namespace default -o jsonpath="{.spec.ports[0].nodePort}" services my-kube-prometheus-prometheus)
export NODE_IP=$(kubectl get nodes --namespace default -o jsonpath="{.items[0].status.addresses[0].address}")
echo "Prometheus URL: http://$NODE_IP:$NODE_PORT/"Панель инструментов Prometheus позволяет запрашивать базу данных временных рядов и отображать необработанные данные. Веб‑интерфейсы доступны через NodePort и доступны на вкладке Prometheus над областью оболочки.
В интерфейсе вверху есть поле поиска. Введите одну из метрик с именем container_memory_working_set_bytes и нажмите Execute справа. Выберите вкладку График. Появится график, показывающий потребление памяти всеми контейнерами, работающими в вашем кластере.
Метрики состояния Куба
Слева от кнопки «Execute» находится действие «Metric Explorer», которое показывает список всех текущих метрик, отслеживаемых Prometheus. В чарте Bitnami также был установлен дополнительный агент KSM. kube‑state‑metrics (KSM) — это служба, которая прослушивает API метрик Kubernetes и генерирует метрики о состоянии объектов. Prometheus просто собирает данные метрик агента KSM.
Prometheus предоставляет функциональный язык запросов под названием PromQL (Prometheus Query Language), который позволяет пользователю выбирать и агрегировать данные временных рядов в режиме реального времени.
Хотя вы можете запрашивать и отображать эти метрики в виде графиков, нам действительно нужна панель мониторинга, которая будет запрашивать множество метрик на одной странице и предоставлять другие визуализации помимо графика временных рядов. Именно здесь Grafana отлично сочетается.
Устанавливаем Графану
Grafana предоставляет нам операционные информационные панели и визуализации, которые подключаются к различным типам источников данных и отображают ключевые показатели на интуитивно понятных информационных панелях. И источник данных, и информационные панели легко настраиваются. На данный момент нам нужно подключиться к Prometheus как к нашему источнику данных. В настоящее время Prometheus скрапирует сетевые данные нашего кластера, поэтому нам нужно настроить панель мониторинга для отображения данных метрик Kubernetes.
Один из вариантов — просто установить Grafana, запустить веб‑интерфейс и приступить к настройке источников данных и информационных панелей. Однако чем больше мы будем следовать практике «инфраструктура как код» (IaC) с Kubernetes, тем эффективнее мы будем приближать решения к производству.
Хорошим методом «инфраструктура как код» является использование чарта Helm, такой как эта хорошо написанная диаграмма Bitnami Grafana.
Прежде чем мы установим диаграмму Grafana, мы можем определить источник данных в Kubernetes Secret и панель мониторинга в ConfigMap. Диаграмма Grafana будет ссылаться на эти объекты для настройки параметров инфраструктуры Grafana.
Определить источник данных
Для первой настройки мы определяем источник данных в форме YAML, которую Grafana распознает.
Создадим файл с содержимым datasource‑prometheus.yaml
datasources:
- name: Prometheus
type: prometheus
url: http://my-kube-prometheus-prometheus.default.svc.cluster.local:9090
isDefault: trueЕсли удобнее увидеть так
less datasource-prometheus.yaml | tee
Мы размещаем этот YAML в ConfigMap:
kubectl create secret generic datasource-secret --from-file=datasource-prometheus.yamlkubectl get secrets datasource-secret -o yaml
Определяем панель мониторинга
Подробная информация о конфигурации панели мониторинга может храниться в файле JSON. JSON‑схема панели мониторинга имеет множество разделов и полей, и ее может быть сложно написать или настроить без более глубоких знаний. К счастью, существует множество готовых информационных панелей. Коллекция информационных панелей Grafana Labs поможет вам начать работу со многими типами и стилями информационных панелей. Мы будем использовать часто упоминаемый Cluster Monitoring for Kubernetes (id: 10 000).
Эта команда загрузит файл JSON в новый ConfigMap:
kubectl create configmap dashboard-10000 --from-file=dashboard-10000.json
Запустить Графану
Секрет источника данных с именем datasource‑secret и ConfigMap с именем Dashboard-10 000 являются значениями, присвоенными чарту Grafana Helm. Смотрим их в настроенных значениях чарта (создадим файл grafana.values.yaml с содержимым):
service:
type: NodePort
nodePorts:
grafana: 30011
persistence:
enabled: false
dashboardsProvider:
enabled: true
datasources:
secretName: datasource-secret
dashboardsConfigMaps:
- configMapName: dashboard-10000
filename: dashboard-10000.jsonУстанавливаем grafana чарт
helm install my-grafana bitnami/grafana --values grafana.values.yaml
Доступ к графане получаем через
export NODE_PORT=$(kubectl get --namespace default -o jsonpath="{.spec.ports[0].nodePort}" services my-grafana)
export NODE_IP=$(kubectl get nodes --namespace default -o jsonpath="{.items[0].status.addresses[0].address}")
echo http://$NODE_IP:$NODE_PORT
И данные для входа
echo "User: admin"
echo "Password: $(kubectl get secret my-grafana-admin --namespace default -o jsonpath="{.data.GF_SECURITY_ADMIN_PASSWORD}" | base64 -d)"
Проверяем запустилось ли все
kubectl get deployments,pods,services --selector app.kubernetes.io/instance=my-grafana
Служба панели инструментов Grafana предоставляется через NodePort, и к ней можно получить доступ на вкладке Grafana чуть выше области оболочки.
После входа в левое меню в разделе Configuration | Data sources вы видите источник данных Prometheus.
В меню слева выберите Browse в разделе Dashboard. На странице Dashboards щелкните панели в списке, и он развернется, чтобы показать Cluster Monitoring for Kubernetes. Нажмите на него, и он покажет текущие показатели кластера.
Эта первая панель мониторинга дает некоторые основные показатели, такие как ЦП и память в кластере. Есть много других метрик и информационных панелей, которые предоставляют эти данные в режиме реального времени. Наблюдение за метриками на уровне приложения может дать вам более глубокое понимание вашего приложения и поведения клиентов. Наблюдение за приложениями, которые реплицируются на многих машинах в кластере, может быть неуловимым без жизненно важных показателей в реальном времени и на основе времени.
Любые данные в Prometheus можно увидеть в Grafana. Как разработчик приложений, вы также можете предоставлять свои данные Prometheus. Вам не нужно посылать его Прометею; вместо этого все, что вам нужно сделать, это указать конечную точку метрик. Когда контейнер вашего приложения находится в поде и под определяет URL‑адрес метрик, Prometheus соскребает ваши метрики. Это подход «очистки и извлечения», а не подхода «проталкивания метрик». Это значительно упрощает приложению получение метрик в Prometheus и этих информационных панелях. Большинство фреймворков веб‑сервисов на распространенных языках предлагают способы легко отображать метрики вашего приложения.
Приглашаем на открытое занятие «Лог‑менеджмент с Loki». На занятии узнаем, как установить и настроить Loki, а также как проводить анализ с его помощью. Записаться можно на странице курса «Observability: мониторинг, логирование, трейсинг».
