Prometheus + Loki + Grafana: отслеживаем состояния k8s и запущенных в нём приложении

[kWatt]

Спасибо за статью. Это всё конечно просто и легко когда с помощью helm-а сотворяется "магия".
А можно теперь пример, когда деплоится нейки сервис, ну, скажем "hello, world!" , в deplyment-манифесте. Как в этом случае подключается loki, promtail, etc .

[AzamatKomaev]

Точно также) я изначально хотел развернуть свое приложение и рассмотреть логи и мониторинг на его примере, но подумал, что это будет излишним. По сути, то, что я рассмотрел в статье деплоймент loki, по сути своей это такое же деплоймент как если бы я развернул свой.

[Artarik]

это хорошо, только прометея нет в чарте с графаной, потому с 0 этот мега чарт не сможет развернуться

helm repo add grafana https://grafana.github.io/helm-charts 
helm repo update grafana
helm search repo grafana/prometheus
> No results found

[AzamatKomaev]

Доброго времени суток! Вы совершенно правы, упустил этот момент.

Я разворачиваю через YAML манифесты, как раз сегодня занимался тем, что избавлялся от этого в пользу использования собственного Helm-чарта.

[Artarik]

добавьте ваш манифест с прометеем в статью тогда уж )

[trabl]

Обычно ведь прометей и графана развёрнуты отдельно от k8s? Есть ли best practices по данному вопросу?

[AzamatKomaev]

Везде я видел, что Prometheus+Grafana разворачивают на том же железе, где развёрнету сервисы, которые нужно отслеживать. Не видел такого варианта, чтобы развернуть их где-то вне K8s, не представляю себе даже возможным это :)

[trabl]

Ну то есть если умрёт кластер куба, то и мониторинг ваш умрёт?

Тот же prometheus можно развернуть в не k8s - https://sysadmintalks.ru/kubernetes-prometheus-outside/

Про grafana вообще молчу, ей же по сути нужно только источники указать, а где она будет развернута вообще не принципиально.

Но хотелось бы конечно увидеть best practices, как это организованно в крупных компаниях.

[AzamatKomaev]

Отвечаю спустя месяц - да, это возможно и так даже лучше. В своей последней статье понял как это работает, я был плохо посвящён в дела мониторинга :)

В K8s/ВМ хватит развернуть NodeExporter для сбора данных о производительности или Promtail для получения и отправки логов. Prometheus, Loki и тем более Grafana могут находиться на других серверах, но не стоит забывать о защите: лучше, чтобы они общались по внутренней сети или, если такое невозможно, то настроить авторизацию. Спасибо!