Production-ready images for k8s

Спасибо, заменили!

Production-ready images for k8s

Поиск по клику делается редко. В ход идут: CLI, Tabix, Superset — кому что удобно.

Production-ready images for k8s

Сейчас деления нет. Отличие только по retention (время хранения). Clickhouse — долгосрок, Graylog — краткосрок.

Production-ready images for k8s

Разделение происходит на уровне Kafka. Для нее существует consumer, который решает куда дальше поставлять логи и в каком формате. По умолчанию, данные перенаправляются обратно в другие топики Kafka. Из которых уже встроенными средствами, Graylog или Clickhouse забирают данные.

Production-ready images for k8s

Kafka как проводник — хранит в себе, пока с нее не заберут. На одном из скринов видно что под стораджем может быть Clickhouse или VictoriaMetrics.

Production-ready images for k8s

В нашей практике мы стараемся использовать Prometheus в минимальной конфигурации без HA режима. Защита от потери данных закрывается Kafka.