Как стать автором
Обновить

Комментарии 12

. Всё помечается тегами: namespace, под и так далее, а затем конвертируется в формат Prometheus – и становится доступно для сбора (кроме логов). Также, логи, метрики и события мы отправляем в Kafka и далее


А можно полюбопытствовать — каким образом обеспечивается(если обеспечивается) HA режим для prometheus? Как-то так или иначе?

В нашей практике мы стараемся использовать Prometheus в минимальной конфигурации без HA режима. Защита от потери данных закрывается Kafka.
Благодарю, тоже склоняюсь к схожему решению.
Kafka как проводник — хранит в себе, пока с нее не заберут. На одном из скринов видно что под стораджем может быть Clickhouse или VictoriaMetrics.
Логи доступны в Graylog (для визуального анализа);
Логи, метрики, события отправляются в Clickhouse для долгосрочного хранения.

как разделяете логи, какие в Graylog а какие в Clickhouse?
Разделение происходит на уровне Kafka. Для нее существует consumer, который решает куда дальше поставлять логи и в каком формате. По умолчанию, данные перенаправляются обратно в другие топики Kafka. Из которых уже встроенными средствами, Graylog или Clickhouse забирают данные.
техническая сторона не вызывает вопросов.
Вопрос в логике, какие именно логи идут в Graylog а какие Clickhouse.
Например debug, info логи приложения, идут и в Graylog и Clickhouse?

Сейчас деления нет. Отличие только по retention (время хранения). Clickhouse — долгосрок, Graylog — краткосрок.
и для поиска по clickhouse используете что то вроде tabix?
Поиск по клику делается редко. В ход идут: CLI, Tabix, Superset — кому что удобно.
У слова образ мн.ч. — образы, образа является множественным числом только в значении иконы.
Спасибо, заменили!
Зарегистрируйтесь на Хабре, чтобы оставить комментарий