nsnoow Dec 4 2019 at 13:45

Трюки для обработки метрик в Kapacitor

7 min

5.8K

Островок! corporate blogDevOps*IT Infrastructure*Server Administration*System administration*

Comments 6

Maximuzzz Dec 5 2019 at 12:13

Спасибо за подборку хинтов, пригодится.

А вы полностью управляете инфаструктурой инфлюикса и пишите скрипты для алертеинга или юзеры тоже могут писать свои скрипты? Если последнее — как решаете вопрос с рзделением прав доступа?

nsnoow Dec 5 2019 at 12:30

Тут было бы круто получить уточнение — кто есть юзер в данном случае?
В графане разработчики сами настраивают необходимые алерты
Если же этот алертинг не достаточен/не очень удобен — иногда приходят с задачками для капаситора: «посчитать первое и второе, записать сюда» или «хочу шикарный алерт по вот такой хитрой логике»

Maximuzzz Dec 5 2019 at 19:00

Получается, что юзер = разработчик в вашем случае, у нас в добавок ещё и админы классические.
Как я понял доступа самим «покрутить» скрипты в капаситоре у ваших разработчиков нет?

nsnoow Dec 6 2019 at 18:26

Да, отдельно над задачей «раздать доступы» не думали, не было нужды.
Капаситор все же немногим сложнее алертилки в графане, дополнительный синтаксис не нужен -> все более очевидно.

M0rdecay Dec 5 2019 at 12:31

Прекрасная статья, спасибо!
Отмечу следующее — в который уже раз встречаю утверждение "Графана не умеет вычисления между измерениями", но ведь дело тут не в графане!

Объясню по порядку (защищу графану :))
Во-первых, возможность вести вычисления между сериями данных это заслуга использования движка запросов Flux, а не Kapacitor. Дефолтный язык запросов InfluxDB в межсерийные вычисления не умеет, с чем вы и столкнулись при работе с графаной (для работы с Flux есть плагин, но он ещё сырой).
Из этого следует второе — визуализатор/алерт менеджер ограничен только возможностями при запросов, который предоставляет источник данных. Пример — если использовать в качестве источника Elasticsearch (коим я для целей хранения данных мониторинга пользуюсь уже давно, а вам советую попробовать), внезапно, возможность вычислений между сериями появляется, т.к. её предоставляет ES search api — https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-pipeline-bucket-script-aggregation.html
Из минусов относительно InfluxDB — по-умолчанию в Elasticsearch не включен Index lifecycle management (нечто близкое к retention policy), эту вещь нужно настраивать ручками, но это не сложно.

Поработайте с эластиком в связке с графаной, очень мощный получается инструмент.

nsnoow Dec 5 2019 at 12:42

Спасибо за комментарий! Вы правы, это моя ошибка формулировок.
В вычисления между измерениями не умеет дефолтный язык InfluxDB, конечно же.
Про flux читал ранее, на прошлой неделе вспомнил ещё раз про него, но потыкать пока не дошли руки. В теории, штука-то очень крутая и ожидаемая, на практике пока сказать не могу.
В InfluxDB льются только метрики, Elasticsearch естественно есть, используем для хранения логов (кстати про метрики и логи очень понравилась статья: whiteink.com/2019/logs-vs-metrics-a-false-dichotomy)