На самом деле достаточно быстро. Конечно бывают моменты легких лагов(когда много желающих)) Помогает, что все высококардинальные метрики у нас на отдельном проме. Плюс что большинство секций по умолчанию свернуты (данные грузятся именно при открытии). Ну и большинство этих дашбордов под конкретный инстанс (т.е. переменная сильно отсекающая по селективности для promql запроса, всегда определена). Вот обзорный дашборд по всей инфре работает существенно медленнее. На примере дашборда DB Performance за суточный диапазон грузится в среднем за секунду-две, и на раскрытие нужной секции секунда-две. Жалоб на это от пользователей нет. Самая тяжелая панель тут - таблица с запросами. Там аггрегации, плюс много колонок (соответственно promql запросов) и плюс сами метрики запросов самые высококардинальные из всех. Вот она может и до минуты собираться в зависимости от выбранного диапазона.
На эту тему, думаю, отдельная статья будет. Если кратко: node_exporter, postgres_exporter - эти метрики идут в один пром и пробрасываются в Victoria metrics (общебанковское хранилище метрик). Метрики со статистических представлений Postgres собираются и хранятся отдельным Prometheus инстансом, в виду своей высокой кардинальности. Собираются кастомными запросами с помощью вот такого экспортера - https://github.com/burningalchemist/sql_exporter
поднять иопсов ))
Ну это желание мы руководству озвучивали) Пока ответа нет (. Попробую, наверн, еще раз зайти.
Да, отдельную статью планируем.
https://habr.com/ru/companies/oleg-bunin/articles/757958/
На самом деле достаточно быстро. Конечно бывают моменты легких лагов(когда много желающих)) Помогает, что все высококардинальные метрики у нас на отдельном проме. Плюс что большинство секций по умолчанию свернуты (данные грузятся именно при открытии). Ну и большинство этих дашбордов под конкретный инстанс (т.е. переменная сильно отсекающая по селективности для promql запроса, всегда определена). Вот обзорный дашборд по всей инфре работает существенно медленнее. На примере дашборда DB Performance за суточный диапазон грузится в среднем за секунду-две, и на раскрытие нужной секции секунда-две. Жалоб на это от пользователей нет. Самая тяжелая панель тут - таблица с запросами. Там аггрегации, плюс много колонок (соответственно promql запросов) и плюс сами метрики запросов самые высококардинальные из всех. Вот она может и до минуты собираться в зависимости от выбранного диапазона.
Планируем отдельную статью на, как раз, подкапотную тему.
На эту тему, думаю, отдельная статья будет. Если кратко: node_exporter, postgres_exporter - эти метрики идут в один пром и пробрасываются в Victoria metrics (общебанковское хранилище метрик). Метрики со статистических представлений Postgres собираются и хранятся отдельным Prometheus инстансом, в виду своей высокой кардинальности. Собираются кастомными запросами с помощью вот такого экспортера - https://github.com/burningalchemist/sql_exporter
Да, есть конечно и алертинг) И первая ссылка, которая идет после текста с описанием события - линк на соответствующий дашборд.