Привет, друзья!

Сегодня поговорим про написание собственных метрик Pilot-Web для Prometheus. Здесь нам понадобятся методы API нашего Web'а. Запускаем devTools (F12), переходим в networks и авторизовываемся через браузер и смотрим доступные нам запросы. Из полезных это GetPeople (данные по пользователям базы), IsOnline (в сети ли пользователь в Вебе), GetOrganizationUnits (данные по организационной структуре) и другие.

Мы в метрику Prometheus будем выводить количество онлайн пользователей в веб-версии. Для этого нам нужен метод GetPeople, метод IsOnline и метод для авторизации Auth/SignIn (без авторизации мы не сможем обращаться к доступным методам api), а также Node_exporter.

Node_exporter - это специальная программа, которая собирает метрические данные показателей оборудования и ОС. Но мы также можем её использовать для забора нужных нам метрик.

Теперь по порядку:

Устанавливаем и запускаем node_exporter через юнит systemd. Основное отличие от стандартного юнита это добавление --collector.textfile.directory /tmp в ExecStart. Теперь папка /tmp будет прослушиваться нашем экспортером.

Установка:

wget https://github.com/prometheus/node_exporter/releases/download/**/node_exporter-*.tar.gz
tar -xvf node_exporter-.linux-amd64.tar.gz 
sudo mv node_exporter-/node_exporter /usr/local/bin/

Создание юнита /etc/systemd/system/node_exporter.service:

[Unit]
 Description=Node Exporter
 Wants=network-online.target
 After=network-online.target

[Service]
 User=node_exporter
 Group=node_exporter
 Type=simple
 ExecStart=/usr/local/bin/node_exporter --collector.textfile.directory /tmp

[Install]
 WantedBy=multi-user.target

Запуск сервиса:

sudo systemctl daemon-reload
sudo systemctl enable node_exporter
sudo systemctl start node_exporter
sudo systemctl status node_exporter

Проверяем запросом: curl http://localhost:9100/metrics

2. Меняем конфигурацию prometheus. Добавляем новую job_name:

scrape_configs:
  - job_name: 'node'
    file_sd_configs:
    - files:
      - "/etc/prometheus/file_sd/node_exporter.yaml"

Т.к. мы строчкой file_sd_configs сказали прометеусу что будем брать информацию о node exporter из файла, то создадим этот файл по пути, который указан /etc/prometheus/file_sd/node_exporter.yaml со следующим содержимым:

---
- targets:
  - IP:9100
  labels:
    role: web-server
    project: pilot-web

IP - адрес сервера, где стоит node_exporter.

В labels указываем метки, по которым можем фильтровать и отрисовывать графики.

Перезапускаем prometheus. Можем проверить работоспособность нашего node_exporter перейдя по пути http://ip_prometheus:9090/targets (ip_prometheus - адрес, где стоит наш prometheus).

3.Пишем скрипт, который будет заходить к нам в Pilot-Web, авторизовываться, выдавать нам количество онлайн пользователей, авторизованных через Web и записывает это количество в файл метрик для мониторинга. Скрипт может быть написан на любом языке. Я написал на python. Кратко о скрипте:

В переменных указываем пути к файлу cookie (там будет храниться наш токен для авторизации на основе логина и пароля), директорию, которую мы указывали в node_exporter (/tmp, там node_exporter будет отслеживать появление файлов метрик), имя файла для метрик, url для авторизации и url для api. В login_data указать данные, которые используем для входа.

Далее делаем запрос на получение пользователей GetPeople и для каждого пользователя выполняем запрос на проверку статуса (онлайн/офлайн) /Person/IsOnline, тех кто онлайн записываем в список user_status. Длину этого списка записываем в файл метрик status_data.prom.

В начале можно протестировать скрипт в ide и уже потом заливать на сервер.

#!/usr/bin/python3
import requests
import json

COOKIE_FILE = "/tmp/cookies.txt"
MAINDIR = "/tmp"
METRICS = "status_data.prom"
url = "https://<PILOT-WEB>/api/Auth/SignIn"
url_api = "https://<PILOT-WEB>/api"
login_data = {
    "username": "username",
    "password": "pass"
}

def load_cookies():
    try:
        with open(COOKIE_FILE, "r") as file:
            return json.load(file)
    except (FileNotFoundError, json.JSONDecodeError):
        return {}
      
response = requests.post(url, headers={"Content-Type": "application/json;charset=UTF-8"}, json=login_data, cookies={})

if response.status_code == 200:
    cookies = response.cookies
    with open(COOKIE_FILE, "w") as file:
        cookie_dict = {name: value for name, value in cookies.items()}
        json.dump(cookie_dict, file)
    cookie_dict2 = load_cookies()
    people_responce = requests.get(f"{url_api}/Metadata/GetPeople", 
                                   headers={"Content-Type": "application/json;charset=UTF-8"},
                                   cookies=cookie_dict2)
    if people_responce.status_code == 200:
        people_data = people_responce.json()
        user_status = []
        for person in people_data:
            person_id = person.get("id")
            person_login = person.get("login")
            if person_id is None:
                continue
            status_response = requests.get(f"{url_api}/Person/IsOnline", params={"personId": person_id}, cookies=cookie_dict2)
            status_response.raise_for_status()
            
            is_online = status_response.json()

            if is_online == True:
                user_status.append({
                    "id": person_id,
                    "login": person_login,
                    "isOnline": is_online})

with open(f"{MAINDIR}/{METRICS}", "w") as file:
    file.write("# HELP users_online count person online\n")
    file.write("# TYPE users_online gauge\n")
    file.write(f"users_online{{host=\"web\"}} {len(user_status)}")

Заливаем скрипт на сервер, например в папку /usr/local/sbin/script_online.py делаем ему разрешение на выполнение: chmod +x /usr/local/sbin/script_online.py и закидываем в cron. Теперь скрипт у нас будет отрабатывать в то время, которое мы задали в cron.

Теперь, если перейти по адресу метрик node_exporter http://ip:9100/metrics мы увидим нашу метрику users_online

4.В Grafana подключаемся к нашему серверу prometheus (если еще не были подключены) и создаем новый дашборд. В окне создания дашборда в разделе Queries -> Code прописываем users_online{host="web"} и нажимаем Refresh. Должен отобразиться график активности наших пользователей в Web-версии. Сохраняем дашборд.

Минусы сбора метрик таким способом в Pilot-Web:

Задействуется лицензия для авторизации в Pilot-Web;
Мало методов API;
Сложность настройки;

Плюсы сбора метрик таким способом в Pilot-Web:

Возможность получать кастомные метрики в Web;
Создание метрик в базовом стеке Prometheus + Grafana

Собственные метрики в Pilot-Web