Всем привет! На днях захотелось сделать графики по всем нашим точкам доступа, у нас их много, часть на базе Mikrotik и с ними нет проблем, он легко опрашивается по SNMP и отдаёт статистику сразу по всем точкам, а вот с Unifi всё сложней, нужно опрашивать каждую точку доступа отдельно, а они у нас иногда меняются, соответственно, нужно какое-то решение, которое будет отслеживать эти изменения автоматически. В момент поиска готового решения наткнулся на unpoller, но у нас это не заработало, решение не смогло авторизоваться в нашем контроллере с кодом 400, поэтому написали свое простое решение, решил поделиться, вдруг кому-то пригодится.
Наш подход
Мы решили, что напишем приложение/демон, которое может авторизоваться в контроллере Unifi, получить список точек доступа, а дальше по запросу в ручку /metrics будет обращаться ко всем точкам доступа по snmp и отдавать результат наружу в формате prometheus
Реализация
Подробно останавливаться на деталях реализации приложения не буду, всё залил на github и подробно задокументировал. Есть также docker-образ.
Опишу некоторые подходы, которые были использованы:
язык разработки Golang;
для обработки cli-аргументов и переменных окружения использован фреймворк urfave/cli/v2;
в качестве роутера http-запросов использовали gorilla/mux;
для ограничения одновременного опроса точек доступа использован примитив синхронизации "семафор";
использовали mutex для синхронизации списка точек доступа между горутинами;
для опроса точек доступа приложение обращается к сторонней реализации snmp-exporter.
Настройка окружения
Нам нужно настроить две приложеньки:
snmp-exporter - демон, в которого мы будем обращаться из нашей приложеньки;
unifi-prometheus-exporter - наша приложенька.
Я сразу скажу, что я честно закопался в код snmp-exporter, в надежде, что можно будет импортировать код и использовать его функции нативно, но там всё не очень хорошо, код не модульный, его нельзя импортировать, поэтому придётся использовать две приложеньки.
Snmp-exporter
Для начала надо запустить snmp-exporter, к которому мы будем обращаться для опроса наших точек доступа, покажу как это можно запустить в docker-compose и в kubernetes. Установку docker-compose и kubernetes тут рассматривать не буду, это не является целью данного поста.
Экспортер слушает на порту 9116, чтобы опросить удалённый узел по snmp, достаточно послать в экспортер http-запрос в ручку /snmp c параметрами module (по умолчанию if_mib) и target (что опрашиваем), например:
curl http://127.0.0.1:9116/snmp?target=10.0.0.1
docker-compose
version: "2" services: nexus: image: prom/snmp-exporter ports: - "9116:9116"
kubernetes
--- apiVersion: apps/v1 kind: Deployment metadata: name: snmp-exporter labels: app: snmp-exporter spec: replicas: 1 selector: matchLabels: app: snmp-exporter strategy: rollingUpdate: maxSurge: 1 maxUnavailable: 0 type: RollingUpdate template: metadata: labels: app: snmp-exporter spec: containers: - image: prom/snmp-exporter imagePullPolicy: IfNotPresent name: exporter ports: - containerPort: 9116 --- apiVersion: v1 kind: Service metadata: name: snmp-exporter spec: ports: - port: 9116 protocol: TCP targetPort: 9116 name: snmp-exporter selector: app: snmp-exporter
unifi-prometheus-exporter
Теперь запускаем нашу приложеньку, у неё есть ряд cli-аргументов, продублированных переменными окружения:
NAME: exporter - экспортер snmp-метрик от точек доступа unifi USAGE: exporter [global options] command [command options] [arguments...] COMMANDS: help, h Shows a list of commands or help for one command GLOBAL OPTIONS: --controller-login value логин от unifi-контроллера [$CONTROLLER_LOGIN] --controller-password value пароль от unifi-контроллера [$CONTROLLER_PASSWORD] --controller-address value адрес unifi-контроллера (default: "https://127.0.0.1:8443") [$CONTROLLER_ADDRESS] --snmp-exporter-address value адрес snmp-экспортера (default: "http://snmp-exporter:9116") [$SNMP_EXPORTER_ADDRESS] --access-points-update-interval value интервал обновления списка точек (default: 1h0m0s) [$ACCESS_POINTS_UPDATE_INTERVAL] --listen-port value порт прослушки http-сервера (default: 8080) [$LISTEN_PORT] --parallel value количество потоков для опроса точек-доступа (default: 10) [$PARALLEL] --poll-timeout value таймаут для опроса точек доступа (default: 15s) [$POLL_TIMEOUT] --help, -h show help (default: false)
В принципе, тут, на мой взгляд, всё понятно. Запускаем в docker-compose/kubernetes.
docker-compose
version: "2" services: nexus: image: maetx777/unifi-prometheus-exporter environment: - CONTROLLLER_LOGIN=admin - CONTROLLER_PASSWORD=123456 ports: - "9116:9116"
kubernetes
--- apiVersion: apps/v1 kind: Deployment metadata: name: unifi-snmp-exporter labels: app: unifi-snmp-exporter spec: replicas: 1 selector: matchLabels: app: unifi-snmp-exporter strategy: rollingUpdate: maxSurge: 1 maxUnavailable: 0 type: RollingUpdate template: metadata: labels: app: unifi-snmp-exporter annotations: prometheus.io/scrape: 'true' prometheus.io/port: '8080' prometheus.io/path: '/metrics' spec: containers: - image: maetx777/unifi-prometheus-exporter name: exporter ports: - containerPort: 8080 env: - name: CONTROLLER_LOGIN value: admin - name: CONTROLLER_PASSWORD value: 123456 restartPolicy: Always --- apiVersion: v1 kind: Service metadata: name: unifi-prometheus-exporter spec: ports: - port: 8080 protocol: TCP targetPort: 8080 name: unifi-prometheus-exporter selector: app: unifi-prometheus-exporter
Остановлюсь на нюансах:
CONTROLLER_LOGIN - при необходимости меняем;
CONTROLLER_PASSWORD - при необходимости меняем :)
CONTROLLER_ADDRESS - меняем на адрес unifi-контроллера с указанием протокола и порта, например https://1.2.3.4:8443;
SNMP_EXPORTER_ADDRESS - меняем на адрес snmp-экспортера, что запустили ранее, можно использовать dns-имя;
передавать секреты в kubernetes указанным способом плохо, для этого есть специальный ресурс Secret, но здесь это не рассматривается, каждый сам под себя допилит.
После запуска
После запуска мы увидим в логах unifi-prometheus-controller нечто подобное:
INFO[0000] Daemon start INFO[0000] Start http server INFO[0000] Start fatals catcher INFO[0000] Start signals catcher INFO[0000] Start access points updater INFO[0001] Http client authorized INFO[0001] Update access points list INFO[0001] Access point name Room1, ip 10.0.0.10 INFO[0001] Access point name Room2, ip 10.0.0.20
Теперь можно обратиться к нашему контроллеру чтобы получить метрики найденных точек:
# curl -s http://127.0.0.1:8080/metrics|grep ifOutOctets ifOutOctets{ap_name="Room1",ap_ip="10.0.0.10",ifAlias="",ifDescr="ath0",ifIndex="6",ifName="ath0"} 0 ifOutOctets{ap_name="Room1",ap_ip="10.0.0.10",ifAlias="",ifDescr="ath1",ifIndex="7",ifName="ath1"} 3.319545249e+09 ifOutOctets{ap_name="Room1",ap_ip="10.0.0.10",ifAlias="",ifDescr="br0",ifIndex="9",ifName="br0"} 2.7572029e+07 ifOutOctets{ap_name="Room1",ap_ip="10.0.0.10",ifAlias="",ifDescr="eth0",ifIndex="2",ifName="eth0"} 4.93001573e+08 ifOutOctets{ap_name="Room1",ap_ip="10.0.0.10",ifAlias="",ifDescr="eth1",ifIndex="3",ifName="eth1"} 0 ifOutOctets{ap_name="Room1",ap_ip="10.0.0.10",ifAlias="",ifDescr="lo",ifIndex="1",ifName="lo"} 3572 ifOutOctets{ap_name="Room1",ap_ip="10.0.0.10",ifAlias="",ifDescr="teql0",ifIndex="5",ifName="teql0"} 0 ifOutOctets{ap_name="Room1",ap_ip="10.0.0.10",ifAlias="",ifDescr="vwire2",ifIndex="8",ifName="vwire2"} 0 ifOutOctets{ap_name="Room2",ap_ip="10.0.0.20",ifAlias="",ifDescr="ath0",ifIndex="6",ifName="ath0"} 0 ifOutOctets{ap_name="Room2",ap_ip="10.0.0.20",ifAlias="",ifDescr="ath1",ifIndex="7",ifName="ath1"} 6.28150693e+08 ifOutOctets{ap_name="Room2",ap_ip="10.0.0.20",ifAlias="",ifDescr="br0",ifIndex="9",ifName="br0"} 2.7178302e+07 ifOutOctets{ap_name="Room2",ap_ip="10.0.0.20",ifAlias="",ifDescr="eth0",ifIndex="2",ifName="eth0"} 4.95262026e+08 ifOutOctets{ap_name="Room2",ap_ip="10.0.0.20",ifAlias="",ifDescr="eth1",ifIndex="3",ifName="eth1"} 0 ifOutOctets{ap_name="Room2",ap_ip="10.0.0.20",ifAlias="",ifDescr="lo",ifIndex="1",ifName="lo"} 8180 ifOutOctets{ap_name="Room2",ap_ip="10.0.0.20",ifAlias="",ifDescr="teql0",ifIndex="5",ifName="teql0"} 0 ifOutOctets{ap_name="Room2",ap_ip="10.0.0.20",ifAlias="",ifDescr="vwire2",ifIndex="8",ifName="vwire2"} 0 ifOutOctets{ap_name="Room2",ap_ip="10.0.0.20",ifAlias="",ifDescr="wifi0",ifIndex="4",ifName="wifi0"} 0
Запрос занимает какое-то время, чем больше точек - тем дольше будет работать запрос, но опрос происходит асинхронно в многопоточном режиме, так что обычно он укладывается в приемлемое время (у нас 10 точек опрашивается за 10 секунд).
Также метрики "обогащаются" тегами с именем (ap_name) и ip-адресом (ap_ip) опрошенных точек.
Prometheus
Как устанавливать prometheus я тут писать не буду, это не является целью данной статьи, у нас это дело работает на базе kubernetes_sd_config, в представленном конфиге kubernetes задаётся аннотация, которая сообщает системе prometheus порт и ручку для опроса.
Grafana
Наконец, покажу простенький дашборд grafana для просмотра графиков.
После создания дашборда сразу идём в Dashboard settings, создаём переменную:
Query: ifOutOctets{ap_name=~".+"} Regex: /ap_name="([^"]+)"/
Смысл этой переменной в том, что мы выбираем все уникальные значения ap_name, чтобы дальше это можно было выбирать из списка:
Теперь создаём график и пишем там формулы:
A: irate(ifOutOctets{ap_name=~"[[ap_name]]"}[5m])*8 A.Legend: {{ap_name}} {{ap_ip}} {{ifDescr}} out B: irate(ifInOctets{ap_name=~"[[ap_name]]"}[5m])*-8 B.Legend: {{ap_name}} {{ap_ip}} {{ifDescr}} in
Умножение на 8 необходимо по той причине, что ifOutOctets - значение в байтах, а нам нужен график в мегабит/сек.
Умножение на -8 делаем чтобы входящий трафик отобразился вниз, да, я знаю, что есть трансформации, но у нас это отработало как-то криво, график пропал совсем, так и не поняли в чём дело.
И на выходе получаем возможность просматривать график по любой из точек доступа:
