Symfony Bundle для экспорта статистик в формате Prometheus

Работая над разными микро (и не очень) сервисами, написанными с помощью Symfony, я каждый раз сталкивался с необходимостью экспорта метрик для Prometheus. Поначалу мы просто копировали один и тот же код между проектами, но когда их стало больше трёх, я посчитал, что дальше так продолжаться не может (не буду вас тут утомлять объяснениями, почему это неудобно; думаю, каждый это и сам понимает).

Было решено выделить всё это хозяйство в отдельный бандл: ArtprimaPrometheusMetricsBundle.

Выбрав общие метрики для всех приложений, я принялся за написание бандла. В качестве библиотеки был выбран клиент Jimdo/prometheus_client_php, который позволяет использовать в качестве хранилища статистик: Redis (через ext-redis), APCu (через ext-apcu) и InMemory (в памяти PHP, лишь на время жизни процесса). Оговорюсь сразу, что оттестированным на практике у нас является только APCu (мне нужно было иметь per-instance статистики, тогда как в Redis будут разделяемые, если только не деплоить Redis к каждому инстансу). А InMemory вообще, имхо, может использоваться только для тестов.

С Jimdo/prometheus_client_php сразу возникла проблема — релиза давно не было, и нужные фичи (APCu) в виде релиза недоступны. В связи с этим я сделал свой форк клиента, который отличается лишь только тем, что там есть нужный таг для формирования релиза.

Вторая проблема, с которой я столкнулся — это рецепты для Symfony. В официальный репо можно даже не соваться, а в community очень долго апрувят пулл-реквесты (на данный момент бандлу почти месяц, а PR рецепта до сих пор находится на рассмотрении). В связи с чем при установке нужно провести необходимые настройки вручную. Благо их не так много.

Собственно, вам нужно настроить основную конфигурацию:

#config/packages/prometheus-metrics.yaml

artprima_prometheus_metrics:
    # namespace вашего приложения в метриках prometheus
    namespace: myapp

    # хранилище для метрик
    type: in_memory # возможные значения: in_memory, apcu, redis

    # Игнорирование некоторых маршрутов, чтобы запросы к ним не попадали в метрики
    ignored_routes: [some_route_name, another_route_name]

    # Настройка для типа хранилища "redis" (в остальных случаях игнорируются)
    redis:
        host: 127.0.0.1
        port: 6379
        timeout: 0.1
        read_timeout: 10
        persistent_connections: false
        password: ~

Затем нужно экспортировать маршрут:

# делает доступным маршрут /metrics/prometheus
app_metrics:
    resource: '@ArtprimaPrometheusMetricsBundle/Resources/config/routing.xml'

Или же вы можете настроить маршрут вручную:

app_metrics:
  path: /mypath/mymetrics
  controller: Artprima\PrometheusMetricsBundle\Controller\MetricsController::prometheus

Готово. В результате ваши метрики будут доступны по адресу http[s]://your_host/metrics/prometheus (если вы не меняли путь). И после некоторого времени работы вы получите что-то вроде этого:


Естественно, что базовых метрик скоро может не хватить, поэтому у вас всегда есть возможность написать свой генератор метрик (в дополнение к существующему) и экспортировать его вот так:

# config/services.yaml

    App\Metrics\MyMetricsGenerator:
        tags:
            - { name: prometheus_metrics_bundle.metrics_generator }

При этом ваш генератор должен имплементировать интерфейс Artprima\PrometheusMetricsBundle\Metrics\MetricsGeneratorInterface. Подсмотреть, как может выглядеть генератор можно в Artprima\PrometheusMetricsBundle\Metrics\AppMetrics. Главное, что вам тут нужно знать, это то, что метод collectRequest вызывается на событие kernel.request, а метод collectResponse — на событие kernel.terminate.

Принимаю критику по существу. Как в виде советов, так и PR :-)

P.S. Предупреждая замечания о том, что мы изобрели велосипед: да, я знаю, что есть альтернативы. И, скорее всего, они конечно же лучше. В частности одна из них — TweedeGolfPrometheusBundle. К сожалению, я уже не помню, почему мы не выбрали это решение, но чуть больше полугода назад мы его пробовали, и отказались от него. Так или иначе, я считаю, что иметь выбор всегда хорошо, поэтому наш бандл и был опубликован в OpenSource.