Появилась у меня задача по мониторингу и оценке производительности проекта на микросервисной архитектуре. Для решения был выбран Jaeger. Он давно на рынке, активно развивается (не так давно вышла версия 2, в которой упростилось развертывание и появилась интеграция OpenTelemetry). На мой взгляд, Jaeger – отличное решение для трейсинга, но документация ощущается как не до конца собранный пазл: важные вещи разбросаны, а для понимания приходится обращаться к исходному коду или искать примеры в GitHub-репозиториях.
Цель данной статьи показать на практике, как внедрить Jaeger в продукт на микросервисах.
Ссылку на код всего, о чем пойдет речь дальше, можно найти в конце статьи.
Основные понятия
Спан(span) - единица работы, которую выполняет система.
Спан содержит:
одну операцию, запрос или обработку
временные метками начала и конца
контекст (сюда можно погрузить любую информацию)
Спан может входить в состав трейса (trace), который описывает всю цепочку вызовов между сервисами.
Трейс(trace) – один, или несколько спанов, связанных между собой. Трейс представляет всю последовательность действий, происходящих при обработке одного запроса — от начала до конца.
Подопытный проект
Для примера используются три сервиса и очередь, упакованные в docker контейнеры.
task_receiver – получает от пользователя 2 числа и создает задачу для worker в очереди
worker – получает задачу из очереди, делит одно число на другое, создает задачу в очереди для printer
printer – получает задачу из очереди и выводит результат в консоль
Интеграция Jaeger
Добавляем необходимые контейнеры:
Jaeger – содержит сам Jaeger
Elasticksearch – хранилище спанов
Prometheus – сервис сбора и хранения метрик
spark_job – сервис построения графов зависимостей спанов (запускается периодически, например через cron)
Начиная с версии 2 все компоненты Jaeger упакованы в один бинарный файл.
Также понадобится хранилище спанов. Из коробки Jaeger дружит с Elasticsearch и Cassandra, но обещают расширить список. В примере используется Elasticsearch.
Prometheus будет хранить метрики. Без этого в JaegerUI не будет работать вкладка Monitor.
Чтобы строить диаграммы зависимости сервисов необходимо периодически сканировать хранилище спанов и строить граф зависимостей. Для этого используется spark_job. Без построения графа зависимостей в JaegerUI не будет работать вкладка Dependencies.
Настройка
Настраивается Jaeger через конфиг в формате yaml. Далее описаны основные параметры конфига
Сервис (service)
Extensions: используемые расширения, такие как
jaeger_storage,jaeger_queryиhealthcheckv2.Pipelines:
Traces: Настраивает обработку трассировок с использованием приёмников, процессоров и экспортеров.
Metrics/Spanmetrics: Настраивает обработку метрик спанов с использованием приёмника и экспортера.
Telemetry:
Resource: Указывает имя сервиса как
jaeger.Metrics: Включает детализированные метрики для.
Logs: Устанавливает уровень логирования.
Расширения (extensions)
healthcheckv2: Включает проверку состояния сервиса.
jaeger_query: Настраивает хранилища для трассировок и метрик. Определяет параметры UI и gRPC/HTTP эндпоинты.
jaeger_storage: Настраивает хранилище трассировок с использованием Elasticsearch. Определяет параметры индексов (префикс, частота ротации, количество шардов и реплик). Настраивает Prometheus как хранилище метрик.
Коннекторы (connectors)
spanmetrics: Используется для обработки метрик спанов.
Приёмники (receivers)
otlp: Принимает трассировки через gRPC и HTTP.
jaeger: Принимает трассировки через протокол Thrift Compact.
Процессоры (processors)
batch: Обрабатывает трассировки пакетами для повышения производительности.
Экспортеры (exporters)
jaeger_storage_exporter: Экспортирует трассировки в Elasticsearch.
prometheus: Экспортирует метрики в Prometeus.
Также необходимо создать конфиг JaegerUI (jaeger_config_ui.json) и включить в нем Monitor (по умолчанию выключен). Prometeus тоже требует конфиг с указанными портами для сбора метрик. Все конфиги доступны в тестовом проекте по ссылке в конце статьи.
Код
Теперь необходимо добавить создание и обработку спанов в код сервисов проекта.
Создаём jaeger.py следующего содержания:
from jaeger_client import Config from opentracing.scope_managers.contextvars import ContextVarsScopeManager from opentelemetry import trace from opentelemetry.exporter.otlp.proto.grpc.trace_exporter import OTLPSpanExporter from opentelemetry.sdk.trace import TracerProvider from opentelemetry.sdk.trace.export import BatchSpanProcessor from opentelemetry.sdk.resources import Resource from opentelemetry.propagate import inject,extract from opentelemetry.trace import Status, StatusCode def init_otel_tracer(service_name='unnamed_service'): resource = Resource(attributes={ "service.name": service_name }) provider = TracerProvider(resource=resource) processor = BatchSpanProcessor(OTLPSpanExporter(endpoint="http://jaeger:4317", insecure=True)) provider.add_span_processor(processor) trace.set_tracer_provider(provider) return trace.get_tracer(service_name) def otel_tracer(tracer, span_name='unnamed_span'): def decorator(func): def wrapper(*args, **kwargs): data = args[0] context = extract(data.get('jaeger_context', {})) with tracer.start_as_current_span(span_name, context=context) as span: service_name = trace.get_tracer_provider().resource.attributes.get("service.name") span.set_attribute('peer.service', service_name) span.set_attribute('component', span_name) span.set_attribute('jaeger.trace_id', str(span.context.trace_id)) span.set_attribute('payload', str(args[0])) for key, value in kwargs.items(): span.set_attribute(f'kwargs.{key}', str(value)) jaeger_context = {} inject(jaeger_context) args[0]['jaeger_context'] = jaeger_context return func(*args, **kwargs) return wrapper return decorator def mark_span_as_error(exc): current_span = trace.get_current_span() current_span.set_status(Status(StatusCode.ERROR, str(exc))) current_span.set_attribute("error", True) current_span.set_attribute("error.message", str(exc))
Далее в коде каждого сервиса нужно инициализировать tracer, указав имя сервиса и декорировать функцию с помощью декоратора otel_tracer, указав имя функции.
Чтобы можно было построить зависимости между спанами нужно передавать контекст спана. В Jaeger есть методы extract и inject, которые работают с запросами, но в примере используется очередь Redis и контекст надо погружать в задания Redis, чтобы следующий сервис мог извлечь этот контекст и обновить его своими данными. Тогда спаны всех сервисов приобретут зависимости и будут отображаться в UI корректно (цепочкой). В примере это происходит в декораторе otel_tracer. При обработке возникающих ошибок спан тоже нужно помечать “ошибочным”. Для этого используем метод mark_span_as_error, передавая в него само исключение.
Например код сервиса worker выглядит следующим образом:
import redis import json from jaeger import init_otel_tracer, otel_tracer, mark_span_as_error from opentelemetry.propagate import inject from opentelemetry.trace import Status, StatusCode r = redis.Redis(host='redis', port=6379, decode_responses=True) tracer = init_otel_tracer(service_name='worker') @otel_tracer(tracer, span_name='process_task') def process_task(task): a = task["a"] b = task["b"] try: result = a / b except ZeroDivisionError as exc: result = "Error: Division by zero" mark_span_as_error(exc) task["result"] = result updated_task = json.dumps(task) print(f"Processed task: {a} / {b} = {result}") r.rpush("results", updated_task) if name == '__main__': print('worker started') while True: task_json = r.blpop("tasks")[1] task = json.loads(task_json) process_task(task)
JaegerUI
По умолчанию вебинтерфейс Jaeger сидит на порту 16686 и доступ к нему никак и ничем не ограничен. Существует множество вариантов ограничения доступа. В данном примере ограничение доступа к вебинтерфейсу реализовано с помощью Flask и jwt. Приложение на Flask принимает входящие подключения и при отсутствии токена отправляет на страницу авторизации. Настройки вынесены в .env файл.
Заключение
Тема мониторинга в общем и трейсинга в частности очень широка и здесь можно было бы много еще написать о стандартах и тонкостях настройки. Цель этой статьи помочь сделать первые шаги в этой области, что позволит находить узкие места в работе микросервисной архитектуры, упростит разбор инцидентов и анализ взаимодействия сервисов между собой. Jaeger является надёжным и качественным решением задачи трейсинга распределённых систем.
Ссылки
Немного скринов
