📊 Multi-LLM Orchestrator v0.7.0: подсчёт токенов и мониторинг через Prometheus

На этой неделе вышел релиз v0.7.0 — завершена фаза observability. Теперь библиотека автоматически считает токены, оценивает стоимость запросов и экспортирует метрики в Prometheus. Всё работает из коробки.

Предыдущие релизы:

• v0.5.0 — универсальный Python-клиент для GigaChat, YandexGPT и Ollama

• v0.6.0 — метрики провайдеров и умный роутинг

🔢 Автоматический подсчёт токенов

Библиотека автоматически считает токены для каждого запроса — и для prompt, и для completion. Используется tiktoken с fallback на оценку по словам.

from orchestrator import Router
from orchestrator.providers import GigaChatProvider, ProviderConfig

router = Router()
router.add_provider(GigaChatProvider(ProviderConfig(
    name="gigachat",
    api_key="your_key",
    model="GigaChat",
    verify_ssl=False
)))

# Токены считаются автоматически
response = await router.route("Напиши стихотворение про Python")

# Получаем статистику
metrics = router.get_metrics()
print(f"Total tokens: {metrics['gigachat'].total_tokens}")
print(f"  Prompt: {metrics['gigachat'].total_prompt_tokens}")
print(f"  Completion: {metrics['gigachat'].total_completion_tokens}")

Результат:

Total tokens: 75
  Prompt: 20
  Completion: 55

💰 Оценка стоимости запросов

Расчёт стоимости в реальном времени. Цены настраиваются в pricing.py (фиксированные значения для демонстрации — для production рекомендуется настроить под свои тарифы).

Результаты тестов с реальными провайдерами:

• GigaChat: 75 tokens → ₽0.0750

• YandexGPT: 105 tokens → ₽0.1575

• Streaming: 342 tokens → ₽0.3420

📈 Интеграция с Prometheus

HTTP-эндпоинт /metrics в формате Prometheus. Метрики обновляются в реальном времени и готовы для scraping.

# Запускаем metrics server
await router.start_metrics_server(port=9090)

# Делаем запросы
await router.route("Привет!")

# Метрики доступны: http://localhost:9090/metrics

Экспортируемые метрики:

• llm_requests_total — количество запросов

• llm_request_latency_seconds — histogram латентности

• llm_tokens_total — токены (prompt/completion)

• llm_cost_total — стоимость в RUB

• llm_provider_health — health status (0-1)

Готово для визуализации с Grafana.

🏗️ Архитектура

✅ Тестирование на реальных провайдерах

Все функции протестированы с production API и реальными ключами:

Подсчёт токенов:

• ✅ GigaChat — 75 токенов, ₽0.0750 (стихотворение про Python)

• ✅ YandexGPT — 105 токенов, ₽0.1575 (объяснение ML концепции)

Streaming-режим:

• ✅ GigaChat — 342 токена, ₽0.3420 (генерация длинного текста)

Prometheus endpoint:

• ✅ HTTP /metrics — корректный формат, все метрики экспортируются

Качество кода: 203 теста • 81% покрытие • mypy strict без ошибок

📦 Установка

pip install multi-llm-orchestrator==0.7.0

Новые зависимости: prometheus-client, tiktoken, aiohttp

🎯 Планы на v0.8.0

В следующей версии планируется добавить:

• Динамическое обновление цен — автоматическое получение актуальных тарифов через API провайдеров

• Provider-specific tokenizers — нативные токенизаторы для GigaChat и YandexGPT (вместо универсального tiktoken)

• Расширенная аналитика латентности — percentiles p50, p95, p99 для детального анализа производительности

• Cost analytics — уведомления о превышении бюджета, детальная разбивка расходов по моделям

• Prometheus Pushgateway — поддержка push-модели для serverless окружений

Если используете библиотеку — пишите в комментариях, какие функции нужны вам!

🔗 Ссылки

• GitHub: https://github.com/MikhailMalorod/Multi-LLM-Orchestrator

• PyPI: https://pypi.org/project/multi-llm-orchestrator/

• Release Notes: https://github.com/MikhailMalorod/Multi-LLM-Orchestrator/releases/tag/v0.7.0

• Документация: https://github.com/MikhailMalorod/Multi-LLM-Orchestrator/blob/main/docs/observability.md