Укрощаем зоопарк API: универсальный Python-клиент для GigaChat, YandexGPT и локальных моделей (v0.5.0)

[axsapronov]

Глобально LiteLLM (https://github.com/BerriAI/litellm) решает эту задачу

[Mikser_777]

Благодарю за упоминание LiteLLM – библиотека действительно решает задачу унификации работы с LLM API.

Multi-LLM Orchestrator занимает смежную нишу: фокус на российских провайдерах (GigaChat, YandexGPT) с нативной интеграцией OAuth2/IAM, поддержкой российских CA-сертификатов и локальными моделями через Ollama (для 152-ФЗ compliance).

Вторая часть – observability для production: автоматический сбор метрик (latency, error rate, health status) и умный роутинг через best-available стратегию. Structured logging для Prometheus/Grafana из коробки.

LiteLLM отлично работает с западными API, Multi-LLM Orchestrator с российским стеком + production-мониторинг.

[Mikser_777]

Update: вышла версия v0.6.0 с метриками провайдеров и умным роутингом на основе health status 🚀

Подробности в новом посте: https://habr.com/ru/posts/973450/

[Mikser_777]

🚀 Update: Multi-LLM Orchestrator v0.7.0 вышел!

Observability Complete — token tracking, cost estimation и Prometheus integration.

Все детали в новом посте: https://habr.com/ru/posts/976384/

Спасибо за поддержку! 🙏