Comments 3
Глобально LiteLLM (https://github.com/BerriAI/litellm) решает эту задачу
Благодарю за упоминание LiteLLM – библиотека действительно решает задачу унификации работы с LLM API.
Multi-LLM Orchestrator занимает смежную нишу: фокус на российских провайдерах (GigaChat, YandexGPT) с нативной интеграцией OAuth2/IAM, поддержкой российских CA-сертификатов и локальными моделями через Ollama (для 152-ФЗ compliance).
Вторая часть – observability для production: автоматический сбор метрик (latency, error rate, health status) и умный роутинг через best-available стратегию. Structured logging для Prometheus/Grafana из коробки.
LiteLLM отлично работает с западными API, Multi-LLM Orchestrator с российским стеком + production-мониторинг.
Update: вышла версия v0.6.0 с метриками провайдеров и умным роутингом на основе health status 🚀
Подробности в новом посте: https://habr.com/ru/posts/973450/
Укрощаем зоопарк API: универсальный Python-клиент для GigaChat, YandexGPT и локальных моделей (v0.5.0)