Comments 6
Использую для тестирования моделей - MMLU Pro в варианте который может по open ai api подключаться , конкретно https://github.com/chigkim/Ollama-MMLU-Pro , но в целом есть набор подобных . Не то что бы мегасупер но ничего лучше не нашел. Датасеты можно свои делать под домен.
А почему именно LiteLLM а как api gw а не BiFrost ? Бифрост вроде пошустрее , в целом его пишут с оглядкой на LiteLLM но более "под прод" - чисто ИМХО конечно.
Привет! Спасибо за комментарий
1. Я в основном работаю с чатовыми системами, здесь MMLU Pro не слишком подходит. Из хороших датасетов есть MT-bench (вот здесь статья от авторов), но я все равно делаю упор на кастомизацию под конкретный домен.
2. По поводу BiFrost, действительно он шустрее, но обычно сам gateway не создает ощутимого bottleneck (здесь я рассуждаю в рамках <=50RPS). Из плюсов LiteLLM перед BiFrost выделю следующее:
Observability: есть готовые интеграции с Langfuse и LangSmith
Шире покрытие провайдеров/совместимых API, правда много мусорных, но все равно
Написан на Python -> проще писать кастомные хуки, трансформации запросов/ответов и тд
Еще нашел guidance от aws (можно брать как референс архитектуру), где они рекомендуют использовать именно LiteLLM.
Но соглашусь, что когда нагрузка становится большой и возникает overhead на gateway, стоит присмотреться к BiFrost.
Объясните, пожалуйста, LangGraph ведь можно заменить графической средой вида N8N?
Спасибо за статью! Классно, что структурировали подход к решениям по "классам сложности")
Агентные системы для продакшена