Привет! Спасибо за комментарий 1. Я в основном работаю с чатовыми системами, здесь MMLU Pro не слишком подходит. Из хороших датасетов есть MT-bench (вот здесь статья от авторов), но я все равно делаю упор на кастомизацию под конкретный домен.
2. По поводу BiFrost, действительно он шустрее, но обычно сам gateway не создает ощутимого bottleneck (здесь я рассуждаю в рамках <=50RPS). Из плюсов LiteLLM перед BiFrost выделю следующее:
Observability: есть готовые интеграции с Langfuse и LangSmith
Шире покрытие провайдеров/совместимых API, правда много мусорных, но все равно
Написан на Python -> проще писать кастомные хуки, трансформации запросов/ответов и тд
Еще нашел guidance от aws (можно брать как референс архитектуру), где они рекомендуют использовать именно LiteLLM.
Но соглашусь, что когда нагрузка становится большой и возникает overhead на gateway, стоит присмотреться к BiFrost.
Привет! N8N более широкий инструмент, чем LangGraph, и он позволяет "заменить" LangGraph, допустим для своего пет-проекта. Если смотреть на продакшен применение, то чаще используют кодовые фреймворки (LangGraph, Google ADK, Crew AI).
Привет! Спасибо за комментарий
1. Я в основном работаю с чатовыми системами, здесь MMLU Pro не слишком подходит. Из хороших датасетов есть MT-bench (вот здесь статья от авторов), но я все равно делаю упор на кастомизацию под конкретный домен.
2. По поводу BiFrost, действительно он шустрее, но обычно сам gateway не создает ощутимого bottleneck (здесь я рассуждаю в рамках <=50RPS). Из плюсов LiteLLM перед BiFrost выделю следующее:
Observability: есть готовые интеграции с Langfuse и LangSmith
Шире покрытие провайдеров/совместимых API, правда много мусорных, но все равно
Написан на Python -> проще писать кастомные хуки, трансформации запросов/ответов и тд
Еще нашел guidance от aws (можно брать как референс архитектуру), где они рекомендуют использовать именно LiteLLM.
Но соглашусь, что когда нагрузка становится большой и возникает overhead на gateway, стоит присмотреться к BiFrost.
Привет! N8N более широкий инструмент, чем LangGraph, и он позволяет "заменить" LangGraph, допустим для своего пет-проекта. Если смотреть на продакшен применение, то чаще используют кодовые фреймворки (LangGraph, Google ADK, Crew AI).