Что такое LiteLLM и для чего его едят

Библиотека litellm так же, как и прокси, нормализует в себе запросы/ответы к разным провайдерам. Так что можно без поднятого прокси использовать библиотеку и делать запросы разным провайдерам, чего не сделаешь с обычным openai.