OpenSource на поле против OpenAI: Function Calls здесь и сейчас для самых маленьких… ресурсов

[neowisard]

Я правильно понял что вы бились через API, не вышло и вы начали писать агентов на пайтоне, или вам удалось использовать API в итоге через crewAI ?

[dumonten]

Внутри crewAI мы API не использовали, там чистые агенты, которые предоставляет этот фреймворк. А вот сам Mistral AI API не заработал

[neowisard]

Я предполагаю , что для прода \dev с API по прежнему есть vllm & functionary.
Но если у вас дев стек, или вы бедны по VRAM - то вам сюда - https://github.com/ggerganov/llama.cpp/blob/master/grammars/README.md

К сожалению я тоже не смог реализовать рабочий API с GNBF ( правда вчера только начал).
Однако с Vllm & functionary вы получите нормальный продукт. внутри там тот же мистраль и он работает.