OpenSource на поле против OpenAI: Function Calls здесь и сейчас для самых маленьких… ресурсов

[neowisard]

Я правильно понял что вы бились через API, не вышло и вы начали писать агентов на пайтоне, или вам удалось использовать API в итоге через crewAI ?

[dumonten]

Внутри crewAI мы API не использовали, там чистые агенты, которые предоставляет этот фреймворк. А вот сам Mistral AI API не заработал

[neowisard]

Я предполагаю , что для прода \dev с API по прежнему есть vllm & functionary.
Но если у вас дев стек, или вы бедны по VRAM - то вам сюда - https://github.com/ggerganov/llama.cpp/blob/master/grammars/README.md

К сожалению я тоже не смог реализовать рабочий API с GNBF ( правда вчера только начал).
Однако с Vllm & functionary вы получите нормальный продукт. внутри там тот же мистраль и он работает.

[peterplv]

Использую для некоторых локальных задач квантованные НЕ function calling модели, например Gemma2 7b, функции описываю своими словами в промпте, ответ прошу предоставить в формате json-like. Все работает очень хорошо, если не работает сразу, правим промпт. Для разных групп запросов/задач разные промпты. Ваша реализация показалась странной, зачем-то какой фреймворк, который даже между 3мя простейшими функциями не смог выбрать нужную, ну это совсем не серьезно. Простые функции в состоянии определить модель уровня Gemma2 2b (2 млрд параметров), даже прилично квантованная.

Позже хочу написать статью, как я реализовал свой function calling на локальных моделях, можете подписаться на меня здесь.