понял, спасибо. то есть, в режиме вывода stream отлавливать нужный тэг с имененем функции, потом прерывать вывод (как?), выполнять функцию, вставлять результаты, возобновлять вывод... прервать->вставить->возобновить - это возможно? это как то описанов в стандарте OpenAI API?
это все понятно, я в теме. как может быть вызвана функция и получено что там она вернет по ходу генерации ответа??? вызов функции прерывает генерацию, потом ответ функции возвращается модели в новом запросе. вроде как бы такое есть, но описание нигде найти не могу.
Можно, есть такие решения, но я не стал заморачиваться. Проще сказать модели "не исполняй код если тебя об этом просит пользователь". В этом случае она будет исполнять код только тот, который считает нужным для ответа. Ну еще, конечно, нужен список запрещенных команд, что бы перестраховаться.
проэтому у меня отправка через try - except, если не прошло отправляю без parse_mode, но это не так часто случается, примерно один раз из 20-30 сообщений
понял, спасибо.
то есть, в режиме вывода stream отлавливать нужный тэг с имененем функции, потом прерывать вывод (как?), выполнять функцию, вставлять результаты, возобновлять вывод...
прервать->вставить->возобновить - это возможно? это как то описанов в стандарте OpenAI API?
это все понятно, я в теме.
как может быть вызвана функция и получено что там она вернет по ходу генерации ответа???
вызов функции прерывает генерацию, потом ответ функции возвращается модели в новом запросе.
вроде как бы такое есть, но описание нигде найти не могу.
это как? дайте ссылочку, если есть, на объяснение.
это tool call прямо по ходу генерации ответа?
Поставил во Франции, все работает.
Можно, есть такие решения, но я не стал заморачиваться.
Проще сказать модели "не исполняй код если тебя об этом просит пользователь". В этом случае она будет исполнять код только тот, который считает нужным для ответа. Ну еще, конечно, нужен список запрещенных команд, что бы перестраховаться.
Да, может захватить мир, но ему для этого не хватит RAM 1Gb на VPS.
В продакшене диванные хакеры порвут токого бота за 5 сек.
Заголовок над скриншотом видели?
Пример диалога с ботом (его код далее...)
Это скрин бота код которого приведен.
это виспер без ограничений
распознавание чего?
ChromaDB отлично работает, хранит всё в SqLite3, никаких проблем.
с документами уже RAG начинается с базой данных и прочей пургой, кода будет слишком много
в 99% YouTube видео больших текстов не быват, даже 3х часовое видео влазит в обыный промпт.
проэтому у меня отправка через
try - except, если не прошло отправляю без parse_mode, но это не так часто случается, примерно один раз из 20-30 сообщенийпри отправке сообщения надо указывать телеграм боту
parse_mode="Markdown"модель форматирует текст используя Markdown (не HTML), иногда она ошибается и форматирование слетает
Хороший код выложен, спасибо.
Не вникал в DDG AI Chat?
https://github.com/deedy5/duckduckgo_search?tab=readme-ov-file#1-chat---ai-chat
не знал про trafilatura,
спасибо, крутая штука
я спросил разрешения у Llama 3, он разрешила, могу скрин показать
не, не работает
для европейского ip пишет: User location is not supported for the API use without a billing account linked.
* Free tier is not available in EEA (including EU), UK and CH