Все в конечном итоге упирается просто в набор токенов при работе с трансформерами - спору нет. И мы не можем быть на 100проц уверены в ответе модели. Просто шанс ошибки очень мал, и это решается обычно обработкой типа "if (ошибка) повтори" - система при этом для пользователя будет работать достаточно стабильно
Добрый день! Спасибо за коммент. Попробую ответить.
Первый вопрос: как модель узнает, что нужно именно web_search дергать
Вся эта система работает, потому что mcp host перед началом работы получает список доступных инструментов, и в каждом инструменте содержится описание - которое объясняет модельке, что именно этот инструмент нужно дернуть для поиска данных по японии, а не какой-то другой. В процессе рассуждений ллмка сама решит по описанию, что нужно использовать этот инструмент. Я это воспринимаю для себя, как системный промпт перед началом работы. Конечно, если будет несколько инструментов с похожим описанием - может быть путаница. Такого нужно избегать, и четко объяснять модели, какой инструмент зачем нужно использовать
Второй вопрос: можно ли гарантировать, что модель сгенерирует валидный json в нужном формате для вызова инструмента
На 100%, конечно, нельзя. Вообще вся работа с ИИ - это не стопроцентная штука. Всегда есть ошибки/допущения и тд. Но современные последние модельки (Q3-Q4 2024 и свежее) хорошо обучены на огромных объемах данных, чтобы именно вызывать функции или инструменты использовать. Я это для себя воспринимаю не так, что я прошу в промпте сгенерировать мне json - а скорее работаю с моделью в таком режиме, что она точно знает, что ожидаемый формат вывода - это json, который основан на схемах, которые она получила от mcp сервера. НО, все еще - ошибки могут быть конечно иногда) и да, враппер, про который вы написали - имеет место быть
У меня недоступен там
Нужно быть в форме, думать и следить за трендами. Но точно не паниковать бездумно. Посыл мой в этом. А так - согласен с вами
Настроение заказчика - это вообще главное в проекте 😁
Не лукавлю. Я пытался, но получается только хуже) Но учту по поводу стиля, спасибо вам за комментарий - супер полезно 🙏
Добрый день, статьи пишу сам, ИИ не использую - они пишут бездушно. Скажите, где вам показалось неверно отформатировано - я поправлю
Все в конечном итоге упирается просто в набор токенов при работе с трансформерами - спору нет. И мы не можем быть на 100проц уверены в ответе модели. Просто шанс ошибки очень мал, и это решается обычно обработкой типа "if (ошибка) повтори" - система при этом для пользователя будет работать достаточно стабильно
Добрый день! Спасибо за коммент. Попробую ответить.
Первый вопрос: как модель узнает, что нужно именно web_search дергать
Вся эта система работает, потому что mcp host перед началом работы получает список доступных инструментов, и в каждом инструменте содержится описание - которое объясняет модельке, что именно этот инструмент нужно дернуть для поиска данных по японии, а не какой-то другой. В процессе рассуждений ллмка сама решит по описанию, что нужно использовать этот инструмент. Я это воспринимаю для себя, как системный промпт перед началом работы. Конечно, если будет несколько инструментов с похожим описанием - может быть путаница. Такого нужно избегать, и четко объяснять модели, какой инструмент зачем нужно использовать
Второй вопрос: можно ли гарантировать, что модель сгенерирует валидный json в нужном формате для вызова инструмента
На 100%, конечно, нельзя. Вообще вся работа с ИИ - это не стопроцентная штука. Всегда есть ошибки/допущения и тд. Но современные последние модельки (Q3-Q4 2024 и свежее) хорошо обучены на огромных объемах данных, чтобы именно вызывать функции или инструменты использовать. Я это для себя воспринимаю не так, что я прошу в промпте сгенерировать мне json - а скорее работаю с моделью в таком режиме, что она точно знает, что ожидаемый формат вывода - это json, который основан на схемах, которые она получила от mcp сервера. НО, все еще - ошибки могут быть конечно иногда) и да, враппер, про который вы написали - имеет место быть
Телефон: Leeco LeX527