Свой LLM-агент на Typescript с использованием MCP

[VitaminND]

Спасибо!

Как раз собираюсь агента делать на ts для подключения к своему расширению VSCode через Ollama.

Но AI будет крутиться локально - потребители очень нервно дышат, если что либо уходит во внешний инет.

[amorev]

локальный AI вообще мощь. Я только так и делаю сейчас. Все перевожу на ollama после покупки RTX 3090 запускаются прям хорошие модели (gps-oss:20b) и работают очень быстро

[VitaminND]

Я почему то думал, что достаточно подключить Ollama по http и передавать ему контекст (в моем случае это структуру базы данных, текущий объект - например - вьюху, и команду, которую наберет пользователь типа "подключи текстовую таблицу и вытащи наименование продукта").

Далее AI, просмотрев структуру, выдаст команду программе на подключение определенной таблицы и такой-то джоин.

Возможно, еще предполагалось передавать сообщение типа "ты можешь вернуть запрос на доп. информацию в таком то формате, а если готов ответ - тогда в таком то формате".

Я не предполагал, что нужно предварительно разобрать сценарии и параметры.

[lear]

Ну тут два варианта:

1. LLM вызывает определенную функцию с параметрами. Нужно функцию заранее готовить.

2. LLM выдаёт текстом что-то, и это "что-то" должна понимать ваша программа. Нужно заранее готовить сервис, который понимает ответы LLM.

Из этих двух вариантов легче и надёжнее первый вариант.

[VitaminND]

Спасибо!!! Постепенно все в голове встает на свои места.

Эх, не хватает кармы всем тут плюсики понаставить ))))

[cv28]

Спасибо за статью.

Вопрос: с методами "вывести список пользователей" и "послать email пользователю"

можно сказать ли LLM: "Выведи СЕБЕ всех пользователей, отбери тех кто старше 1975 года и пошли каждому письмо с таким то текстом"?

Или надо самому предоставить еще и такой метод и дать ему его угадать?