Комментарии 3
Какое ваше мнение о использовании dspy и textgrad для оптимизации промтов? И что еще есть из библиотек, стоящее для LLM контроля?
dspy и textgrad неплохо могут работать, если результат работы LLM легко оценивать или если узлов в агенте очень много (больше 30-40) и лень прописывать промт для каждого. Для dspy нужна хорошая числовая онлайн метрика, а это редкость в большинстве случаев. Также все подобные алгоритмы по сути переборные (import optuna), и если один вызов агента "дорогой", то долго они не смогут оптимизировать. К тому же, конкретно dspy и textgrad не шибко сильно production ready и дальше тестов выходят с трудом (нужно переписывать код, вникать в логику разработчиков и тд)
Поэтому они подходят в начале проекта или если агентов много, но они недорогие. Для одного дорого и сложного агента прописать промпты руками будет и быстрее, и надежнее, и проще
Для LLM агентов еще полезны guidance.ai, litelllm и все :). Почти все агентские библиотеки написаны хорошими математиками, но плохими программистами, и пользоваться ими из коробки лучше только в начале, а потом писать свой код под свои нужды (даже langchain и langgraph)
Я бы все сберовские excel файлы и фин. модели перевел в текст и докинул в обучающую выборку гигачата. Excel можно перевести во что-то питонообразное. Тогда гигачат сможет сразу генерировать питонообразный код, который потом переведется обратно в excel. Тогда он по промту сделай фин. модель металлургической компании сразу excel файл сможет отдавать.
LLM агент для работы с Google Spreadsheets