Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 13
Скажите а
Чем ваш метод лучше
Создай мне промт для написания ессе ?
Это хороший вопрос
Наш метод лучше в случае: если модель по вашему запросу дала неэффективный промпт (т.е. ответ модели неудовлетворил вас), вам придется потратить время на ручную корректировку промпта.
В наших методах есть итеративный процесс поиска и улучшения промпта, при котором вы не тратите свое личное время.
В следующих экспериментах возьмем этот подход в сравнение, чтобы продемонстрировать эффективность, спасибо за идею)
Как все закручено. Проще не пробовали
Хотелось бы увидеть сравнения разных методов на одном и том же изначальном промпте, да и на промпте посложнее.
Ещё стоит обратить внимание на то, что часто нужно оптимизировать не весь промпт целиком, а только часть.
Думаю, примеры такого сравнения на сложных промптах мы выложим позже (добавим в этой статье или в наш репо)
Касательно только части промпта, хорошее замечание - мы думали над тем, чтобы добавить надстройку фриза (какую часть не отправить на оптимизацию), такой запрос ранее нам тоже поступал - возьмем в работу на подумать)
А чем это отличается от Dspy?
Dspy - это автопромптинг алгоритм
CoolPrompt - это end-to-end решение, включающее 3 алгоритма автопромптинга для оптимизации промптов на выбор. Помимо оптимизации предоставляются другие возможности
Хмм, мы наверное о разных вещах говорим, я имел ввиду https://dspy.ai/ - это тоже полное решение внутри которого можно выбрать различные варианты оптимизаторов - из последних это GEPA, MIPROv2, но есть и другие. Кроме того, это может быть все увязано с RAG, вызовом тулов и прочее - можно построить достаточно сложные workflow.
Да, тут вы правы, у них есть полноценное решение, я говорил про DSPy в разрезе метода MIPROv2.
Если сравнивать, их решение широко охватывает реализацию и сам автопромптинг на этапах построения LLM-компонент (RAG, Агенты, другое) с помощью их собственных модулей библиотеки. То есть некая альтернатива langchain или llamaindex с авто-настройкой промптов.
На данный момент, наше решение направлено на сам этап автопромптинга. Из отличий от DSPy сейчас могу сказать - это генерация синтетического датасета для оценки промптов (при отсутствии входных данных) и интерпретация результатов оптимизации промпта.
а что, improve prompt на гитхабе тоже плохо работает?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
CoolPrompt: Автоматическая Оптимизация Промптов для LLM