Да, тут вы правы, у них есть полноценное решение, я говорил про DSPy в разрезе метода MIPROv2.
Если сравнивать, их решение широко охватывает реализацию и сам автопромптинг на этапах построения LLM-компонент (RAG, Агенты, другое) с помощью их собственных модулей библиотеки. То есть некая альтернатива langchain или llamaindex с авто-настройкой промптов.
На данный момент, наше решение направлено на сам этап автопромптинга. Из отличий от DSPy сейчас могу сказать - это генерация синтетического датасета для оценки промптов (при отсутствии входных данных) и интерпретация результатов оптимизации промпта.
Dspy - это автопромптинг алгоритм CoolPrompt - это end-to-end решение, включающее 3 алгоритма автопромптинга для оптимизации промптов на выбор. Помимо оптимизации предоставляются другие возможности
Думаю, примеры такого сравнения на сложных промптах мы выложим позже (добавим в этой статье или в наш репо)
Касательно только части промпта, хорошее замечание - мы думали над тем, чтобы добавить надстройку фриза (какую часть не отправить на оптимизацию), такой запрос ранее нам тоже поступал - возьмем в работу на подумать)
Наш метод лучше в случае: если модель по вашему запросу дала неэффективный промпт (т.е. ответ модели неудовлетворил вас), вам придется потратить время на ручную корректировку промпта.
В наших методах есть итеративный процесс поиска и улучшения промпта, при котором вы не тратите свое личное время.
В следующих экспериментах возьмем этот подход в сравнение, чтобы продемонстрировать эффективность, спасибо за идею)
1) Про этап дообучения решено вынести в отдельную статью. Помимо него будут затронуты другие темы 2) На практике не встречал таких кейсов, есть у вас примеры такого подхода? 3) LLM может сгенерировать тест с покрытием всех методов кода, может не со всеми необходимыми проверками - это вручную валидируется и корректируется. В любом случае, это в разы лучше, чем писать тесты полностью с нуля.
Если оптимизировать промпты обычным людям, то им нужно хотя бы посмотреть на парочку хороших промптов и как они выстраиваются - этого достаточно. Как вариант, начинать с основного запроса и далее детализировать, делать яснее и конкретизировать - как бы вы объясняли человеку, что вы от него хотите.
"Да и зачем вам эти «инженеры» если вы подключаете к одной llm другую llm?" - среди упомянутых мною методов такого подхода нет) не знаю, откуда вы это взяли
Согласен с тем, что у вас нестандартный взгляд) 1) "кажется логичным получать образование и его использовать, понимать что-то на самом деле самому, не полагаясь во всём на нейронки" - в посте эта тема вообще никак это не затрагивается, не вижу смысла продолжать 2) весь второй абзац - просто тезисы вне реальности, вы не можете понять о чем и для чего статья? - тогда она не для вас)
Касательно полезности интересный момент: ведь это полезно не только промпт-инженерам, но и обычным людям, которые вне контекста ИИ и буквально находятся в использовании ИИ на уровне новичка (зачастую из-за этого они не получают нужного ответа) И тут есть выбор: 1) Платить за курсы промпт-инжиниринга 2) Помочь пользователям в подсказках, как составлять промпт, с помощью автопромптинга
Кажется, что логичный и более продуктивный выбор 2)
Это больше про сложные с точки зрения постановки задачи и инструкций. И здесь не идет речь о нескольких LLM-ках, в рассмотренных алгоритмах используется одна модель.
В качестве быстрой оптимизации нормально
Да, тут вы правы, у них есть полноценное решение, я говорил про DSPy в разрезе метода MIPROv2.
Если сравнивать, их решение широко охватывает реализацию и сам автопромптинг на этапах построения LLM-компонент (RAG, Агенты, другое) с помощью их собственных модулей библиотеки. То есть некая альтернатива langchain или llamaindex с авто-настройкой промптов.
На данный момент, наше решение направлено на сам этап автопромптинга. Из отличий от DSPy сейчас могу сказать - это генерация синтетического датасета для оценки промптов (при отсутствии входных данных) и интерпретация результатов оптимизации промпта.
Dspy - это автопромптинг алгоритм
CoolPrompt - это end-to-end решение, включающее 3 алгоритма автопромптинга для оптимизации промптов на выбор. Помимо оптимизации предоставляются другие возможности
Думаю, примеры такого сравнения на сложных промптах мы выложим позже (добавим в этой статье или в наш репо)
Касательно только части промпта, хорошее замечание - мы думали над тем, чтобы добавить надстройку фриза (какую часть не отправить на оптимизацию), такой запрос ранее нам тоже поступал - возьмем в работу на подумать)
Если речь про стандартные техники промптинга, они редко дают высокий результат
Это хороший вопрос
Наш метод лучше в случае: если модель по вашему запросу дала неэффективный промпт (т.е. ответ модели неудовлетворил вас), вам придется потратить время на ручную корректировку промпта.
В наших методах есть итеративный процесс поиска и улучшения промпта, при котором вы не тратите свое личное время.
В следующих экспериментах возьмем этот подход в сравнение, чтобы продемонстрировать эффективность, спасибо за идею)
Это значения среднего по метрикам.
1) Про этап дообучения решено вынести в отдельную статью. Помимо него будут затронуты другие темы
2) На практике не встречал таких кейсов, есть у вас примеры такого подхода?
3) LLM может сгенерировать тест с покрытием всех методов кода, может не со всеми необходимыми проверками - это вручную валидируется и корректируется. В любом случае, это в разы лучше, чем писать тесты полностью с нуля.
но как любой ответ llm, считайте это больше мнением, а не фактом - верифицировать в любом случае стоит или довериться на усмотрение
Если оптимизировать промпты обычным людям, то им нужно хотя бы посмотреть на парочку хороших промптов и как они выстраиваются - этого достаточно. Как вариант, начинать с основного запроса и далее детализировать, делать яснее и конкретизировать - как бы вы объясняли человеку, что вы от него хотите.
"Да и зачем вам эти «инженеры» если вы подключаете к одной llm другую llm?" - среди упомянутых мною методов такого подхода нет) не знаю, откуда вы это взяли
На практике всегда ответы модели верифицируются, нет гарантий не получить галлюцинации
Практика и научные исследования как раз подтверждают, вы не до конца изучили этот момент, если такое пишите
Согласен с тем, что у вас нестандартный взгляд)
1) "кажется логичным получать образование и его использовать, понимать что-то на самом деле самому, не полагаясь во всём на нейронки" - в посте эта тема вообще никак это не затрагивается, не вижу смысла продолжать
2) весь второй абзац - просто тезисы вне реальности, вы не можете понять о чем и для чего статья? - тогда она не для вас)
Касательно полезности интересный момент: ведь это полезно не только промпт-инженерам, но и обычным людям, которые вне контекста ИИ и буквально находятся в использовании ИИ на уровне новичка (зачастую из-за этого они не получают нужного ответа)
И тут есть выбор:
1) Платить за курсы промпт-инжиниринга
2) Помочь пользователям в подсказках, как составлять промпт, с помощью автопромптинга
Кажется, что логичный и более продуктивный выбор 2)
Это больше про сложные с точки зрения постановки задачи и инструкций. И здесь не идет речь о нескольких LLM-ках, в рассмотренных алгоритмах используется одна модель.
Моделька топ, очень хороша в поиске. Ставлю лайк 👍🏻
Спасибо за замечание, по второй ссылке видимо они перенесли страницу, обновил
Илья, спасибо за статью, крутая работа!
Корректировку relevance score производил взвешенным среднимvector_weight = 0.3, llm_weight = 0.7Были другие эксперименты с весами корректировки - 50/50? Как были выбраны финальные коэффициенты?
Благодарю!