Comments 5
Спасибо, использовал рекомендации по структурированию, с виду помогает.
Я бы добавил еще - чтобы достичь воспроизводимый многократно результат , для начала надо передать LLM соответсвующие параметры температуру там , top_p, top_k , min_p.
Мне к примеру удалось выйти на воспроизводимый результат только на temp 0 , затем отладка промта, получение результат и затем уже рост температуры до требуемой.
Я прочитал исходники нескольких открытых агентов для ллм и выделил очень простой принцип формирования промптов: ллм должна формировать промпт для себя самостоятельно. Человек должен написать промпт для генерации мета промпта для генерации плана выполнения какой-то задачи. Например:
I want you to act as a prompt engineer (системный промпт удалить с помощью modelfile). Create a well-structured and detailed prompt that will be used to generate a prompt that will be used to ask an AI to ... This prompt must include specific instructions to: ...
ЗЫ Лучше всего, чтобы модель, которая генерит мета промпты и итоговый промпт была бегемотиной т.е. наибольшей моделью в своем классе. Исполнять же итоговый промпт может модель этого же класса с меньшим числом параметров, квантованная и тд.
Промпт-инженер - это, конечно, будущее. Страшно только от него, совмещение обоих слов в одном тайтле толи унижает второго, толи возвышает первого.
Спасибо, использовал рекомендации по структурированию, с виду помогает.
Я бы добавил еще - чтобы достичь воспроизводимый многократно результат , для начала надо передать LLM соответсвующие параметры температуру там , top_p, top_k , min_p.
Мне к примеру удалось выйти на воспроизводимый результат только на temp 0 , затем отладка промта, получение результат и затем уже рост температуры до требуемой.
Prompt-инженерия: уменьшение сложности промпта