Одна из фич моей читалки новостей — автоматическая генерация тегов с помощью LLM. Поэтому я периодически занимаюсь prompt engineering — хочу чтобы теги были лучше, а платить было меньше.

И вот дотюнил я промпты до состояния, когда вроде всё работает, но осадочек какой-то остаётся: правильные теги определяются, но кроме них создаётся ещё 100500 бесполезных, а иногда даже совсем неверных.

Вариантов действий в таких случаях кот наплакал:

• Собрать обучающие данные и дообучить модель делать только правильные теги.

• Построить цепочку акторов, где один будет создавать теги, а другой — отсеивать лишние.

• Попытаться как-то радикально переработать промпт.

На варианты 1 и 2 нет ни денег не времени. Моя текущая стратегия — использовать только готовые ИИ решения, так как в одиночку за отраслью не угнаться. Поэтому пришлось браться за третий.

В процессе рефакторинга получилось пересмотреть подход к промпту ммм… с developer-cetric точки зрения на user-centric.

На мой взгляд это интересный разворот, поэтому я подробно описал его у себя в блоге:

https://tiendil.org/ru/posts/prompt-engineering-building-prompts-from-business-cases