Правильно ли я понял, что у меня узким местом получился prefill, и что преимущества от decidions появляются только если разом подавать десяток+ вопросов с разными опциями (тогда SO более ощутимо проигрывал бы, т.к. был бы обязан генерировать большую json схему)?
Думаю, что да. Ваши рассуждения на этот вопрос верны. Преимущество будет более заметным на больших пакетных обработках. Тут ключевое в экономии на генерацию. Ну и в целом такое решение если переводить в денежный эквивалент получается дороже, не теряя при этом в качестве.
Правда ли, что преимущество decidions еще и в том, что вопросы/ответы не влияют друг на друга, когда при использовании большой SO схемы точно повлияли бы?
Спасибо за вопрос!
Думаю, что да. Ваши рассуждения на этот вопрос верны. Преимущество будет более заметным на больших пакетных обработках. Тут ключевое в экономии на генерацию. Ну и в целом такое решение если переводить в денежный эквивалент получается дороже, не теряя при этом в качестве.
Да, это ключевая особенность.
Спасибо за вопрос!
Я думаю, что вряд ли провайдер (по крайней мере polza.ai) будет надстраивать скрытые системные промпты, но такое, в целом, возможно.
Спасибо за вопрос!
В данной статье решение рассматривалось в рамках работы с провайдером polza.ai. Конечно можно сделать и более общее решение, чтобы подходило для всех.