Comments 4
В решении используется поле reasoning из словаря dict. Однако вы сами цитируете комментарий разработчиков о том, что разные провайдеры называют это поле по-разному (reasoningcontent, reasoning, reasoning_details). Гарантирует ли предложенный патч работоспособность с vLLM (который перешел на reasoning) или с xAI, или же код жестко завязан на специфику stepfun/step-3.5-flash и polza.ai?
Спасибо за вопрос!
В данной статье решение рассматривалось в рамках работы с провайдером polza.ai. Конечно можно сделать и более общее решение, чтобы подходило для всех.
Немного не по теме, но вызывает доверие, что вы написали минимум абзацев - строго по делу.
Провайдеры типа polza.ai (или конкретно polza.ai) - каким либо образом влияют на результаты нативных моделей, надстраиваются доп. системными промптами со стороны провайдера?
Конечно, вряд ли мы знаем начинку - но хотя бы на примере вашей практики.
Исправление обработки блока reasoning content в CoT-моделях для LangChain