Комментарии 8
Если сделать системный промпт на английском, то стоимость будет меньше из-за особенностей токенизатора OpenAI. Интересно, какова была бы точность.
да это то с чего я начал. но точность была ниже. в другом эксперименте для gpt-3.5 было 9/7 (error1 / error2) для английского промпта и 7/5 для русского. для gpt-4 - 2/3 для английского и 1/1 для русского. получается что интеллект для одного языка выше. стоимость ниже да, но точно стоимость я не сравнивал.
Спасибо!
Кстати, вы использовали обычную чат-модель gpt-3.5-turbo, тогда как есть gpt-3.5-turbo-instruct. От последней при равной цене можно ожидать лучший результат в подобной работе. Но как у нее с русским языком - я не знаю.
не пробовал но сейчас попробовал: ошибки 8/6 с gpt-3.5-turbo-instruct против 7/2 с gpt-3.5-turbo. вообще я инструкт модель не изучал потому что когда она вышла не понял в чем ее смысл.
Модель instruct тренирована не на чатах, а на выполнении инструкций и прямых ответах на вопросы. Должно быть проще использовать в автоматизации, так как не должна просачиваться в ответы типичная для ChatGPT вода вроде "Sure, here is...". Видел сообщения о лучших способностях, например, может играть в шахматы https://www.reddit.com/r/GPT3/comments/16mefly/the_new_gpt_model_gpt35turboinstruct_can_play/?rdt=45819, лучше сочиняет тексты https://t.me/llm_under_hood/141, также у нее на момент выхода вроде бы не было склонности к самоцензуре, не знаю как сейчас.
А если сравнить с какой-нибудь моделью для NLI? Например этой
Классификация комментариев к Youtube видео с помощью GPT моделей. Точность и ее цена