Классификация комментариев к Youtube видео с помощью GPT моделей. Точность и ее цена

[ovsale]

да это то с чего я начал. но точность была ниже. в другом эксперименте для gpt-3.5 было 9/7 (error1 / error2) для английского промпта и 7/5 для русского. для gpt-4 - 2/3 для английского и 1/1 для русского. получается что интеллект для одного языка выше. стоимость ниже да, но точно стоимость я не сравнивал.

[ovsale]

не пробовал но сейчас попробовал: ошибки 8/6 с gpt-3.5-turbo-instruct против 7/2 с gpt-3.5-turbo. вообще я инструкт модель не изучал потому что когда она вышла не понял в чем ее смысл.

[ovsale]

у меня ничего подобного не получается. работает быстрее да, но хуже.
пакетная классификация из статьи совсем не заработала: json возвращает с синтаксическими ошибками... не помню чтобы я когда то такое вообще видел...
ну и API несколько другой и на gpt-4 одной строчкой кода не переключишь...

[den4ik_084720]

А если сравнить с какой-нибудь моделью для NLI? Например этой

[ovsale]

это специально обученная для классификации модель? ее из облака можно использовать? или только локально?

потестил немного. определенно хуже чем gpt работает

и контекст ей нельзя сообщить как я понимаю, а это важно. без описания видео многие комментарии вообще непонятны