Скорее всего, да, при высокой температуре детектор может принять непредсказуемость за признак человеческого текста. Но если увлечься и слишком выкручивать температуру, текст все равно будет неестественным)
Спасибо за дополнительную проверку) GPTZero я не включала, потому что русский у него не относится к полностью поддерживаемым языкам. Для эксперимента брала системы, рассчитанные на русскоязычные тексты
Спасибо за комментарий, на юридических текстах я такие тесты пока не проводила) Но идея отличная, самая большая трудность - проследить, чтобы менялось только одно условие. Есть исследование на договорах: https://arxiv.org/abs/2511.00340. Это не совсем минимальные пары, но принцип очень похож.
Про канарейку - скорее всего, отсылка к английскому фразеологизму "miner's canary". Раньше птиц брали в шахты, и если птицы вылетали, значит, они чувствовали запах газа. Сейчас его употребляют в значении "что-то не так" или "опасно")
Про грабель - думаю, это склейка английского "recurring pitfall" с русским выражением "наступить на те же грабли") Английская конструкция требует существительного в единственном числе, а программа при переводе, наверно, сделала по аналогии "грабль", хотя в русском "грабли" всегда во множественном
Спасибо за комментарий, вот есть исследование, которое может вас заинтересовать: https://arxiv.org/html/2312.02598v1. В нем как раз разбирают влияние токенизации на адаптацию LLaMA к русскому
Скорее всего, да, при высокой температуре детектор может принять непредсказуемость за признак человеческого текста. Но если увлечься и слишком выкручивать температуру, текст все равно будет неестественным)
Спасибо за дополнительную проверку) GPTZero я не включала, потому что русский у него не относится к полностью поддерживаемым языкам. Для эксперимента брала системы, рассчитанные на русскоязычные тексты
Спасибо за комментарий, на юридических текстах я такие тесты пока не проводила) Но идея отличная, самая большая трудность - проследить, чтобы менялось только одно условие. Есть исследование на договорах: https://arxiv.org/abs/2511.00340. Это не совсем минимальные пары, но принцип очень похож.
Про канарейку - скорее всего, отсылка к английскому фразеологизму "miner's canary". Раньше птиц брали в шахты, и если птицы вылетали, значит, они чувствовали запах газа. Сейчас его употребляют в значении "что-то не так" или "опасно")
Про грабель - думаю, это склейка английского "recurring pitfall" с русским выражением "наступить на те же грабли") Английская конструкция требует существительного в единственном числе, а программа при переводе, наверно, сделала по аналогии "грабль", хотя в русском "грабли" всегда во множественном
Спасибо за комментарий, вот есть исследование, которое может вас заинтересовать: https://arxiv.org/html/2312.02598v1. В нем как раз разбирают влияние токенизации на адаптацию LLaMA к русскому