Рад был помочь подсветить краевой случай. Понимаю вашу логику насчет перплексии, ложные срабатывания действительно сводят на нет всю пользу. Успехов в доработке скрипта.
Получается, что любое латинское слово от двух букв или цифра сразу снимают подозрение с предложения. Если генератор выдаст классическую водянистую вводку "В этой статье мы подробно рассмотрим и разберем…", но вставит туда слово "Linux", термин "API" или год "2026", скрипт моментально слепнет. Весь технический нейрослоп с англицизмами пролетает фильтр без штрафа.
Вторая проблема - со словарями. Без нормальной лемматизации (хотя бы через pymorphy3) регулярки бессильны против свободного порядка слов и падежей в русском языке. Чуть изменил окончание или вставил частицу - и шаблон мимо.
Но самое опасное в таких эвристиках - ложные срабатывания на реальной технической документации. Любой нормальный мануал к ядру или спецификация RFC пишутся монотонно, ровными предложениями и без эмоций. Стэнфордское исследование (Liang et al., 2023) как раз показало, что детекторы наказывают тексты за сухость и нормативность (61% ложных срабатываний на эссе не-носителей языка). Выходит парадокс: ваш скрипт забракует сухую вылизанную статью системного инженера, но пропустит галлюцинацию, если в ней есть пара терминов в бэктиках.
Планируете подключать анализ перплексии/взрывчатости или ставка останется строго на регулярках?
Рад был помочь подсветить краевой случай. Понимаю вашу логику насчет перплексии, ложные срабатывания действительно сводят на нет всю пользу. Успехов в доработке скрипта.
В коде детектора есть любопытная архитектурная дыра:
FACT_ANCHOR = re.compile(r'\d|[^]+`|[A-Za-z]{2,}')Получается, что любое латинское слово от двух букв или цифра сразу снимают подозрение с предложения. Если генератор выдаст классическую водянистую вводку "В этой статье мы подробно рассмотрим и разберем…", но вставит туда слово "Linux", термин "API" или год "2026", скрипт моментально слепнет. Весь технический нейрослоп с англицизмами пролетает фильтр без штрафа.
Вторая проблема - со словарями. Без нормальной лемматизации (хотя бы через pymorphy3) регулярки бессильны против свободного порядка слов и падежей в русском языке. Чуть изменил окончание или вставил частицу - и шаблон мимо.
Но самое опасное в таких эвристиках - ложные срабатывания на реальной технической документации. Любой нормальный мануал к ядру или спецификация RFC пишутся монотонно, ровными предложениями и без эмоций. Стэнфордское исследование (Liang et al., 2023) как раз показало, что детекторы наказывают тексты за сухость и нормативность (61% ложных срабатываний на эссе не-носителей языка). Выходит парадокс: ваш скрипт забракует сухую вылизанную статью системного инженера, но пропустит галлюцинацию, если в ней есть пара терминов в бэктиках.
Планируете подключать анализ перплексии/взрывчатости или ставка останется строго на регулярках?