Детектор ИИ-текста своими руками: какие признаки нейрослопа ловит код и какие остаются живому редактору

[AndreyProgramMaker]

Хорошая статья на актуальную тему

[ig_novvv]

Да, нейрослопа дофига сейчас вокруг, боремся как можем

[reddice]

Полезно. У меня есть онлайн-инструмент для редакторской проверки текста перед публикацией, вроде микса из Главреда, Орфограммки и Типографа. Сейчас делаю для него Chrome-расширение. Вдохновлюсь парой практик из статьи при доработке местного ИИ-детектора!

[ig_novvv]

О, круто) поделись ссылочкой

[reddice]

https://2n9ht.com/text-checker/ (для теста рекомендую какую-нибудь статью целиком вставить)

[ig_novvv]

о, спасибо, буду пользоваться)

[edogs]

Создатели ИИ учат его на правильных академических текстах, грамотно написанных книгах, материалах которые писались еще в век когда люди могли воспринимать больше 1 абзаца текста за раз и ввод/вывод не считался мусором...
Детекторы ИИ - определяют правильно написанный текст, упаси боже еще и академический с его правилами оформления, как ИИ.
Люди пишущие грамотные работы - выбрасываются за борт детекторами. Велкам идиократия.

Прочитали внимательно статью, ну, реально, такой "разбор" текстов это жесть какая-то - теперь стало понятнее почему 80% собственноручно написанных курсовых работ, написанных в том числе даже до ИИ, ИИ детектор зарезает с первого раза и приходится отдавать их чатуГПТ для "переработай и убери признаки ИИ" после чего проверка проходится.
Вах какой дивный новый мир.

p.s.: не, ну реально. ИИ же не "думает" (флаг кстати, слово в кавычках, ага), он выбирает текст который с наибольшей вероятностью написал бы человек. Все эти подводки, кавычки, фразеологизмы, правила оформления - ИИ их использует не потому что "сам придумал", а потому что в материалах для обучения было написано именно так. Материалы для обучения использовались условно выше среднего уровня (вычитанные книги написанные проф. авторами, научные статьи, учебники). И вот теперь ИИ детекторы просто банально режут все что выше среднего уровня за "признаки ИИ". Какой-то новый уровень "не высовывайся". Да как так-то?!

[ig_novvv]

Согласен, детектор с вердиктом типа это писал ИИ — штука вредная, и курсовые он режет как раз за грамотность. У меня история другая: не поймать автора, а найти конкретные обороты, на которых текст ломается, вроде анонса вместо мысли или кавычек на обычных словах. Если человек так пишет, это тоже стоит поправить, ИИ тут ни при чём)

[Sickarion]

В коде детектора есть любопытная архитектурная дыра:

FACT_ANCHOR = re.compile(r'\d|[^]+`|[A-Za-z]{2,}')

Получается, что любое латинское слово от двух букв или цифра сразу снимают подозрение с предложения. Если генератор выдаст классическую водянистую вводку "В этой статье мы подробно рассмотрим и разберем…", но вставит туда слово "Linux", термин "API" или год "2026", скрипт моментально слепнет. Весь технический нейрослоп с англицизмами пролетает фильтр без штрафа.

Вторая проблема - со словарями. Без нормальной лемматизации (хотя бы через pymorphy3) регулярки бессильны против свободного порядка слов и падежей в русском языке. Чуть изменил окончание или вставил частицу - и шаблон мимо.

Но самое опасное в таких эвристиках - ложные срабатывания на реальной технической документации. Любой нормальный мануал к ядру или спецификация RFC пишутся монотонно, ровными предложениями и без эмоций. Стэнфордское исследование (Liang et al., 2023) как раз показало, что детекторы наказывают тексты за сухость и нормативность (61% ложных срабатываний на эссе не-носителей языка). Выходит парадокс: ваш скрипт забракует сухую вылизанную статью системного инженера, но пропустит галлюцинацию, если в ней есть пара терминов в бэктиках.

Планируете подключать анализ перплексии/взрывчатости или ставка останется строго на регулярках?

[ig_novvv]

Да, дыра есть, проверил. Если дописать в конец анонса Linux или год, скрипт его пропускает. А фразу про то, что мы рассмотрим в этой статье, он не ловит вообще, её просто нет в словаре. Поправлю, спасибо огромное! Вот за такое и люблю писатьтексты и кейсы — всегда найдутся те, кто прочитает и посоветует чтт-то или косяк найдёт!

И да, падежи тоже слабое место, окончания я пока перебираю вручную.

А про перплексию — пока подключать не хочу. Процент ложных срабатываний в исследовании дали как раз детекторы на перплексии: простой ровный текст модели кажется предсказуемым, и его приписывают самой ИИ. Мой скрипт не угадывает, кто писал. Он показывает обороты, которые я сам вычёркиваю при редактуре)

[Sickarion]

Рад был помочь подсветить краевой случай. Понимаю вашу логику насчет перплексии, ложные срабатывания действительно сводят на нет всю пользу. Успехов в доработке скрипта.

[ig_novvv]

Спасибо)