Обновить

Детектим ИИ-тексты правильно

Эта заметка в первую очередь создана для того, чтобы приводить её в ответ на недостаточно обоснованные обвинения авторов в использовании ИИ при написании текста, ибо часто встречается, что кто-то пишет "да ваша статья это точно ИИ!" без приведения аргументов. После просьбы уточнить оказывается, что единственный аргумент комментатора -- это "длинные" тире. В сей заметке приведён ещё ряд признаков ИИ'шного авторства текстов; есть здесь и сильные аргументы, и слабые, и присутствия одного или нескольких в той или иной статье совершенно недостаточно, чтобы обвинить её в ИИ'шности. Из-за того, что в формате "постов" очень сильное ограничение на количество символов (почти четверть я уже истратил), список будет выглядеть очень рваным.

  1. Диаграммы псевдографикой (наглейший признак) и использование "правильных" стрелочек и прочих символов вообще. Примеры [1, 2, 3]:

    Telegram ──HTTPS──▶ API ──▶ очередь Redis ──▶ Worker ──HMAC──▶ сервисы
                          │          │               │
                       быстрый    dedup +         retry +
                         202      processing         DLQ
    
    handlers/
    ├── message.js
    ├── callback_query.js
    └── inline_query.js

    По цифрам — подробно разбирал их в статье про «эру AGI»: Astra на 100К карт дала горизонт рассуждений ×8,6 (3,6 → 30,9 мин), OSWorld 65,7% → 72,6%, ARC-AGI-3 на нейтральном харнесе 62,7% против 30,16% у лучшего фронтира.

  2. Обилие необоснованных слов на английском. Обратите внимание, что добросовестному автору для такой концентрации английских вставок нужно постоянно переключать раскладку (этот факт вообще довольно универсальный). Примеры [4]:

    Оставался router: единственный публичный webhook принимает update, определяет получателей и пересылает данные во внутренние сервисы. Но «небольшой» не должен означать один httpx.post() прямо внутри endpoint. Такой proxy связывает время ответа Telegram со скоростью внутренних обработчиков. Если один сервис завис, наружный webhook тоже зависает. Если процесс умер между ответом Telegram и пересылкой, update потерян.

  3. Слово "честно", в первую очередь прилагательное "честный" (оборот "честно говоря" не считается). Когда я начал искать "site:habr.com честный", была найдена статья с анализом как раз этого слова как маркера ИИ'шных текстов. График (вставлять больше одной картинки в "посты" нельзя)

  4. Переносы команд на несколько строк (характерно для ChatGPT, как и текстовые диаграммы) [5]:

    curl -v https://1.1.1.1/dns-query \
    -H 'host: dns.google' \
    -H 'accept: application/dns-json' \
    -G --data-urlencode 'name=example.com'
  5. Артефакты копирования: XML/HTML-entities (типа >), съехавшее форматирование, невычитанные фрагменты [6 (также видны стрелочки →) (из этой же статьи скриншот ниже), 7, 8]:

    ALERT: AWS Regional Issues
    Триггер: (DynamoDB SystemErrors > 0) AND (EC2 API 5xx > threshold) AND (Lambda throttles > baseline)
    → Вероятно проблема на уровне региона, а не в вашем приложении line) → Вероятно проблема на уровне региона, а не в вашем приложении
  6. Противоречия в стиле текстов автора:

    Статья 1 [9]:

    привет, хабр.....

    если не читали предыдущие статьи - кратко: в РФ сейчас работают белые списки ( а мы не знали )

    Статья 2 [10]:

    Кратко что я нашел

    Собственный код RuStore (VK):

    • Шоукейс: Список приложений с иконками в лаунчере подгружается через POST api.rustore.ru/v1/showcase/startup-destination при запуске и периодически в фоне.

    • Идентификация: Устройство привязывается к аккаунту через ANDROID_ID.

    • <...>

    Комментарии [11]:

    кароче фанатка какая то мои гитхаб ишью ищет че за цундере не понимаю помогите одержимая какая то ужас аа что делать полиция милиция пожалуйста 112

    ПОЖАЛУСТА ПОМОГИ МНЕ на меня наапала бешаная цуендере фанатка и она чииатет мои ишью гна гитхабе<...>

...

На примере ниже видны:

  1. Необоснованные слова на англ. (в первой колонке таблицы; также "regional outage");

  2. Обильное форматирование, таблицы;

  3. Диаграмма со стрелочками ("→"), "×";

  4. Эмодзи.

[12]
[12]

У меня закончились символы для поста; многое не сказано. Переходите по [ссылкам] для лучшего понимания.

13 14 15

Теги:
+4
Комментарии9

Публикации