Детектим ИИ-тексты правильно

Эта заметка в первую очередь создана для того, чтобы приводить её в ответ на недостаточно обоснованные обвинения авторов в использовании ИИ при написании текста, ибо часто встречается, что кто-то пишет "да ваша статья это точно ИИ!" без приведения аргументов. После просьбы уточнить оказывается, что единственный аргумент комментатора -- это "длинные" тире. В сей заметке приведён ещё ряд признаков ИИ'шного авторства текстов; есть здесь и сильные аргументы, и слабые, и присутствия одного или нескольких в той или иной статье совершенно недостаточно, чтобы обвинить её в ИИ'шности. Из-за того, что в формате "постов" очень сильное ограничение на количество символов (почти четверть я уже истратил), список будет выглядеть очень рваным.

1. Диаграммы псевдографикой (наглейший признак) и использование "правильных" стрелочек и прочих символов вообще. Примеры [1, 2, 3]:

   Telegram ──HTTPS──▶ API ──▶ очередь Redis ──▶ Worker ──HMAC──▶ сервисы
                         │          │               │
                      быстрый    dedup +         retry +
                        202      processing         DLQ
   

   handlers/
   ├── message.js
   ├── callback_query.js
   └── inline_query.js
   

   По цифрам — подробно разбирал их в статье про «эру AGI»: Astra на 100К карт дала горизонт рассуждений ×8,6 (3,6 → 30,9 мин), OSWorld 65,7% → 72,6%, ARC-AGI-3 на нейтральном харнесе 62,7% против 30,16% у лучшего фронтира.

2. Обилие необоснованных слов на английском. Обратите внимание, что добросовестному автору для такой концентрации английских вставок нужно постоянно переключать раскладку (этот факт вообще довольно универсальный). Примеры [4]:

   Оставался router: единственный публичный webhook принимает update, определяет получателей и пересылает данные во внутренние сервисы. Но «небольшой» не должен означать один httpx.post() прямо внутри endpoint. Такой proxy связывает время ответа Telegram со скоростью внутренних обработчиков. Если один сервис завис, наружный webhook тоже зависает. Если процесс умер между ответом Telegram и пересылкой, update потерян.

3. Слово "честно", в первую очередь прилагательное "честный" (оборот "честно говоря" не считается). Когда я начал искать "site:habr.com честный", была найдена статья с анализом как раз этого слова как маркера ИИ'шных текстов. График (вставлять больше одной картинки в "посты" нельзя)

4. Переносы команд на несколько строк (характерно для ChatGPT, как и текстовые диаграммы) [5]:

   curl -v https://1.1.1.1/dns-query \
   -H 'host: dns.google' \
   -H 'accept: application/dns-json' \
   -G --data-urlencode 'name=example.com'
   

5. Артефакты копирования: XML/HTML-entities (типа >), съехавшее форматирование, невычитанные фрагменты [6 (также видны стрелочки →) (из этой же статьи скриншот ниже), 7, 8]:

   ALERT: AWS Regional Issues
   Триггер: (DynamoDB SystemErrors > 0) AND (EC2 API 5xx > threshold) AND (Lambda throttles > baseline)
   → Вероятно проблема на уровне региона, а не в вашем приложении line) → Вероятно проблема на уровне региона, а не в вашем приложении
   

6. Противоречия в стиле текстов автора:

   Статья 1 [9]:

   привет, хабр.....

   если не читали предыдущие статьи - кратко: в РФ сейчас работают белые списки ( а мы не знали )

   Статья 2 [10]:

   Кратко что я нашел

   Собственный код RuStore (VK):

   • Шоукейс: Список приложений с иконками в лаунчере подгружается через POST api.rustore.ru/v1/showcase/startup-destination при запуске и периодически в фоне.

   • Идентификация: Устройство привязывается к аккаунту через ANDROID_ID.

   • <...>

   Комментарии [11]:

   кароче фанатка какая то мои гитхаб ишью ищет че за цундере не понимаю помогите одержимая какая то ужас аа что делать полиция милиция пожалуйста 112

   ПОЖАЛУСТА ПОМОГИ МНЕ на меня наапала бешаная цуендере фанатка и она чииатет мои ишью гна гитхабе<...>

...

На примере ниже видны:

1. Необоснованные слова на англ. (в первой колонке таблицы; также "regional outage");

2. Обильное форматирование, таблицы;

3. Диаграмма со стрелочками ("→"), "×";

4. Эмодзи.

У меня закончились символы для поста; многое не сказано. Переходите по [ссылкам] для лучшего понимания.

13 14 15

Пара наблюдений (записанных наспех, извините) вокруг ситуации с ИИ:

1. ИИ умеет писать код, но плохо (= хуже, недостаточно хорошо) умеет поддерживать его. Почему же так? ИИ обучался на основе данных из Интернета. В Интернете очень много кода, но код — это результат процесса разработки. Процесс разработки во многом идёт «в головах» и «на бумаге» отображается редко и не полностью, в отличие от кода. Единственный (основной) источник знаний ИИ о процессах — разные статьи и тому подобное, объём их на порядки меньше объёма готового кода;

   1. То же самое с проектированием архитектуры систем;

   2. Из этого следует, что ИИ неплохо подходит для написания write‑only кода;

   3. Дежурные истины: сложность не всегда в написании кода. Часто/обычно она в его поддержке, развитии, интеграции, в анализе предметной области;

   4. ИИ тоже член команды. Если вы пишете напр. пет‑проект и все традиции оформления кода, именования объектов, ведения документации и тому подобное находятся в вашей голове, вам либо придётся как‑то их сформулировать, чтобы ИИ писал в том же стиле, либо терпеть чужеродно выглядящий код;

   5. ИИ плохо пишет то, по чему мало информации в Интернете;

      1. Наличие в том же Интернете документации не поможет;

      2. Не недооценивайте объём туториалов и готовых решений на Python'е;

2. При приведении в споре своего опыта работы с ИИ обязательно нужно указывать название модели;

   1. Научно‑технический прогресс измеряется по лучшим представителям;

   2. Вайб‑кодинг тоже бывает разного уровня профессионализма. Уровень более низкий: «написал (бесплатному) Дипсику, чтобы он сделал хорошо», уровень выше: «написал [такому‑то, более хорошему, ИИ], что нужно сделать, с чем интегрироваться, как оформлять, что выдать в ответе; перечитал запрос в поисках неточностей в ТЗ...», уровень выше: «использую плагин в IDE, стандартизировал некоторые требования» и тому подобное;

3. Текст, который выглядит, как написанный ИИ, написан либо ИИ, либо человеком, который (видимо) обчитался таких же текстов и перенял стиль;

   1. Как было раньше: если статья написана без орфографических ошибок и повествование более‑менее внятное (не как у меня ^_^), это значило, что автор хотя бы статью вычитал, спланировал, отредактировал и тому подобное, то есть вложил силы, потому что написать неграмотно и невнятно может каждый. Сейчас же ИИ пишут как раз таки грамотно, внятно и структурировано, то есть теперь для такого же результата силы вкладывать не нужно;

4. ИИ могут воспринимать рекомендации и явные разрешения что‑то делать как руководство к действию. Например, «допустимо использовать НазваниеБиблиотеки» резко повышает шанс того, что ИИ именно её и возьмёт;

5. В вопросе ИИ люди делятся на «философов» и «инструментальщиков». Характерные фразы первых: «чёткого определения интеллекта нет», «ИИ не AGI», «ИИ называть ИИ некорректно» и тому подобное. Часто из тезисов выше ими делается вывод, что всё, что называется ИИ — чепуха. «Инструментальщики» же не заботятся о том, что как называется, им ясно, что даже если ИИ не может делать всё, то он уже может делать много что, поэтому является полезным (как можете догадаться, позицию первых я не разделяю и считаю непродуктивной);

   1. Если где‑то из‑за замены ручного труда на труд ИИ упало качество производимого продукта, но использование ИИ не прекращается, это говорит плохо не об ИИ, а о потребителях продукта. Ибо спрос рождает предложение, и если он удовлетворяется контентом неприемлимо низкого качества (по вашему мнению), то так было бы и без ИИ;

6. По моим ощущениям, качество вывода ИИ падает от каждого чиха в промпте. Если вы использовали неоднозначное слово, добавили требования по оформлению, забыли уточнить какую‑то мелочь, попросили сделать несколько вещей за раз — качество будет ниже. (Вместо «напиши модуль с документацией и тесты» лучше в разных чатах «напиши документацию», «напиши модуль по документации», «напиши тесты по документации». Разделение труда — великая вещь.)