Комментарии 112
Для чистоты эксперимента - какая доля генеративного контента в блоге компании Хабр? Вот прямо табличку киньте в ответный комментарий.
сsv - https://ufile.io/cw2jyyw1
Собственно, методы оценки генеративности отдельно взятой статьи - не очень надежные, нельзя говорить именно о доле генеративного контента. GPT при оценке генеративности неплохо так ошибается в плюс. А вот о качестве блога в целом - вполне можно...
Я вам могу сказать: в блоге Хабра абсолютно ноль генеративного контента. Мы (авторы блога) не используем нейронки даже для проверки текста.
Может кто-то из авторов блога тщательно замаскировавшийся робот?
Нас раскусили
Это всего лишь означает, что авторы этого блога пишут неотличимо от нейросетей в среднем. Причём, с точки зрения довольно негативных признаков (автора статьи раздражает их наличие а тексте). Не знаю, порадоваться за авторов или пожалеть их)
У пользователей, к счастью, другое мнение.
Понятно что мнение реально разное, но и такое есть. К сожалению, довольно часто впечатление от статей (а особенно новостей) публикуемых сотрудниками Хабра именно что неотличимо от продукта нейросетей. Ну т.е. может оно и написано человеком, а результат тот же. И я даже подозреваю, почему - по той же причине, по которой статьи обычных авторов (на интересную автору тему, которую он знает хорошо) отличаются от статей корпоративных блогов, у авторов которых нет темы, и которые (авторы) по сути т.н. копирайтеры.
У каких пользователей? У прикормленных корпоративных аккаунтов, которые выводят в топ любой шлак?
Есть такой анекдот
Родился малыш. Семья умиляется, и все предсказывают ему будущее.
Мать: Вырастет, станет учёным. Глазки какие умненькие!
Отец: Hет - военным! Ишь, какой боевой!
Дошла очередь до бабушки: Политиком будет
Все хором: Почему?
Смотрите, обосрался, а как головку держит!
Вы уж извините, но, что в этой теме, что в других, вам только и остаётся, что старательно головку держать. Но людей-то за идиотов держать не надо.
@Exosphere, подскажите, как вы сделали спойлер? в wysiwyg его нет а в markdown тег spoiler не работает.
Как и всё, выбрала с помощью слэша в визивиге (причём с мобильника делала даже)
спасибо, отвратительный UI у хабра
Самое невежливое спасибо, которое я видел ))
@Exosphere Рацпредложение: сделайте в режиме мрак-дауна иконку «вопросительный знак в кружочке», при нажатии на которую открывается Habr-flavored md cheat-sheet. Я такое видел на редите.
Иконка должна быть внизу текстового поля, где её ожидаешь увидеть при написании текста, а не в диалоге выбора M/W, где НЕ ожидаешь. Логично, что справка нужна при написании, а не при выборе режима, не так ли?
вообще я о другом:
типовой пример использования (так было раньше на многих форумах) если я хочу ответить человеку с цитатой, я выделяю нужный мне кусок текста и нажимаю ответить.
Тут мне нужно выделить текст, скопировать его (в linux не обязательно) затем нажать кнопку +, затем выбрать цитировать, затем во вставленный в окно редактирования вставить текст
Если что, привожу пример как это реализовано на qna хабра (т.е. ранее), я вставляю текст (я ведь могу его вставить из другого места или написать сам), выделяю его в редакторе и нажимаю кнопку - сделать из выделенного текста уитату, спойлер и т.п. Это логично (понятно с первого раза), однообразно, удобно (выделил и нажал 1 кнопку, либо две если выбрать тип кода).
Зачем нужно было создавать НОВЫЙ редактор, который сложнее, больше действий, не логичный (почему жирность или код можно сделать выделив его). Плюс я раздражен на самого себя, что не смотря на мой не малый опыт, я не догадался, я видел кнопку + и нажимал ее но не заметил в ней цитирование и воспринял ее как механизм оформления текста заголовками и списками. Именно это и есть то что показывает что UI отвратителен.
p.s.
Важно: тег <spoiler> не входит в базовый синтаксис markdown, поэтому должен быть отбит пустыми строками от контента.
выглядит как баг, из которого сделали фичу, это плохая практика, так же показывает на отсутствие UI дизайнера и грамотные тесты.
в wysiwyg его нет
Почему же нет?
https://habr.com/ru/docs/help/markdown/
Спойлер в markdown
Работает вроде
Нисколько не спорю и ещё раз скажу, что надёжное определение генеративности отдельных статей теми простыми методами, что есть в статье - невозможно. Они позволяют лишь увидеть откровенный трешняк, когда весь блог состоит из генеративного контента.
"Откровенный трешняк" часто видно невооружённым глазом :-) Поскольку я разгребаю тучи статей в модераторской песочнице, могу вам для коллекции добавить ещё два критерия, которые вызывают большую настороженность и характерны для нейронок:
В тексте непременно повторяется один и тот же тезис, но немного другими словами (бывает, что и три раза) - это очень характерно.
Всегда даётся базовое определение или введение. Особенно смешно читать определение чего-то совсем простого типа "тестирование - это...", "подбор персонала - это..."
Отклоняем очень много такого. Есть те, кто использует более толково. Но, конечно, ничего пока не доказуемо, просто как правило общий уровень статей тоже ниже нуля.
В тексте непременно повторяется один и тот же тезис, но немного другими словами
Это мой любимый критерий понять, что текст написан т.н. "редактором Хабра". Рад бы ошибиться, но пока критерий 100% работает - и, что "приятно", Хабр верен себе, такой шрот не удаляет и авторам на вид, "очевидно", не ставит.
Понимаю, что "другого Хабра у меня для вас нет", и что хиты не пахнут, но испанский стыд испытываю. Впрочем, я, конечно, помню, что Хабр - ресурс частный, и сделан ради больших денег, а не ради удобства какого-то чтения каких-то там посетителей.
P.S. Должен сказать, что комментариев сотрудников Хабра на Хабре особо не много встречаю. Ощущается так, что те, кто надо, решили, что, запилив некие правила, они сделали саморегулирующееся сообщество, где народ сам разберется (на ссамом деле - нет) и можно особо не вкладываться, а просто стричь купоны. Несмотря на косяки с логикой работы кармы, на нестыковки в применении правил, на моменты, явно влияющие на жизнь комьюнити (и это я еще политическую составляющую не беру) - сам хабр в лице ответственных сотрудников) либо забивает болт скромно игнорит проблему, лиьо отвечает обтекаемо, либо расчехляет плюсомет (пользуясь терминами Фидо), причем не осоьо погружаясь, и весьма непредсказуемо. Ваш и комментарии лично мне удивительны и упоминанием про модерацию на регулярной основе (Вы точно из Хабра!?), и, вообще, самим фактом комментов со стороны полевого работника компании. Развитие правил, отслеживание их применения, тюнинг логики кармы - всё это прячется за "туманом кармы" по одной причине, что так проще недоработки скрывать, т.е. с целью затруднить аудит. Там же (примерно нигде) борьза с ботами, а также борьба за качество контента, ну и извечный ответ в стиле "все равны, но некоторые равнее" в отношении джинсы корпблогов и нетленки редакторов.
Может, не всё потеряно, и старый добрый Хабр вернется?
упоминанием про модерацию на регулярной основе
Она всегда была, есть и будет. Наш отдел по работе с пользователями на регулярной основе работает со статьями, песочницей, пользователями - некоторый контент мы оцениваем и проверяем до публикации, даём редакторские советы (правда, увы, пока довольно медленно, потому что поток большой).
"все равны, но некоторые равнее" в отношении джинсы корпблогов и нетленки редакторов
Над этим мы и наши коллеги из комм. службы работаем - у нас постоянно проходит обучение корп. клиентов и мы прямо по пунктам разбираем "бесячие" ошибки, но вы же понимаете, что многие всё равно сделают по-своему и формально что-то сделать трудно.
С редакторами пообщаемся, передадим замечания.
Вы точно из Хабра!?
Точно, 9 лет в Хабре.
полевого работника компании
Так вижу
Модератор отбирает статьи новых авторов из Песочницы
Народ! Так нельзя издеваться над корпоративным контентом. Учить писать взрослого технаря, это как забивать плоскогубцами железнодорожный костыль. То-то из песочницы выпадают потом статьи "Особенности животноводства процессорного времени", или уж совсем яркий пример "Как украсть сметаны у виртуального кота".
Автор, хороший вы человек, но есть такая наука о текстах, как текстология. И ни одним, даже сверхмощным и сверхсильным алгоритмом не пересилить как коллективное бессознательное редакции, так и отдельных авторов-переводчиков. С кармой за 200 можно самому учить любую GPT думать о тексте правильно )).
Она всегда была, есть и будет. Наш отдел по работе с пользователями на регулярной основе работает со статьями, песочницей, пользователями - некоторый контент мы оцениваем и проверяем до публикации, даём редакторские советы
О, кстати, вопрос. Я всегда (ну, последние 8 статей) пользуюсь услугами платного корректора. Он невероятный педант и расставляет не только забытые запятые, но и неразрывные пробелы, тире вместо дефисов, знаки "Минус" вместо тире и так далее.
Но есть ощущение, что после публикации на статьи регулярно НАБИГАЕТ штатный хабровский корректор, который вносит свои правки, не всегда по делу. Он, например, обожает штатные списки, но они не всегда хорошо смотрятся в тексте и некоторые списки я сознательно делаю при помощи 1) и перевода на новую строку.
Так ли это? Если да, как этого избежать? Как сделать так, чтобы статью не "улучшали" после публикации?
Я всегда (ну, последние 8 статей) пользуюсь услугами платного корректора
Огромное, человеческое вам СПАСИБО!
От читателя.
Списки исправляет модератор, не корректор. Из соображений общего стиля верстки. Чтобы не улучшали, можно просто сказать мне. Записала, не будем :-)
Это, на самом деле, круто, что у модерации Хабра есть ресурсы на корректуру, а не только на вычищение вопиющих нарушений.
Но именно в моём случае это некоторое количество раз прям шокировало. Например. Мой корректор рекомендует делать из перечисления "во-первых ... во-вторых ... в-третьих" квазисписок при помощи переходов на новую строку, но в том же абзаце.
Представляете моё удивление, когда в статье все переходны на новую строку были заменены на начала новых абзацев? ))))) Нажав в очередной раз F5 и увидев изменения на экране, я чуть не сделал "Пффффффф" отпитым чаем в монитор.
бывает, что и три раза
Вообще, когда меня учили делать презентации, как раз рекомендовали повторять тезисы. Т.е. минимум пару раз, чтобы лучше дошло и запомнилось. Так что три - это не так уж и много :) А два по некоторым критериям считается полезным.
Под пункт 1 попадает львиная доля американского научпопа с 90х по настоящее время)
ЧатГопоты может позволить (позволял?) себе такую мякотку, как "взаимоисключающие параграфы". Хотя, я и в официальном документе человечьего "поверенного" такое встретил однажды.
так на картинке и показано вроде бы, что блог хабра хороший. Так что авторы котики)
Что, к сожалению, не могу сказать о других корпоративных блогах
там ребята норм пишут, задроты в лучшем смысле этого слова)
Было бы хорошо, если бы Хабр автоматически с помощью подобной программы проверял статьи и ставил соответствующий маркер. Хотя начнётся очередное противостояние брони и снаряда...
Проблема в том, что сам хабр не очень заинтересован в этом. Им - чем больше статей - тем лучше. Любого качества. Даже 3 просмотра - это 3 просмотра.
Копроративные блоги - это вообще неприкасаемые, поскольку они приносят деньги. Любая трэш-статья на тему типа "Дорожная карта основных HR-исследований" будет набирать свои 3 плюса и висеть годами.
Заинтересованы в этом мы с вами - читатели. Но наши возможности влиять на это довольно ограничены. Увидели вы такую статью в ленте - вы пропустите и не будете заходить чтобы поставить минус. Через пару лет кто-нибудь напишет плагин для браузера чтобы автоматически помечать такие статьи..
чем больше статей - тем лучше. Любого качества.
Не в перспективе. Сначала всё вроде ОК: контент крутится, просмотр мутится. Потом вдруг появляется конкурент с качественным отбором контента, и публика резко начинает валить. И тут уже поздняк чинить у себя, потому что репутация "мусоропровода" закрепилась надолго.
А потом конкурент внедряет подобное и у себя и цикл уходит на следующий круг.
Потом вдруг появляется конкурент с качественным отбором контента
Да даже без конкурента. Я уже давно на хабре новости (которые тоже спорного качества) стал читать сильно чаще чем статьи. Просто потому, что процентов 80% статей это беспросветное уныние. И судя по кол-ву просмотров у статей, я такой не один.
Мы внимательно следим за инструментами такого рода, и все они, уж простите за лексику, лажовые. И этот инструмент также может показать тренд, но не даст точности. И, например, примет за генеративный контент очень «занаученную» статью.
Или, например, я страшно люблю списки в статьях. Использую недуром. Получается, этот признак есть?
Да, согласен, выбор хорошей оценочной методики - непростая задача. Что, в общем-то, признаёт и автор этой статьи. Ведь, как я понял, сеть GPT4 не всегда честно отвечает на прямой вопрос: "Ты писала эту статью? Да или нет?!". Но есть же методики, по которым устанавливают авторство текстов (Пушкин или Некрасов и т. п.)...
очень «занаученную» статью.
А кто-то любит такие статьи? Как по мне, значительная доля таких статей - это антинаучный бред опровергателей физики, аэродинамики, что там у нас еще опровергали? Я не хочу сказать, что они не нужны, но они выбиваются из общего стиля.
Ну чтоб далеко не ходить: "Дорожная карта основных HR-исследований" - уже упоминали. Этот корпоративный блог характерен тем, что там числится с десяток (по-моему штук 13) авторов (при том что про компанию написано, что в ней менее 10 человек ;), но при этом стиль всех без исключения статей - ну прямо бюрократический 10 из 10. И одинаковый.
Для начала, неплохо бы было ввести новое основание для минуса «Патамушта чатбот».
А это плохо? :)
Ведь наверно и статью на хабре про написание ботов для написания проходящих проверку статьей на хабре опубликуют?
Для автоматизации этого дела напишем программку на VB.NET. Почему на нем? А я когда-то давным-давно начинала с бейсика, потом VB6, потом VB.NET, в котором синтаксического сахара и плюшевости долгое время было больше, чем в C#,
Я бы ещё использовал уникальную для VB "сахарную" конструкцию With...End With:
With textWriter
.Write (...)
.Write (...)
...
End With
Но такую толковую программу я бы не написал.
Ничего она не уникальна, в Kotlin, например, множество инструментов для работы с контекстом (переопределение джавовского this)
Точно такая же есть в js (хотя некоторые хотят, чтобы её не было):
with (textWriter) { write(...); }
Вообще-то не точно такая же. Что в Вашем примере произойдёт, если наряду с методом textWriter.write (...) в область видимости попадёт функция write (...)? А в конструкции VB этот вопрос разрешён однозначно: если в теле конструкции With ... End With перед именем стоит точка, то будет задействован метод или свойство объекта, а если точки нет — переменная или функция. В каком ещё языке программирования есть такое наглядное и элегантное решение?
на MDN "with" помечено как deprecated
Куча уже есть решений для оценки "генеративности" контента. Сам не пользовал, но вот ссылка на гугл поиск. Первая вроде как даже даёт апи и фри юз. Хотя там только ингл. Но, думаю, если поковыряться - можно что-то найти.
Ищем, проверяем. Даже у меня есть несколько моих текстов разного формата (не только для Хабра), которые я скармливаю сервисам, + два текста на английском языке (тоже моих), которые позволяют оценить модель. Доходит до смешного: у некоторых сервисов две идентичные попытки дают разный результат.
Любит GPT списки!
Критерий от фонаря.
Я тоже структурирую всю выдаваемую информацию и люблю списки.
Посмотрел в зеркало - совсе не похож на GPT.
А вот обилие маркированных списков из одного элемента - довольно характерный признак.
Нормальный критерий. Он означает "GPT любит списки статистически значимо больше, чем средний человек". Возможно, вы не средний человек. Я практически в каждом запросе добавляю "Постарайся обойтись без списков". Это работает.
согласен, я тоже люблю перечислять все через списке, легче так объяснять что за чем идет, или основные моменты чего-либо.
Когда я пишу списки, они выглядят как нормальные предложения, часто в пассивном залоге, как принято в русскоязычной традиции со времен Эйлера. Они могут быть в повелительном наклонении, если я пишу инструкцию. Иногда они выглядят просто как перечни свойств. Они естественные.
Списки от ИИ выглядят так:
Именное словосочетание жирным шрифтом, двоеточие или тире, сложное предложение с большой буквы в present simple (только по-русски).
1. Временный характер проектов: Проекты имеют четко определенное начало и конец, что отличает их от операционной деятельности, которая носит постоянный характер.
2. Уникальность результатов: Каждый проект направлен на создание уникального продукта, услуги или результата, что делает его уникальным и отличным от других проектов и процессов.
Этот стиль узнается сразу же, никаких лингвистических анализаторов не надо. Лично у меня он вызывает эффект зловещей долины - вроде всё правильно написано, но веет мертвечиной.
Мне интересно, какие последствия будут от того, что такого контента в инете станет 99%?
В области обучения нейронок - придется быть очень консервативными в выборе материалов для обучения. А в социальной среде, наверное, произойдет возврат к личным рекомендациям и небольшим сообществам со строгой проверкой участников?
За последние 15 лет низкоквалифицированного и инфоцыганского технического контента в сети стало 99%
Если нейронки вклинятся, общий уровень инета должен повыситься.
Чисто математически
Люди все меньше и меньше будут читать лонгриды
Где-то была шутка про то, что одни модели генерят посты, другие - пишут под ними комментарии. Поэтому люди все реже будут что-то писать публичное и комментировать, Чего роботам мешать? ))
Это не шутка а огромная проблема будущего.
Если повредить главное что есть у человеческого социума - возможность к общению (замещение живого - не живым, контролируемым, т.е. однобоким и фильтруемым) можно получить его деградацию.
Как бы - а почему речь только про тексты?
Уже на практике - одни боты звонят, пробуют понять человек ли им отвечает или попасть на человека (чтобы не включать понапрасну нейронку), а другие боты принимают звонки и пытаются выудить у звонящих людей (или ботов) что они толком хотят то, чтобы сообщить своему пользователю что от него хотели. Звонящие при этом пробуют сопротивляться, не хотят говорить, говорят что они люди (может и люди но скрипт повторяется 1:1) и хотят с человеком поговорить, не получается? Скажем что плохо слышно и положим трубку а затем позвоним еще раз, с другого номера - вдруг в этот раз человек все же окажется. Принимающие обычно более менее честно говорят что не люди если прямо спросить и предлагают сказать что надо.
Вот и получается что если цель звонка - сообщить информацию а не поболтать - наиболее эффективно это...просто озвучить текст (возможно кастомизированный под получателя) и не слушать ответ. До получателя хоть как то дойдет если он вообще готов получить информацию. Хотя еще проще было бы - вообще не использовать телефон а прислать подробный e-mail клиенту и если уж хочется подтверждение и клиенту это тоже важно - попросить кликнуть ссылку.
Автор, всё это хорошо, но! Где слепой тест? Где его результаты? А нету. Поэтому пока все ваши выводы - чистые домыслы (хотя очень вероятно, что они верные). Нет, не дотянули вы до классического исследования и представления метода. ?
Готов привнести научную методологию - написать "положительный контроль". Статью, максимально закошенную под ГПТ, ну и с пруфами, хоть видео всего процесса, что я пишу ее руками.
А какой смысл максимально косить под гпт? Я тоже могу написать валидно, но похоже на гпт. Но это все еще будет очень сильно отличаться от средних моих статей.
Чтобы учесть некий заведомо "человеческий" компонент, который может ускользнуть от оценки.
Но конечно это будет иметь смысл, только если будут введены как чисто "гптшные", так и чисто "человеческие" признаки. И не по две штуки.
По-хорошему, нужно предложить несколько предполагаемых признаков и сделать receiver operator -кривые, показать, насколько признак дифференцирует две совокупности.
Всё так, это коротенькая статья, написанная на эмоциях :) Но я исследую вопрос продробнее и напишу еще одну статью :)
Насколько я знаю, даже у серьезных исследований в части определения "уровня генеративности" текста - те же проблемы. Все методы - личные домыслы и не тянет на доказательства. Так что пока задача считается не решенной. Более того, если тексты полностью написанные Жэпэтэ еще как-то можно определить (и критерии автора не самые плохие), то если оно проходит минимальную редактуру и дописывается человеком - всё, шансов определить сгенерированный текст почти нет.
Критерии для нейронок странные, по-моему.
Вы "бизнес-литературу" не читали?
Попробуйте натравить на какого-нибудь "Самого богатого человека в Вавилоне" свою программу, интересно, что она выдаст.
Практически со всем согласен, но в комментариях уже поднимали тему бизнес-литературы.
Подобный стиль открытия статей/книг появился в GPT не просто так. Если взять любую (ну ладно, каждую вторую) книгу американских писателей бизнес/психологической/социалогической/чегоугодно литературы, мы найдем бесчисленное количество таких анонимизированных и усредненных примеров.
Причины этого, насколько мне известно из объяснений некоторых авторов (не буду судить об их искренности) в необходимости сохранить конфиденциальность имеющихся примеров, при этом написать нужно все вчера. У нас это только приходит, копирайтеры заимствуют стиль, но не помню, чтобы это было популярно ранее. А на Западе многие канонические примеры есть и в ИТ - тот же Боб и Алиса.
По-моему, вы наступаете на те же грабли, что и любители чатботов.
Хороший текст — результат творческого акта. А «творческий» — это эмерджентное свойство акта. Оно не сводится к отдельным составляющим. (У нас пока нет теории творческого мышления, но его эмерджентность, по-моему, никто не оспаривает — по крайней мере, когда я ребёнком в 90-е читал о «китайских комнатах»/«тезисах Сёрла», их уже тогда высмеивали).
А это значит, что нет и принципиально не может быть никаких метрик, никаких маркеров. Я на спор напишу текст с максимальным содержанием «:» и «*», способный растрогать любого. Любая попытка найти такие маркеры означает, что мы отказываемся признать принципиальную роль автора как творческого существа, т.е. допускаем, что чатботы в принципе могут её/его заменить. В то же время результат генерации текстов без обиняков назван «плохим» (я бы и кавычки убрал). С таким глубинным противоречием научность работы не спасают никакие эксперименты и графики.
И снова скажу, что статья не про определение генеративности отдельной статьи, а лишь про серии статей, и основной маркер - именно однородность показателей и их средняя величина, которой в "нормальных блогах" достичь сложно.
"Мысль - это оргазм мозга. Кто не может испытать - имитируют." (с)пёрто в сети.
Согласно методике из статьи, половина статей в блоге Хабра написана нейросетями, хотя мы с коллегой (в основном в блог пишем мы) точно знаем что это не так (у нас есть гора гуглодоков с историей изменений, в которой каждая строчечка появляется последовательно, а не прилетает копиапастом из буфера обмена от чата с нейронкой; а потом ещё долго правится и тд). Даже не знаю, комплимент это в итоге или нет — что или мы пишем так плохо, что похожи на нейросетевой буллшит (ведь это основная претензия читатейлей к текстам от нейронок), то ли нейронки всё же так неплохи уже, что пишут неотличимо в ряде случаев от людей. Как бы там ни было, методика оценки из статьи (и критерии к тексту в ней) вызывает немало вопросов — вряд ли бы кто-то хотел ложиться на операцию к роботу, у которого подобная «точность работы», 50 на 50. Однако статья набрала высокий рейтинг — и ведь найдутся умники и умницы, которые будут транслировать выводы из неё и выдавать их за правду. Ну даже фиг знает... испытываю неловкость за коллективный разум! ))
Нет же! Наверное, нужно добавить это в статью - то, что GPT "показалось", что статья генеративная - не точный показатель, что она генеративная. А вот когда в блоге все статьи однородные и все похожи на генеративные - там вот показатель. Я уверена, что в блоге Хабра статьи писали живые люди :)
не прилетает копиапастом из буфера обмена
ну вот в моем случае она именно так и прилетает, из "блокнота" и потом долго правиться . наверное не только я так делаю.
С сервисами, которые определяют уникальность (для SEO), то же самое. Скармливаешь им нормальный текст, в котором ничего ниоткуда не скопировано, а они выдают уникальность 10-30% (wat?!)
Мы писали, мы писали…. Читателя ведь не процесс а результат интересует. На что обижаться? Что ваш выстраданный потом и кровью текст в итоге похож на выброс чата ГПТ? Бывает… То-ли у Марка Твена то-ли у О’Генри был рассказ как он с газетой сотрудничал и должен был регулярно юмористические рассказы писать. Поищите вам понравится.
Есть много признаков, которые выдают сгенерированный ИИ контент. Например, частое использование литературных слов и оборотов вроде "однако", тогда как на Хабре принят разговорный стиль. Деепричастные обороты в истории от первого лица. Калька речевых оборотов с английского, например "Я и коллега сделали" вместо "Мы с коллегой сделали". Идеальная расстановка запятых. Про слишком обобщенные фразы без конкретики уже говорили.
С другой стороны, есть куча признаков, которые скорее свойственны именно текстам от живых авторов на Хабре. Использование просторечий. Использование любых слов, образованных от названия сайта, типа хабрапользователи, хабрапост. И разные популярные фразочки, которые нейросеть вряд ли станет использовать, вроде:
Как-то сумбурно получилось.
От слова «совсем».
Поясню.
Еще раз.
Простите, накипело.
Ничтоже сумняшеся
Это мои наблюдения, не утверждаю, что я точно прав. Никакой пункт в отдельности ничего не гарантирует, но повышает вероятность. Ожидал увидеть в статье исследование, а не просто подсчет двоеточий и звездочек.
Было бы интересно взять хотя бы по несколько сотен точно авторских и точно искусственных статей и обучить на них нейросеть для классификации. Или хотя бы использовать TF-IDF. Или что-то другое из машинного обучения. А потом ждем расширение для браузера, которое будет делать пометки к статьям.
Где взять точно авторские статьи — отобрать вручную из популярных постов или просто взять посты, написанные несколько лет назад. Где взять точно сгенерированные статьи — отобрать вручную или просто сгенерировать свои.
Где взять точно авторские статьи
С большой долей вероятности авторские статьи, это те, которые опубликованы без плашки "корпоративный блог".
И разные популярные фразочки, которые нейросеть вряд ли станет использовать, вроде
«Авторы» иногда такие фразы вставляют для понижения градуса сухости статьи. Буквально неделю назад читал статью, пробираясь сквозь канцеляризмы, и вдруг «... чуть более чем наполовину...». Встрепенулся я, раскрыл слипавшиеся было глаза, а дальше снова «...в целях обеспечения производства работ было выработано продуктивное решение ускорить процесс развития...»
Но пока такие фразы помогают. Пригодились луркоязы, из-за которых раньше люто, бешено минусовали комментарии.
Точно авторские статьи можно взять где-то до 2020 года, с этим несложно. А вот точно генеративные...
Напомнило когда я писал совою первую "околонауучную" работу и мне прилетело за использование таких фразочек.
Вас оценили на 70 gpt
Сейчас БМЛы просто соберут признаки на которых они палятся и попросят GPT их не допускать.
Люди - "оёёй как это рабы посмели не устать?! нейронки понимаеш ли пользуют!"
Те же люди - "ой как тяжело живётся и работается - здесь мерой работы считают усталость"
А почему никто не рассматривает вариант, что статья может быть написана нейросеткой, но потом отредактирована человеком.
То есть, соотношение нейронка/человек - 80/20, например.
И чем это отличается, например, это компиляции 2-3 плохих переводов в 1 статью на русском?
И какие их этого следуют выводы? Мы все будет завалены нейороконтекстом - так вроде это КО. мы можем его либо не читать либо минусовать, что эффективнее?
Часто работаю с копирайтом и всегда проверяю авторов на честность.
Вот мои инструменты для детекта контента, написанного gpt:
https://quillbot.com/ai-content-detector
Это просто шедевр, прям подчеркивает строчки написанные ЛМкой, перефразированные и так далее.
https://app.gptzero.me/app
Данный инструмент тоже очень хорошо показывает по процентам, насколько вероятно текст написан с помощью ЛМ
Не знаю, возможно, эти сервисы работают только с текстами, написанными в контексте копирайтинга, но я решила проверить и загрузила туда свои заметки и тексты, только что сгенерированные ChatGPT. Оба сервиса посчитали, что 70% моих мыслей о пройденном дне сгенерированы, а вот для ChatGPT отметка была в районе 40% для типичных тем и 20–30%, если сначала рассказать ЧатуГПТ свое мнение на тему (по сути набор главных тезисов) и потом попросить из этого сделать статью.
Моя попытка засунуть текст прямо по статье сделанный (в Google Gemini Pro 1.5 через AI Studio) и переведенный на английский(то же Gemini) (первый тул сказал что русский не хочет).
69% процентов текста написано AI.
Вторая попытка: те же промпты, только не гугл используем а локально установленный KoboldCpp с https://huggingface.co/Lewdiculous/Poppy_Porpoise-1.0-L3-8B-GGUF-IQ-Imatrix (Q8_0). По мнению детектора - тут только 61% текста написано AI.
Однако.
Контрольная проверка - мой же текст (честно написанный мной и выложенный на СИ)+ перевод яндексом - 100% human
Попытка чуть изменить тему, опять Gemini 1.5 Pro, промпты не из статьи а:
"напиши статью про новейшие нанотехнологически словомельницы в блок на Хабр" и затем "переведи на английский". Результат - 100% human.
Я думаю что ИИ - не зло и не добро. Иногда оно помогает. Я честно признаюсь, использую нейросети чтобы разметить план статьи. План конечно меняется когда приступаю, ибо что то убираю, что то добавляю. Но это помогает увидеть примерно очертания статьи в голове.
Ну и также нейросеть нельзя использовать для вещей, где важны факты. Она может "накосячить" и получится белиберда. Ну и еще, обычно базы данных обновлены до 21-23 года, а значит, за этот год-два могло много что поменяться.
Поэтому лучше писать статьи самому - да, это трудозатратно, требует знания и умения, но зато вы даже сможете стать легендой хабра или просто платным редактором в корпоративных блогах.
А к большинству корпоративным блогам я отношусь положительно - все таки, людям платят, это стимулирует их делать качественные статьи. Но все таки это немного плохо влияет на контент хабра, т.к. некоторые люди в погоне за деньгами могут создавать плохой контент (ну, в статье все сказано). Поэтому с большой вероятностью авторская независимая статья может быть лучше корпоративной, но не факт. Есть также авторские статьи, которые созданы ради рекламы.
За время моего прибывания я понял - статьи, которые являются откровенно плохими, чаще всего лежат в черновиках.
Не буду обманывать людей, когда я только начинал писать на Хабре, я решил использовать нейронку для генерации пару абзацов. Правды ради, я скажу, что не просто вставил, а буквально переписывал. Конечно, статья улетела в минус, но все равно - негативный опыт тоже опыт.
Ну еще кстати стати иногда появляться нейро-комментаторы.
Спасибо автору за статью.
"Универсальный код речей" - в новой обёртке?
Хабр, GPT, корпоративные блоги и БМЛы: оцениваем глубины ужаса