Комментарии 87
Никогда не понимал графомании этих жпт. Их специально учат так отвечать? Или просто не могут научить отвечать лаконично?
Они же цепи слов генерируют (причём из шума) , а не думают. Сгенерировать длинную цепь, которая в целом соответствует заданным критериям намного проще, чем короткую. В длинной цепочке модель в некотором роде "накидывает всякого, лишь бы общее направление выдерживать". В результате шум и мелкие галлюцинации теряются на общем фоне. Об этом в статье и говорится: в сгенерированном тексте всегда присутствуют элементы шума и галлюцинаций. А попытки избавиться от них при обучении неизбежно приводят к переобучению модели, шаблонным ответам, росту случаев генерации бреда/галлюцинаций и т.п. Потому и учат их на длинных текстах, и сами они, соответственно, склонны такое же генерировать. И в целом это пока выглядит как органичение технологии.
Все как у людей, у которых они и учатся.
Студент и блохи
Студент сельхоза выучил на экзамен только строение блохи. Тянет он билет — а там строение собаки. Вот он и начинает:
— Собака — животное на четырех лапах, покрыто шерстью. А в шерсти водятся блохи…И дальше про блох все что знает.
Препод: — Ладно, ладно. Расскажите нам о строении коровы.
— Ну, корова, это животное на четырех ногах, питается травой, покрыто шерстью. А вот в шерсти водятся блохи, ну и дальше по тексту.
— Ладно, хватит. Расскажите нам тогда про строение рыбы.
— Рыба живет в воде, шерсти у нее конечно нет, но вот если бы она у нее была, то в ней обязательно водились бы блохи…
Можно добавить в конце промпта «напиши ответ одним абзацем не длиннее 50 слов», и нейронка выдаст лаконичный ответ.
Хороший вопрос. У них слабые вычилительные мощности для создания плотного и ёмкого, или как сказал автор, коллорийного текста. Более того, LLM "сомневаются" в том, что отвечать надо коротко. Другими словами, пока у LLM мало речевой гибкости, сложного совмещение речевых конструкций. Это преодолимо.
P. S. Попробуйте сделать цепочку преобразования через суммирование характеристик содержания предложения без увеличения размера этого предложения путем изменение оборотов. ЧЕЛОВЕК справится, LLM нет. У них нет самостоятельного опыта и мощности. Если попросите, дам пример.
Ты диплом писал когда нибудь?))
Специально учат. Если у GPT-хов всяких спросить "Напиши алгоритм сортировки пузырьком", он выдаст рабочий алгоритм с комментариями и к нему историческую справку и напоминание в проде так не делать. Повеление выдать только код работает, но не всегда, и не избавит вас от комментариев.
Тот же DeepCoder на это выдаст только голый код с однобуквенными названиями переменных. Потому что DeepCoder предназначен быть автодополнением в редакторе, а не говорилкой. Он может нехотя дать объяснение, но только если прямо повелеть.
У каждой LLM есть свой собственный стиль речи.
Из моих экспериметнов, Llama3 и Yi 1.5 Chat (Китайская нейросеть) говорят совершенно по разному, так как тренированны на разных датасетах, хотя архитектура одинаковая.
Кажется, что всё это, можно обойти с правильным system prompt, попросив LLM использовать (или избегать) определённый стиль. Просто люди ленивы и не заморачиваются, а ChatGPT - самая распространённая модель.
Возможно это тянется от манеры подачи информации в США.
Неоднократно наталкивался на американские телепередачи именно для американцев: про одно небольшое событие умудряются снять передачу минут на 50, в который сначала закадровый голос всё расскажет, потом десяток очевидцев расскажут всё тоже самое, да ещё и в перемешанной нарезке, как бы подтверждая друг друга.
Потом опять закадровый голос всё повторит, ещё и нагнетая что "запомнится на всю жизнь".
Моё техническое общение с инженерами из США и Израиля было небольшим, но оставило такие-же ощущения: им необходимо обязательно всё подробно проговорить, до мелочей.
Возможно они подстраховывались общаясь с плохо говорящим по английски "дикарём" из России, но в письмах такой стиль мне не встречался, только устно.
Попробуйте in-prompt learning, покажите в системном промпте пример ответа машины и ответы живого реддитора в количестве 3-4 примеров, и затребуйте чтобы он ответил как реддитор.
Это текст про самые простые методы выявления текстов от БЯМ. Писалось в пять предложений в чате для человека, который видел очевиднейшее творение ИИ, но ничего необычного не замечал. Затем объём немного разросся, и вот уже на чтение нужно минут десять. Возможно, кому-то ещё пригодится.
Я не сомневаюсь, что можно обмануть кого угодно, если постараться и подключить продвинутые техники промптинга, у названия которых даже перевода на русский нет. Но мне хотелось помочь выявить хотя бы самых ленивых копипастеров ChatGPT.
in-prompt learning отлично работает, проверяли
авторский стиль ТГ-поста среднего качества и размера вполне воспроизводится
но на автомат полагаться не стоит, надо вычитывать и тюнить промпт. особенно при смене версии модели.
кроме того:
- в случае с русским языком — подозрительное количество англицизмов и фраз, по своему синтаксису явно рассчитанных на английский язык ("это было..." в начале предложений; изобилие отглагольных существительных с суф. -ени- и -ани- как следствие бездумного перевода)
- слишком равномерный и однообразный синтаксис: не слишком коротко, не слишком длинно; сложные предложения не более чем с 1-2 придаточными; коротких предложений мало;
- крайне редко используются чуть менее распространённые синтаксические конструкции — разные выразительные тире, авторские интонационные скобки (в неожиданных местах предложения), однородные причастные и деепричастные обороты или придаточные предложения; вводные, скажем, слова в нестандартных позициях и т.п.
Карты Шухарта - универсальный инструмент 😂
В данный момент мы действительно можем выделять такие слова-маркеры. Но что любопытно - даже если модели не доработают напрямую на элиминацию маркеров, люди-то с нейронками в своих головах, читая контент, сгенеренный такими моделями, тоже начнут применять эти слова и обороты.. Норма языка усреднится за счёт тех, кому доверили обучить нового, но общительного носителя - БЯМ.
Попробовал ради интереса задать вопрос gpt-4o с подпиской plus на сайте chatgpt.com:
"Какой максимальный дефицит калорий не приведет к снижению уровня тестостерона?"
Получил ответ:
"Максимальный дефицит калорий, который не приведет к снижению уровня тестостерона, обычно составляет около 15-20% от общего суточного калоража."
У живых редакторов и корректоров тоже есть свои списки излюбленных слов и оборотов, так что ничего нового. А уж научные статьи целыми коллективами пишутся по одному шаблону десятилетиями - как в приличном журнале удалось одну опубликовать, так и будут на ее основе публиковаться, пока последний из былой команды на пенсию не уйдет, на этом фоне вариативность языковых моделей как у автора бестселлера против графомана-зануды. И да, я еще не встречал упреков про недостатки нейросетей от людей, кому "посчастливилось" с человеческими издательскими коллективами работать.
Как несомненное достоинство вашего текста - верные выводы в конце.
*
Но в целом - вы взгляните со стороны - речь о примитивах. Кому нужно ловить школьников в списывании у ИИ (первая часть)?
*
Второй вообще крайне спорный. ИИ ведет себя как воспитанный человек и пытается отвечать полно и развернуто. Современное сетевое общение совсем не такое. Т.е. разница вообще очевидна сразу. Только кто сказал, что отрывистые реплики из англицизмов - это хорошо? Это, кроме прочего, зависит еще от цели диалога. Замечу еще, что тут вы не удержались от неуместного, нма, кокетства. Какая "клорийность"? если есть "содержательность", "осмысленность" и много чего еще.
*
Третий о самом главном - о смыслах. Нмв, это главная проблема. БЯМ просто глупы. Хуже того, они еще используют дурацкие штампыв из человеческой речи, почему-то полагая, что это ответ на вопрос. Но это-то ладно, они не понимают смысла и не могут строить сколько-нибудь содержательные связи между сущностями (не говоря уже о категориях). Это делает их беспомощными в философских, например, диалогах.
*
Вот характерный пример ответа ИИ: "Именно этот иррациональный характер веры делает ее фундаментом для дальнейших рациональных построений."
Сразу ведь и не поймешь, что он сказал и в чем ошибки. "Фундамент" - это вообще непонятно откуда и зачем, точнее "основание" (в контексте пары "основание - причина"). А уж про диалектику иррационального и рационального у него вообще странные представления. Только осознать это непросто, нужно самому понимать такие вещи.
*
ИИ может генерировать новые смыслы на самом примитивном уровне, уровне комбинаторики из простых элементов. Какая-то из комбинаций может оказаться удачной. Но собственно смысла ИИ не понимает.
*
Из сказанного следует, что тему нужно в промптах (вопросах) рассматривать с разных ракурсов и в разных выражениях. А полезное извлекать только путем собственных мыслительных усилий. Цитировать/использовать ответы не получается никак.
*
ИИ выкручивается за счет стандартного психотерапевтического приема - он зеркалит слова пациент собеседника. Причем в льстивой манере. Ведь так приятно видеть свои слова, да еще с похвалой. Но при этом очень быстро достигается цель диалога - собеседник получает то, что (подсознательно) хочет слышать.
*
Что мне осталось неясным - это про стилистику ИИ. Если есть технологии создания дипфейков, то что мешает ее прикрутить к обычной LLM?
*
Я уже тут писал в других комментах: ИИ - это справочная (с обязательной проверкой) и ассистент, спарринг-партнер.
С появлением следующего поколения LLM — Gemini 2, Grok 3, GPT-5, Claude 4 — это всё будет нерелевантно. А выйдут они через 3-6 месяцев.
А какую ответственность автор несёт за этот текст?
В последнее время интернет наводнили тексты, которые невозможно читать и слушать - жуткое резонёрство, бред, куча режущих глаз и слух оборотов, не используемых в языке и "нечеловеческих" ошибок всех видов. Очень распространённые тексты от каких-то примитивных БЯМ распознаются беглым и "невооружённым" взглядом.
Рунет уже как 10 лет искать невозможно из-за засилия копирайтерских морей и океанов. Это безотносительно ухудшения поисковиков по конкретным запросам имея ввиду определенную выдачу или статью. Как по мне, мы и так уже по локоть увязли, разницы почти никакой.
Нужен какой-то другой "репутационный" интернет поверх обычного, по аналогии с сервисами рекомендации. Каждый человек выбирает себе "авторитетов" (и можно рекурсивно дальше - следующие авторитеты (второго порядка), которых признает твой авторитет).
Тогда статьи-сайты-страницы, которые никому из близких тебе людей (допустим, читателей хабра) не интересны - тебе тоже не будут показываться.
Или выбирать разные такие вот "маски". Сейчас я в рабочем настроении - у меня одна "призма", я хочу видеть сайты, которые одобрили ITшники с хабра. А через час нажал кнопочку, переключился в режим отдыха и тебе сиськи-котики-мемчики прямо на твой вкус.
Проблема, кмк, одна: невозможно будет обеспечить анонимность друзей рецензентов.
В любом случае, такая сеть - принцип белого списка. Мне кажется, черный список сделал бы то же: централизованно собираемым фильтром (типа adblock) можно было бы вырубить топ говносайтов в поисковой выдаче и этого бы хватило. Подписка на фильтры по языку и по желанию авторские фильтры.
Черный список был бы эффективен сейчас, когда таких сайтов относительно мало. А если вдруг появится ЧС и он станет популярным, то вместо одного говносайта (который попал в ЧС) тут же сделают еще 10. Или заранее сделают.
Честно, их уже и так не перебанить. Я подразумеваю ограниченность списка этих сайтов, потому что только очень малая часть должна иметь высокий SEO и перебанив верхушку айсберга не обязательно лезть глубже. Может быть. Увидим.
Надо будет посмотреть, что там за актуальное расширение для персонального бана поисковой выдачи и докрутить описание "почему бан/черная метка" и синхронизацию с чужих списков. Возможно придется поддержку для Яндекса добавлять самому.
Частично это можно решить улучшением поисковиков. Например, Яндекс знает на какие ссылки вы кликали, и, возможно, сколько времени на них проводили. Если на сайте Яндекс метрика есть - то и что делали на самом сайте.
Этой информации уже достаточно, чтобы догадаться о предпочтениях пользователей и полезности тех или иных страниц.
Но, к сожалению, это не единственная задача поисковика - кроме "хорошей" выдачи надо ещё показать рекламу, не показать "запрещённые" сайты, продвинуть "нужные" сайты и при этом потратить не слишком много ресурсов на процесс поиска, потому что это расходы.
Так в гугле уже давно такое, не?
Нейросети прилично генерируют текст, они рассыпаются на больших объемах текста, так как неспособны удерживать и развивать мысль.
Пока что неспособны.
Как отвечает человек? Да хоть вот так:
Не находись в дефиците калорий. Если у тебя дефицит калорий, твой уровень тестостерона в анализах будет ниже. Это ожидаемо.
Если спрашивать человека напрямую - то да. Если у него не стоит задача запудрить вам мозги - то никто не будет распыляться тысячей слов если можно ответить коротко и по существу.
А вот если искать ответ в интернете... то, либо у нас с автором разные интернеты, и у него премиум подписка с блекджеком и плюхами, либо ему очень везёт. Потому что в моём интернете при попытке найти ответы даже на примитивные вопросы типа "рецепты блюд из риса", в ответ получаешь следующее:
Рис является одним из важнейших продуктов питания уже много тысяч лет. Всё это время рецепты с рисом умножались и совершенствовались. Приготовление риса особенно хорошо освоили в Азии, где он является традиционной злаковой культурой.
И далее ещё тонны такой же воды. И что интересно, тексты эти писались задолго до появления БЯМ. А вот модели как раз на этих текстах и тренировались. Так что можно сказать спасибо SEOрастам за то, что нынешние GPT отвечают как студент, которому нужно свой диплом раздуть ещё на 20 страниц.
Да да, меня ещё в 2017 учили так писать для SEO. Виноваты во всём гугл/яндекс. По факту сайты с пятью абзацами воды находятся в поиске, а с однострочным ответом - нет. Собственно, здесь та же проблема, что с ИИ, что алгоритмам нужны более-менее длинные цепочки, чтобы сгенерировать какие-то коэффициенты и веса.
Возможно виноваты СТАРЫЕ гугл/яндекс, которые просто "грепают" слова и делают map/reduce. Ну они и не могли лучше понимать, инструментов не было. А сейчас, может и поисковики научатся как-то осмысленнее понимать смысл страницы.
Мне кажется, поиск устроен так, что сначала индексируются некоторые сущности, потом им присваиваются некоторые веса, и выбирантся наиболее релевантный. А слишком короткие тексты не являются сущностью, так как не обладают достаточной уникальностью. Это как поиск по ключевым словам - бессмысленно индексировать предлоги и союзы, их слишком много вокруг. Слово должно иметь достаточную длину и не слишком высокую частоту употребления, чтобы по нему можно было искать. По той же причине поисковым машинам сложно ранжировать сайты, где мало текста.
Это, конечно, не единственное и не главное правило SEO. Если сайт корректно свёрстан и оптимизирован, находит хороший отклик у аудитории, своевременно обновляется, имеет хорошие входящие ссылки и так далее - пустая вода в текстах не нужна. Но для большинства ширпотребных ресурсов в интернете нужна.
Мне кажется, в примерах со сравнением реального текста писательницы и сгенерированного ответа не все так просто. Вы несколько раз приводите собственную интерпретацию текста и на основе неё уже делаете вывод, сгенерил это БЯМ или написал человек.
Например:
Дальше какой-то полубред. Представлен сравнительный оборот «как подушки на её диване». Диваны так и устроены, что их подушки собраны в определённом порядке. Или речь про маленькие декоративные подушечки?
Разве не может быть такого, что это просто автор посчитал нужным использовать такое сравнение, и оно непонятно конкретно вам?
Или:
Идёт странноватый переход из «practical» в «organized». Это не совсем синонимы. Иногда практичен беспорядок.
То есть вы ожидиаете, что человек будет в 100% случаев использовать абсолютно логичные сравнения и переходы, которые имеют смысл во всех возможных жизненных обстоятельствах?
Дальше:
сразу хочется остаться и выяснить
Мне показалось, что хочется выяснить потому, что в варианте от человека просто больше деталей, больше самого текста и описываемое действие легко можно представить в воображении и на какой-то время удержать внимание читателя. БЯМ просто сгенерировала короткий ответ. Если он окружен текстом с такими же деталями, я не вижу в этом проблемы.
Возможно, я плохо начитан, но во всех трех случаях определить человек это написал или нет, крайне сложно, если вы не хорошо знакомы с творчеством пистаельницы, чьи тексты вы сравниваете. И если это были не отрывки по несколько предложений, хотя бы страницы, то было бы гораздо проще.
Со всем остальным в статье согласен, было очень интересно почитать!
Крайне спорная статья. Крайне спорные маркеры. Автор пытается подогнать решение под ответ.
Все эти тонны воды, графоманство, напыщенные, нечеловеческие конструкции, не несущие никакой смысловой пользы предложения, излишнее употребление слов типа crucial были в изобилии в статьях, книгах, научных работах и т.д. задолго даже до массового появления Интернета (не то, что возникновения OpenAI)
Недавно читал книжку, выпущенную в 2006 году. Знаете что, если бы она вышла в свет в 2024 году, я до хрипоты спорил бы, что ее написали при помощи ChatGPT!
Мне это напоминает нынешнюю истерию в шахматах по поводу читерства. Современную охоту на ведьм. Сейчас всех и каждого подозревают в компьютерных подсказках. Стоит мастеру спорта переиграть гроссмейстера - и победитель под колпаком подозрений. Стоит какому-то невыдающемуся игроку ударно провести партию - и всё, он читер!
"калорийность текста" это прекрасно! Я погуглил даже - вторая ссылка это эта статья. А первая... "Набор текста на клавиатуре в быстром темпе: расход калорий". )
Какой максимальный дефицит калорий не приведет к снижению уровня тестостерон? Ответь понятным школьнику ответом. Ответ:
Чтобы не снизить уровень тестостерона, можно есть чуть меньше обычного, но не более чем на четверть меньше того, что тебе нужно каждый день.
Где тут БЯМ??
"Вечернее солнце медленно опускалось за горизонт, окрашивая небо в багровые и золотистые тона. В воздухе витал запах свежескошенной травы, смешанный с ароматом цветущих яблонь. На крыльце старого дома сидел Иван, задумчиво глядя вдаль. Его мысли блуждали где-то далеко, в прошлом, где всё казалось проще и понятнее. "Эх, времена были," — пробормотал он себе под нос, вспоминая, как в детстве бегал по этим же полям, не зная забот и тревог. Тогда казалось, что весь мир открыт перед ним, и каждый день приносил что-то новое и удивительное. Скрипнула калитка, и на дорожке появилась Мария, его соседка. Она несла в руках корзину с яблоками, которые только что собрала в саду. "Привет, Ваня," — сказала она, улыбаясь. "Вот, решила тебе немного принести, свежие, только с дерева." Иван поднял глаза и улыбнулся в ответ. "Спасибо, Маш. Ты как всегда вовремя. А то я тут совсем заскучал." Они посидели вместе, разговаривая о том о сём, пока небо не потемнело, и первые звёзды не зажглись на небосклоне. В такие моменты Иван чувствовал, что жизнь, несмотря на все её сложности, всё-таки прекрасна. "
Угадайте, это нейросеть или человек? Гигачек от Сбера точно определил, но я бы сходу не сказал так...
Мороз крепчал (ц)
Я думаю, это человек. Слишком много пасхалок. Как минимум, цветение яблонь, сенокос, сбор яблок - это слишком разные периоды.
Хотя возможно и галлюцинации.
вот в том то и прикол, что это ChatGPT 4o)) хотя и правда похоже на человека, по крайней мере, следуя критериям данной статьи... интересно, что Гигачек безошибочно определяет, что это нейросеть, даже если немного подредактировать текст. Так что видимо критерии у этих чекеров совсем иные, как говорится, рыбак рыбака... ну то есть нейросеть нейросеть видит издалека)
А промпт был такой: "напиши отрывок художественного текста на любую тему, но так, чтобы он был максимально не отличим от написанного человеком, попробуй обойти систему проверки текста (которая проверяет написан ли текст человеком или ИИ). Добавь немного грамматических, синтаксических и орфографических ошибок, просторечных или наоборот, сугубо книжных, выражений, максимально имитируй настоящего писателя, старайся выражаться лаконично"
Ну так то и живой писатель может включить встроенный бредогенератор и гнать текст килобайтами. И будет ему пофиг на то что одновременно и мороз крепчал, и яблоки цвели, и ружье выстрелит прямо по роялю в кустах.
В этих интернетах невозможно угадать, кто на самом деле дебил а кто прикалывается (ц)
Они его и не выключают. Зайдите на сайт графоманов.
Можно довести ситуацию до абсурда)) Этот текст написал человек, используя пару слов триггеров. В итоге AI детектор считает, что текст написан нейросетью.
Парень и девушка гуляли по проселочной дороге. Солнце скрылось за горизонтом, и на небе появились первые звезды.
— Смотри, падающая звезда, – указала девушка на небо.
Парень посмотрел на звезду и загадал желание.
хм, занятно... я даже не могу понять, какие слова тут триггеры, вполне себе отрывок из школьного сочинения или любительского рассказа, например. А детектор говорит что нейросеть)
Я так понял, что это всего лишь демо. Возможно, в финальной версии разработчики добавят информацию о том, на что именно реагирует детектор и по какой причине.Триггеры в данном случае представляют собой простые и распространенные слова, а также избитый сюжет. Например, парень, девушка, вечер, прогулка и т.д. Эти триггеры можно частично заменить синонимами и разбавить эмоциональной окраской. Кроме того, стилистические и грамматические ошибки придают тексту более естественный, человеческий вид.
Пример 1
Парень и девушка гуляли по проселочной дороге. Солнце скрылось за горизонтом, и на небе зажглись первые звезды.
— Смотри! Падающая звезда! – неожиданно воскликнула девушка.
Парень глянул на небо и загадал желание.
Пример 2
Парень и девушка гуляли по проселочной дороге. Солнце скрылось за горизонтом, и на небе зажглись первые звезды.
— Смотри! Падающая звезда! – неожиданно указала девушка на небо.
Парень глянул на небо и загадал желание.
Загрузи весь мой комментарий целиком в AI-детектор.
С чувством времени ЧАТ'у еще нужно учиться.
Человек с яблоками наврядли сделает ляп и если они только цветут, то не могут их уже собрать... раве что размышление заняло вечность
Забавно, что автор пытается переиграть статистическую машину статистикой. Что ж, в текущем поколении это пока работает, странности LLM слишком очевидны. Хотя, как мне кажется, машину выдаёт именно стиль, длинные связные предложения, а не отдельные слова вроде crucial и significant.
Т.е. по мнению такого верификатора человек не может уметь в "длинные связные предложения ", и "Войну и мир" написал Искусственный Идиот?
Речь про распознание текста, который получен от пользователя. В том и суть, что человек не будет писать "Войну и мир", а ИИ на "Войне и мире" учился.
В том и суть, что человек не будет писать "Войну и мир"
Но ему эту "Войну и Мир" демонстрировали в качестве примера хорошего текста. В результате все эти простыни от ИИ теперь воспринимаются как таковые. Ну а что, гладко и грамотно же. Нужно срочно отучаться от этой склонности.
Да не же. Нынешний телеграфный стиль предполагает, что сообщается наиболее важный фактор. А остальное получатель сообщения типа уже знает и додумает. А поскольку получатель полагает вещателя априори дурачком, начинается разборка.
Если вы вступаете в коммуникацию, то информации д.быть необходимо и достаточно. Иначе не надо вступать...
Да не же. Нынешний телеграфный стиль предполагает, что сообщается наиболее важный фактор.
Речь идет не о сообщениях. А о вбитых в школе рефлексах, что если текст такой вот длинный и красивый, то хороший и даже умный. Ну и собственные тексты натаскивают так писать. Я хотел бы посмотреть, что поставят школьнику, который все нужные мысли оформит в виде списка пунктов, без лишней воды и красивости.
Плюс вот эти все "что хотел сказать автор?". C многочисленными вариантами трактования. По сути, большую часть изучаемых произведений нужно сейчас приводить в качестве примера "Дети, не надо так. Не поймут и читать не будут." Ну ладно, можно использовать в качестве упражнений для выжимания смысла из воды.
Пусть на твиттере учится )))
В том и суть, что человек не будет писать "Войну и мир"
8( ) Т.е. появление второго Л.Н. Толстого исключается в принципе?
Разве? Машина же умеет имитировать стиль.
На примере с рисунками напротив, отличать нейронку по стилю - бесполезное занятие, так как при желании она сымитирует тебе все что хочешь, от Малевича до Ван-Гога.
Можно, конечно, научиться детектировать "дефолтный" стиль Midjourney, например, но и он меняется с каждой версией нейросети, точно так же как стиль Stable Diffusion зависит от конкретной сборки.
Отличать же нейросетевую картину от человеческой получается из-за артефактов, например всем известная проблема с пальцами. Сейчас, в текстовых нейросетях, роль "пальцев" играют редкие слова. Можно научиться определять стилистику дефолтного GPT4, но увы стоит ему приказать имитировать другой стиль... или просто выйдет новая версия бота - и такой способ детектирования мгновенно станет бесполезным.
Лично мне кажется, что уже прошли те времена, когда за один взгляд можно было определить творение нейросети от человека, потому что раньше на стороне ринга Нейросетей бились Порфирьевичи и GPT3, а сейчас уже натасканный Сонет 3,5 и ты ХРЕН определишь его на отдельном абзаце текста. На странице текста - да, определить нейросети уже можно, но и то благодаря смысловому наполнению текста, но не благодаря стилистике.
Стилистку они уже имитируют достаточно пристойно, чтобы маскироваться под человека.
PS: К слову.... А этот комментарий написал человек или я просто попросил нейросеть сформулировать и аргументировать мои мысли?
Как знать....
Автор говорит про просачивание английской грамматики и слов в русский в БЯМ, а я вот никак не могу на русский перевести заголовок. Где мы обнаруживаем? Он потерялся? Или он прячется? Детектировать, заподозрить авторство, отличить, различить, разоблачить - выбирайте любой другой глагол.
Во вступлении "определять текст", но в такой грамматике это вообще не то значение, которое имел в виду автор. Вероятно имелось в виду "определить, что текст написан", а в текущем виде это скорее дать определение тексту, чем детектировать.
У меня у одного ощущение, что это мета-пост-троллинг? Что сама статья написана БЯМ?
Может быть, и не у Вас у одного. Но такая "шутка" становится уже настолько "бородатой", что уже не очень-то и "работает". ;-)
Хм, а ведь и правда. Проверил по вступлению. Сайт https://www.zerogpt.com/ говорит что таки 0% ИИ в тексте
Аналогично, до последней строки ждал, что появится сноска, про авторство БЯМ, так как статья соответствует практически всем признакам, которые перечисляются в тексте)
Но с другой стороны, это же Уроборос, когда ИИ учится на текстах, которые годами подстраивали под формальные требования учебных, научных работ, маркетинговых презентаций, потом под поисковые системы, ограниченные форматы микроблогов, да даже художественные - живые люди в принципе не разговаривали таким образом. До появления автопереводчиков типа промта. Сейчас уже и в живом разговоре (в том числе письменном) не редкость услышать дословную кальку с английского и к месту и нет (что, кстати, есть и в примерах статьи), чем пополняется запас материалов обучения, устремляя его в сингулярность упрощений и шаблонных фраз, за которыми теряется смысл высказывания наполняя его бессодержательностью. А этими результатами пользуются для обучения, написания новых статей и дальше по замкнутому кругу.
Недавно читал статью про генерацию изображений, там примерно ту же проблему описывали применительно к ее обучению: старые проблемы типа кривых рук сохраняются, но добавляются новые в виде совсем уж явных артефактов, потому что модель продолжает учиться на увеличивающимся доступном материале, который создавали другие модели со своими проблемами.
Так вот, имхо, если в интернете не первый день, и уметь отличать маркетинговые джинсы от условного Татьяныча, то и содержательную статью от сгенерированной отличить будет возможно чисто интуитивно, как бы модели не улучшали. Хотя прочитать придется их обе целиком (это обязательное условие, вырезки и цитаты можно как угодно преподнести) и учитывая возможные контексты. Другой вопрос, что читают все больше по диагонали.
Лично меня сильно удивляет то, что всё сильно переворачивается с ног на голову. Зачем нужно искусственным образом писать текст? Да, иногда это и может потребоваться. Сделать подходящий обзор, например. Но действительная задача — это анализ внутренней структуры некоторого заданного текста, то есть — его смыслового наполнения. Задача порождения текста — это, лишь, малая часть того, что нужно... А все эти "эксперименты" убеждают, лишь, в том, что большая часть того, что пишется и печатается, имеет невысокое качество. И все эти языковые модели это хорошо выявляют. А нужно-то совсем противоположное, а именно — фильтр, который позволит отсеивать тексты низкого качества.
Основная проблема как раз в обучении людей. Где учителям приходится проверять какие то тексты, а не знание и понимание предмета. Сама эта идея уже устарела еще до появления gpt
Да какая разница, кто или что писало этот текст. Это же просто повод потрындеть об актуальном.
Да, удивительно, каких странных вещей хотят юзеры от ИИ. Уму собачьему не постижимо...
Если о серьезном, то вспомните, чем выпускник МГУ отличается от выпускника MIT. И чем от выпускника областного пединститута. Учителя разные. Чтобы ИИ умел мыслить, его должны учить люди выдающегося уровня. Хотя бы М. Мамардашвили, а лучше Bertrand Russell Которые этим заниматься не станут. Плюс проблемы "перевода" знания таких людей в алгоритмы ИИ.
БЯМ хороши как ассистенты. Ни в коем случае нельзя доверять им писать фрагменты длиннее абзаца
Вот подпишусь. Надо мысль в один абзац упихнуть. Так криво, эдак не по-русски.
Загнал в 3.5 свои варианты, запросил варианты "повтори, но лучше" - выдал ахинею. Но слова в одной выдаче оказались удачно составлены - поправил и задача решена.
Начитанный болван, не отнять!
Я прочитал только про тестостерон. Мне понравился ответ. Я бы не назвал его "водой". ИИ дал неплохое описание ситуации. Понятно в каком направлении дальше двигаться, если тема вас интересует. Для ИИ довольно опасно давать рекомендации медицинского характера - желающие заняться самолечением могут слишком вдохновиться
Убрать характерные слова и словосочетания от БЯМ.
Вылить из текста «воду». Резать придётся много.
Отредактировать формат, промптить смысл написанного вручную, брать только удачные фрагменты.
По-моему, это все делается агентом на раз-два. Сам агент собирается из пары запросов тоже на раз-два. Если уж ты заморочился писать длинный текст, который будут проверять, то такая обработка не будет проблемой.
Не тестировал языковые детекторы, но по картинкам они работают только когда ты им даешь ИИ-изображения. То есть, если сфотографировать свои грязные носки, то их тоже радостно причислят к высокотехнологичной ИИ-генерации
Все классно, но вот этого делать ни в коем случае нельзя!
Лично я рекомендую просто задавать вопросы, на которые никто другой не ответит или которые не находятся в справочниках.
Какую информацию выдаст LLM на вопрос на который мало ответов? Ту которую найдет, потом создаст веса для ответов и выдаст тот про который чаще написано (спрятав остальные варианты). А где гарантия что ответ правильный? Увы.
У меня классический пример про мое направление. Интересно - когда выдастся правильный порядок изучения фигур в шахматах? Вопрос то простой - "в каком порядке легче всего детям изучать шахматные фигуры". Пока я ни разу не получил правильного ответа, хотя про него еще Капабланка писал. но увы - все ориентируются не на детей, а на спортсменов. А это не то :-(
Мы как-то пробовали проверять эти онлайн-детекторы. На момент проверки нормально они ничего не детектили. Вообще высокая погрешность. Часто дают ложноположительные ответы - на человеческие тексты.
Вообще когда ставится вопрос так "текст сгенерированный LLM vs человеком", то существует предубеждение, что у первого всегда низкое качество, а у второго высокое. Что в принципе неверно. Низкокачественными могут быть те и другие. Это скорее вопрос рецензирования, вычитки и правки.
ps
Временами приходится работать с одним известным издательством, выпускающим книжную продукцию. Там книги печатают, не то что статьи в инфосайте. А даже в печать иногда уходит такое Г. Редакторы нередко вычитку проводят наплевательски. Ошибки пропускают, даже грубые. А ведь это их работа, на которую они учились. Напечатали, а уже поздно что-то править. Девочки сидят лет по 25 - поколение ЕГЭ. Так что все это очень относительно. К человекам тоже есть много претензий в плане качества выпускаемых текстов.
3 самых очевидных способа вручную обнаружить текст от большой языковой модели