PubPeer
Признаки копирования из ChatGPT часты не только в школьных сочинениях, но и в серьёзных научных изданиях. Речь не про недобросовестные журналы, готовые опубликовать что угодно за деньги. Как обнаружил Гийом Кабанак, такие проколы часты даже в журналах издательства Elsevier.
Большие языковые модели (БЯМ) дали миру сервисы по типу ChatGPT. Текст из этих чат-ботов распространяется везде. С помощью БЯМ школьники пишут сочинения, студенты генерят код, соискатели ленятся сами составлять сопроводительные письма. Технический прогресс коснулся в том числе и научных работ.
Google имеет несколько специализированных поисковиков, к примеру, по патентам и по научным статьям. В частности, по научным публикациям ищет «Академия Google» (Google Scholar), где одним запросом можно обнаружить грубо скопированные из ответов БЯМ фрагменты.
Наиболее злостных копипастеров ChatGPT в научных статьях уже находили. Самая известная фраза-сигнал — это «As an AI language model» («как языковая ИИ-модель»). Этими словами БЯМ предваряет отказ что-то делать или просто уточнение. По неизвестной причине в некоторых научных статьях эту фразу просто забывают убрать.
И действительно, если задать время поиска на «после 2023 года» и убрать из поиска статьи про БЯМ и ChatGPT, то находится 47 научных статей, где ни авторы работы, ни рецензенты явно не вчитывались в текст.
К примеру, проблемная фраза обнаруживается в статье «Metal Detection Using RF Controlled Robotic Vehicle». Статья опубликована в журнале IJRASET, который упоминается в известном списке Джеффри Билла, библиотекаря Колорадского университета, который каталогизировал хищнические издания.
«Как языковая модель с элементами искусственного интеллекта, я не имею доступа к каким-либо экспериментальным данным, поэтому не могу предоставить конкретные результаты механического обнаружения объектов и обнаружения металлов с помощью управляемых по радио мобильных робототизированных устройств. Однако я могу обсудить потенциальные преимущества и ограничения подобной системы.» Следующие за этим несколько абзацев, вероятно, написал ChatGPT. Metal Detection Using RF Controlled Robotic Vehicle
Важно, что в результатах поиска этой фразы всплывают так называемые хищнические научные журналы — такие издания, которые публикуют любые статьи за деньги. Модель академического издательства предполагает, что автор научной работы платит журналу за публикацию научной статьи. При этом хороший журнал саму научную статью оценивает. Хищнический журнал же проводит минимальное рецензирование или вовсе публикует всё подряд, поскольку издатель заинтересован только в заработке.
Как оказалось, такое попустительское отношение к качеству встречается и у известного издательского дома Elsevier. Гийом Кабанак [Guillaume Cabanac] обратил внимание на статью «The three-dimensional porous mesh structure of Cu-based metal-organic-framework…» [doi:10.1016/j.surfin.2024.104081] из серьёзного научного журнала Surfaces and Interfaces.
Дело в том, что иногда ChatGPT начинает свои сообщения утверждением «Certainly, here is…» («Конечно, вот…»), за чем следует собственно ответ на вопрос пользователя. Вот пример построения фразы: «Конечно, вот список императоров Древнего Рима, умерших ненасильственной смертью». Статья, которую нашёл Кабанак, содержит «Certainly, here is» во введении.
PubPeer
Фрагмент выглядит так, будто авторы не захотели писать раздел самостоятельно, поэтому попросили БЯМ сочинить несколько вводных абзацев на заданную тему. Хотя факт копирования сразу внушает недоверие, возможно, что остальную статью писал не ChatGPT. Авторами указаны исследователи из Китайского университета наук о Земле (China University of Geosciences, Пекин) и Университета Ханчжоу Дианзи. Легко предположить, что авторы просто не владели английским языком в достаточной мере.
Как бы то ни было, нет объяснений тому, как подобные странности не заметили рецензенты, редакторы и наборщики журнала.
Как рассказывает Гийом, он уже не впервые натыкается на артефакты БЯМ у Elsevier. Ещё в мае 2023 года в статье «Experimental study of solar PV/T panel to increase the energy conversion efficiency by air cooling» [doi:10.1016/j.matpr.2023.05.007] из журнала Materials Today: Proceedings Кабанак заметил в конце текста скопированную надпись кнопки «Regenerate response» («Повторно сгенерировать ответ»). Это элемент веб-интерфейса ChatGPT. Прошло уже 9 месяцев, но статья так и висит без изменений.
PubPeer
Также в начале этого месяца Гийом указал на извинения БЯМ в конце научной статьи «Successful management of an Iatrogenic portal vein…» [doi:10.1016/j.radcr.2024.02.037] из Radiology Case Reports. Этот журнал тоже принадлежит Elsevier.
На данный момент на сайте PubPeer собраны 84 примера, в которых ни один рецензент не заметил явные признаки копирования из ChatGPT в научную работу.
