Как стать автором
Обновить

Тезисы, написанные ChatGPT, обманывают ученых

Время на прочтение3 мин
Количество просмотров6.5K

Исследователи не всегда могут отличить статьи, созданные искусственным интеллектом, от оригинальных.

Согласно препринту, опубликованному на сервере bioRxiv в конце декабря, чат-бот с искусственным интеллектом (ИИ) может писать такие убедительные аннотации научных статей, что ученые часто не в состоянии их распознать. Мнения исследователей о последствиях для науки расходятся.

С момента появления ChatGPT исследователи боролись с этическими проблемами, связанными с его использованием, потому что большую часть его результатов трудно отличить от текста, написанного человеком. Ученые опубликовали препринт и статью(скачать можно с помощью бота), написанную ChatGPT. В аннотации ИИ рассказывает, как она будет проводить исследования над собой.

Искусственный интеллект (ИИ) может революционизировать процесс открытия лекарств, предлагая повышенную эффективность, точность и скорость. Однако успешное применение ИИ зависит от наличия высококачественных данных, решения этических проблем и признания ограничений подходов на основе ИИ. В этой статье рассматриваются преимущества, проблемы и недостатки ИИ в этой области, а также предлагаются возможные стратегии и подходы для преодоления существующих препятствий. Также обсуждаются использование увеличения данных, объяснимый ИИ и интеграция ИИ с традиционными экспериментальными методами, а также потенциальные преимущества ИИ в фармацевтических исследованиях. В целом, этот обзор подчеркивает потенциал ИИ в разработке лекарств и дает представление о проблемах и возможностях для реализации его потенциала в этой области.

Примечание от авторов-людей: эта статья была создана для проверки способности ChatGPT, чат-бота, основанного на языковой модели GPT-3.5, помогать авторам-людям в написании обзорных статей. Текст, сгенерированный ИИ в соответствии с нашими инструкциями (см. Вспомогательную информацию), использовался в качестве отправной точки, и оценивалась его способность автоматически генерировать контент. Проведя тщательный обзор, авторы-люди практически переписали рукопись, стремясь сохранить баланс между исходным предложением и научными критериями. Преимущества и ограничения использования ИИ для этой цели обсуждаются в последнем разделе.

Группа под руководством Кэтрин Гао из Северо-Западного университета в Чикаго, штат Иллинойс, использовала ChatGPT для создания искусственных тезисов научных статей, чтобы проверить, могут ли ученые их обнаружить.

Исследователи попросили чат-бота написать 50 аннотаций медицинских исследований на основе выборки, опубликованной в JAMA, The New England Journal of Medicine, The BMJ, The Lancet и Nature Medicine. Затем они сравнили их с исходными аннотациями, пропустив их через детектор плагиата и детектор выходных данных ИИ, и попросили группу медицинских исследователей обнаружить сфабрикованные аннотации.

Тезисы, сгенерированные ChatGPT, прошли проверку на плагиат: медиана оригинальности составила 100%, что указывает на отсутствие плагиата. Детектор вывода ИИ обнаружил 66% сгенерированных тезисов. Но рецензенты-люди справились ненамного лучше: они правильно идентифицировали только 68% сгенерированных аннотаций и 86% настоящих аннотаций.

Вахтер говорит, что, если ученые не смогут определить, верны ли исследования, могут быть «ужасные последствия». Это создает проблемы для исследователей, так как они могут быть сбиты с толку ошибочными выводами, которые были сфабрикованы. Также есть «последствия для общества в целом, потому что научные исследования играют огромную роль сегодня». Например, политические решения, основанные на исследованиях, могут быть неверны.

Если учреждения решат разрешить использование технологии в определенных случаях, они должны установить четкие правила в отношении раскрытия информации. Ранее в этом месяце Сороковая международная конференция по машинному обучению, крупная конференция по ИИ, которая пройдет в Гонолулу, Гавайи, в июле, объявила о запрете статей, написанных ChatGPT и другими языковыми инструментами ИИ.

В областях, где ложная информация может угрожать безопасности людей, например, в медицине, журналам, возможно, придется применять более строгий подход к проверке достоверности информации. Решения этих проблем должны быть сосредоточены не на самом чат-боте, а скорее на стимулах, которые приводят к такому поведению.



Ссылка на статью

Бот для скачивания статей

Лучшие инструменты для написания статей

ВК | ТГ | Блог 

Теги:
Хабы:
Всего голосов 3: ↑3 и ↓0+3
Комментарии9

Публикации

Ближайшие события