Исследователи из Корнеллского университета и Калифорнийского университета в Беркли проанализировали почти 2,1 миллиона научных статей, опубликованных на препринт-серверах с января 2018 по июнь 2024 года. Результаты показали, что ученые, использующие большие языковые модели вроде ChatGPT, значительно увеличили количество публикаций. При этом традиционные маркеры качества научных работ перестают работать.
Рост продуктивности оказался неравномерным по областям. Больше всего выиграли социальные и гуманитарные науки — там прирост составил 59,8%. Биология и смежные дисциплины показали рост на 52,9%, а физика и математика — на 36,2%. Для анализа команда обучила алгоритм распознавать паттерны ИИ-генерированного текста, сравнивая реальные аннотации с их версиями, переписанными GPT-3.5.
Особенно заметный эффект ИИ дал ученым из неанглоязычных стран. Большинство топовых журналов требуют публикации на академическом английском, что долгое время ставило исследователей с неродным английским в невыгодное положение. С появлением языковых моделей их продуктивность в отдельных случаях выросла на 89% — ИИ фактически устранил языковой барьер.
Однако авторы исследования предупреждают о серьезной проблеме. Раньше сложный академический язык служил косвенным признаком качественной работы. Теперь это правило не работает: анализ показал, что чем сложнее ИИ-генерированный текст, тем ниже реальное качество исследования. Красивая упаковка начала маскировать слабые идеи.
Авторы предлагают пересмотреть подходы к рецензированию. По их мнению, нужны более глубокие проверки и специализированные "ИИ-рецензенты", способные отличать человеческий текст от машинного. Иначе, предупреждают исследователи, редакторы начнут полагаться на статусные маркеры — репутацию автора и аффилиацию с известными институтами — что сведет на нет демократизирующий эффект ИИ в науке.
P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.
