Современная наука всё больше зависит от численных показателей. Количество публикаций, цитирования, и индекс Хирша (h-индекс) стали ключевыми критериями для оценки работы учёных. Эти показатели определяют их успех; их шансы на получение финансирования, премий, и наград; продвижение по карьерной лестнице и, в целом, престиж научных групп и организаций. Однако такой подход имеет свои проблемы. Убирая за скобки очевидный скам в виде публикаций в журналах-хищниках, непрерывная гонка за улучшением наукометрическими показателями зачастую может отодвинуть саму науку на второй план.
Как показывает недавнее исследование публикаций мировой академической элиты, даже маститые ученые часто выбирают количество вместо качества. В упомянутой работе были проанализированы данные о публикациях ученых, входящих в список TOP2%, публикуемый Стэндфордским университетом совместно с издательством Elsevier и включающий данные о двухстах тысяч ученых, работающих в 22 основных научных направлениях и 174 смежных дисциплинах.
В качестве эталона для сравнения академической "плодовитости" были взяты данные по Нобелевским лауреатам. Как оказалась, никто из них не публикует более 28 статей в год. Данное число (одна статья в две недели) представляется достаточно разумным показателем для ученых, которые находятся на вершине научной карьеры, обладающих большими научными группами и обширными связями по всему миру, и которых престижно включить в список со-авторов будущей публикации для придания ей академического веса. К примеру, бывший Президент Российской академии наук, академик В.Е. Фортов имеет 17 публикаций за 2023 год, что хорошо укладывается в общую картину.
Поразительным оказалось то, что порядка десяти процентов авторов списка Top2% (или двадцать тысяч признанных ученых) имеют количество ежегодных публикаций и новых со-авторов, существенно (в 1,5 раза) превышающие показатели Нобелевских лауреатов. Наиболее плодовитые авторы опубликовали более 200 статей с 5700 новыми соавторами. Также было обнаружено, что порядка тысячи из аномально активно публикующихся ученых имеют научную карьеру менее десяти лет, что свидетельствует о том, что практика по раздутию наукометрических показателей стимулируется даже на ранних этапах академической карьеры.
Этот нарастающий тренд существенно снижает значимость общепризнанных научных показателей и делает бессмысленным как индивидуальное ранжирование ученых, так и рейтинги научных организаций в целом. В воздухе висит предположение, что часть научного сообщества занимается поточной публикацией незначительных результатов, самоцитированием, искусственным со-авторством, формированием цитатных картелей, и прочим бустом публикационных показателей. Я думаю, что многие сталкивались напрямую или через рукопожатие с ситуацией, когда рецензент напрямую писал, что проверяемая статья - ок, но надо вставить ссылки на его статьи, и он дает после этого публикации зеленый свет. Также достаточно курьезным фактом является то, что самые высокие индексы Хирша наблюдаются у ученых, ведущих исследования в сравнительно молодой науке о данных.
Осознание проблемы уже привело к появлению инициатив, таких как DORA (Декларация Сан-Франциско о научной оценке) и CoARA (Коалиция за продвинутую научную оценку). Они предлагают учитывать не только количественные показатели, но и качество работ, их социальное влияние и вклад в развитие науки. Однако отказ от метрик требует поиска новых методов оценки, а также изменения политики университетов и научных фондов.
Предложение первое. Снижение влиятельности количества публикаций при их превышении определенного порога
Одно из предложений - которое было предложено авторами вышеупомянутой статьи - «перенормировка» метрик, которая бы снижала влияние чрезмерно высокой публикационной активности. Например, анализ показал, что для нобелевских лауреатов и ведущих учёных верхний предел разумного числа публикаций составляет около двадцати работ в год. Всё, что превышает этот показатель, скорее всего, не отражает реальное научное влияние, и общее "эффективное" количество публикаций должно быть скорректировано с дальнейшим ростом этого показателя. Введение таких нормировочных функций могло бы снизить стимулы к количественному наращиванию публикаций и вернуть фокус авторов на качество.
Так как для разных отраслей науки характерны разные паттерны публикационной активности, то необходимо будет формировать пороговые показатели ежегодных публикаций не только по разным дисциплинам, но и по длительности научной карьеры автора. Это особенно помогло бы молодым ученым, ведь для них публикация даже нескольких статей в год соответствует нормальной продуктивности.
Функция перенормировки может быть мягкой, то есть плавно снижать значение количества публикаций после превышения ими "нормального" значения. Но также может быть и резкой. На одной из конференций в Германии, пожилой профессор, измученный редактированием и рецензированием статей, предложил в кулуарах выдавать квоты каждому ученому на пять публикаций в год, или пятьдесят публикаций на всю жизнь. В таком случае, нормировочная функция выглядела бы как ступенька (i.e. функция Хевисайда).
Предложение второе. Введение дробного авторства
Дробное авторство - не новая идея, и ее обсуждение ведется, как минимум, с 90-х годов прошлого столетия. Предполагается, что одной публикации присваивается один балл, который делится на всех со-авторов статьи. Если автор один, то он получает +1 в свой список публикаций; если два, и оба внесли равный вклад, то оба получают по 0,5; и так далее. Один из вариантов предполагает, что группа авторов может учесть и неравные вклады в публикацию. Так, пост-док, который проводит все опыты, обработку и интерпретацию данных, получит 0,5 балла, а оставшиеся полбалла раскидываются на остальных со-авторов. Точное распределение должно определятся самим коллективом авторов. В идеале, такая оценка помогла бы оценить эффективность одного автора, который опубликовал десять статей в со-авторстве с десятью со-авторами, в одну "эффективную" публикацию, вместо десяти, как это делается сейчас.
Очевидно, что способствуя уменьшению среднего количества со-авторов (и тем самым, уменьшению количества публикаций на одного автора), такая система имеет и ряд недостатков, например, субъективности распределения оценок между со-авторами, что может быть потенциальным скандалом даже внутри одной группы. Без четкого формулирования правил распределения публикационного балла по вкладам появится определенное поле для злоупотреблений.
Предложение третье. Введение таксономического авторства
Всем известно, что зачастую со-авторство раздувается из уважения к руководителям научной группы или менеджменту научных, учебных или просто дружественных организаций. В поисках финансирования, написании заявок на гранты, формировании и обработке отчетов для финансирующих организаций занято большое количество людей, чей труд также представляется разумным отметить в публикациях. И хотя в большинстве научных журналов есть правила по формированию списка со-авторов, которые рекомендуют отмечать такой вклад в отдельной части статьи, они носят рекомендательный характер и перелагают всю ответственность на публикующую сторону.
Одним из предложений, которое можно было бы обсудить в этой связи, является введение таксономии авторства, то есть введение различных категорий, которые отражали бы точнее роли авторов в получении научного результата. Авторы статьи самостоятельно распределяли бы себя по заранее определенным ролям, типа "Административный руководитель", "Научный руководитель", "Ведущий автор", "Технический персонал", и т.п., которые могли бы давать более полную картину. Таким образом мы, например, могли бы получить характеристику ученого, как совершившего десять публикаций в этом году в качестве "Научного руководителя" и две - как "Ведущий автор". И такая информация была бы значительно полезней для людей, принимающих решении о выделении грантового финансирования, так как свидетельствовала бы о большом опыте научного администрирования данного индивидуума.
Вместо заключения
Наукометрические показатели хороши тем, что они понятны, общепризнанны и дают в первом (и быстром) приближении оценку продуктивности ученого. Обратная сторона этого факта заключается в том, что, как и для любой сферической метрики в вакууме, можно сформулировать стратегии как заабьюзить систему подсчета этих показателей. Выше я попытался посмотреть, что обсуждалось уже научным сообществом как их альтернатива, однако даже при вычитке данного текста становится очевидным их подверженность манипуляциям. Значит ли, что не нужно улучшить существующую систему? Конечно, нет. Надо думать над ее совершенствованием. Если у вас есть мысли, как решить эту проблему, или вы знаете/слышали/применяете какие-то новые методы оценки продуктивности авторов, было бы любопытно обменяться мнениями.
Дисклеймер. Автор сам не очень любит новояз ("скам", "абьюз", "буст"), но оставляет его как доказательство, что текст писался большей частью вручную.