Проблемы научных публикаций

    Для людей, не знакомых близко с научным процессом, может быть не очень понятна важность научных статей. Публикация — это не только распространение информации, но и верификация результатов исследований, а еще самая главная мера эффективности научной работы.

    Важность публикаций для ученых описывается выражением «Publish or perish» — «Публикуйся или сдохни». Именно всевозможные библиометрические показатели являются основой для получения грантов, подъема по карьерной лестнице и, в конечном итоге, научного успеха. И поэтому проблемы научных публикаций негативно влияют на всю науку в целом.



    Введение — Зачем нужны научные публикации?


    Как же работает система научных публикаций? Начинается все с того, что у вас есть завершенное исследование, которое вы хотите опубликовать. Вы должны подготовить текст и иллюстрации по образцу, принятому в журнале, куда вы хотите отправить свою статью. В начале манускрипт попадает к редактору, он может отказать вам сразу, посчитав статью неинтересной, недостаточно новой или не подходящей по теме журнала. Если ваш манускрипт преодолевает этот первый фильтр, редактор отправляет его на рецензию 2-3 ученым из соответствующей области. Эта стадия называется peer review и это главный этап научной публикации. Рецензенты внимательно проверяют вашу работу и дают отзыв, а также предлагают изменения и дополнительные эксперименты. Если все рецензенты оценили манускрипт отрицательно, журнал не будет публиковать статью. Но даже при положительной оценке обычно нужно внести изменения. После этого статью отправляют на второй раунд рецензии. Так может повторяться несколько раз, пока рецензенты не удовлетворятся итоговым результатом.

    Зачем нужна такая система? Она гарантирует, что специалисты проверили манускрипт, а все необходимые стандарты были соблюдены. Именно этим статьи отличаются от препринтов (например, на сайтах arxiv.org и biorxiv.org), которые еще не прошли рецензию, и качество научной работы не может быть гарантированно.

    Такое подробное введение нужно, чтобы вы понимали, чем отличается научная публикация от, например, статьи на Хабре.

    Какие же есть проблемы у научных публикаций? Их великое множество. И они ощутимо влияют на весь процесс исследований, ведь, как я уже говорил в начале, — статьи это основная мера эффективности работы ученых. Интересно, что многие проблемы унаследованы из давних времен, когда не было интернета и способы распространения информации были кардинально иными.

    Итак, начнем. Самая заметная проблема, это конечно же

    Деньги


    На данный момент есть два основных способа «монетизации» научного журнала: подписка (paywall) и открытый доступ (open access). В первом случае нужно купить отдельную статью или годовую подписку на журнал. Открытый доступ позволяет любому человеку из любого места скачать статью в интернете.

    Рассмотрим оба варианта подробнее.

    Платный доступ (paywall)


    Это одна из тех особенностей, которая возникла еще сто лет назад. Когда единственным способом распространения информации были бумажные журналы, их надо было печатать и рассылать. Люди и организации выписывали их, как любые другие периодические издания. У некоторых научных журналов до сих пор остались бумажные версии, но чаще всего их единственное их применение — полистать за обедом.

    Очевидно, что сейчас большая часть научных изданий распространяется через интернет. А при работе с информацией используются системы автоматического поиска (например, Scopus или Pubmed). То есть сейчас я не ищу статью в журнале, я ищу статью по ключевым словам или авторам. Но часто, найдя нужное исследование, вы можете упереться в paywall.


    Самоироничная статья в Nature…
    На самом деле

    Так выглядел paywall Nature раньше. То, что в новой версии оформления обозначено, как купить или арендовать статью, на самом деле выглядит вот так. Вы можете на время арендовать статью за $3.99. Чуть дороже будет ее купить ($9.99), но вы не сможете ее скачать или распечатать. А если вы хотите pdf, то будьте добры заплатить $32! Темные паттерны маркетинга в действии.

    Сейчас многие научные журналы требуют подписки для доступа к статье. Так как стоимость отдельной статьи может доходить до нескольких десятков долларов, а каждому сотруднику нужен доступ к сотням публикаций, издатели договариваются с научными и учебными заведениями о подписке на большой пакет своих журналов на длительный срок. В таком случае сотрудники могут получить доступ ко всем журналам издательства. Однако даже «со скидкой» за большой объем стоимость все еще очень велика. Сколько именно денег каждая организация тратит на подписку, неизвестно, эти данные издатели не раскрывают. Но университеты во многих странах, включая, например, Германию, отказываются от подписки из-за ее дороговизны. Наш институт прекратил подписку на Elsevier, в итоге мы потеряли легальный доступ к большому числу журналов. Elsevier вообще многие научные заведения не любят, так как они хотят очень много денег за подписку.

    Другим неудобством является то, что подписка работает только на IP-адресах университета или института. То есть читать статьи из дома или в поездке без VPN нельзя. А иногда доступ к журналам ограничен только компьютерами в библиотеке! А это очень не удобно, и именно поэтому даже те ученые, которые имеют легальный доступ к журналам, часто пользуются SciHub.



    Основная же проблема состоит в том, что большинство людей не может получить доступ к статьям. А ведь более половины научных исследований финансируется государством, то есть на наши налоги. А прочитать статью с результатами часто нельзя. Ни в школе, ни у журналиста, ни у обычного заинтересовавшегося человека нет подписки, а значит, и доступа к статье.

    Открытый доступ


    Проблемы «монетизации» по подписке стали очевидны научному сообществу уже давно. А с развитием интернета появились журналы, которые выходят только онлайн (одно из самых известных таких издательств — PLOS). Поэтому поменялась и монетизация. Теперь за статью платит тот, кто ее публикует, то есть исследователь. И цены вас «приятно» удивят. Статья (в зависимости от журнала) стоит от 1500$ до 5700$. 

    Научная «карьера»


    Здесь важно понимать, что это только оплата публикации. На выполнение исследований тратятся деньги университета или грантов, и журнал получает готовый контент бесплатно. Можно сравнить эту систему с youtube, как если бы блогерам нужно было платить за выкладывание ролика. Самое интересное, что в конечном итоге платит тот же, кто и раньше (институт, а значит чаще всего государство). Но в системе открытого доступа все желающие могут прочитать полный текст статьи. Такое изменение сильно упрощает взаимодействие с журналами. Поэтому многие поддерживают переход всех статей в открытый доступ (программа OA2020).

    Однако в этой системе институты все еще тратят огромные деньги на публикацию исследований. Например, Великобритания сэкономит 8 миллионов евро, если переведет все статьи в открытый доступ — 45 млн против 53 млн, которые они платят сейчас. Только вот 44 млн тоже немаленькая сумма.


    Из чего складывается стоимость статьи. На этом рисунке стоит обратить внимание на два важных момента. Во-первых, работа рецензента занимает треть стоимости, но она не оплачивается. Во-вторых, прибыль научных журналов составляет 15-20%! А по некоторым оценкам может достигать 35%.

    Большое количество разных журналов и стандартов


    Еще одна важная проблема — все журналы и издательства имеют свои разные стандарты. Особенно это заметно, если статью отвергает редактор. Он делает это без детального анализа статьи, ориентируясь только на интерес и новизну исследования, а также на то, как статья подходит под формат и тему журнала.

    Рассмотрение статьи редактором может занимать от недели до месяца. Если редактор отвергает статью, авторы отправляют ее в другой журнал. Обычно при этом необходимо сильно изменить форматирование статьи. Количество знаков текста, число картинок, и даже возможность использовать цветные картинки, число источников литературы и многое другое нужно поменять при смене журнала. Изменение может быть достаточно трудоемким, например, сократить текст с 6000 слов до 4000 да еще и с сохранением смысла и точности формулировок.

    Если и в следующей журнал статья не подойдет, надо будет менять ее еще раз. Иногда может происходить до 5-6 таких подач. И для каждого журнала тратится время на изменение текста и на рассмотрение редактором. В особенно неудачных случаях потребуется несколько месяцев и немало бесполезных изменений текста прежде, чем статья вообще попадет на рецензию. Важно отметить, что эти изменения никак не влияют на качество статьи, они нужны только для того, чтобы соответствовать формату журнала.

    Стоит отметить, что, несмотря на отсутствие разумных ограничений на размер современных журналов — они выпускаются онлайн — число разных журналов только растет. Все издатели создают все новые и новые журналы. При этом, как отмечалось ранее, такое разнообразие не оправдано появлением новых областей знания — современные ученые не читают журнал целиком, а ищут необходимые статьи в специальных базах данных (таких, как Scopus или PubMed).

    Зачем же нужно столько новых журналов?


    Оценка редактором


    Добавлю несколько замечаний по оценке статьи редактором. Редактор — это один человек, который решает, будет ли вообще журнал публиковать вашу работу. Он может на любой стадии отказаться по любым причинам. Редактор заинтересован в наиболее успешных статьях, которые будут активно цитироваться. А это значит, что редакторы отбирают статьи по определенным характеристикам, а другие статьи, наоборот, оказываются в очень невыгодном положении. Привлекают редакторов хайповые темы, заметные имена ученых, соответствие результатов текущему курсу, новые методы и большие массивы данных, которые смогут использовать другие исследователи. И наоборот, узкие области науки, неизвестные авторы и простые методы могут стать отрицательным фактором. Стоит отметить, что часто это не имеет ничего общего с качеством исследования, а отражает лишь его тему.

    Редактор принимает решение, прочитав статью (или ее часть), но вы обычно не получите от него развернутых комментариев. Если редактор отвергает статью, то часто в качестве причины называется недостаточная научная новизна, несоответствие теме журнала. Работа редактора совершенно не прозрачна: вы не знаете, прочитал он статью целиком или только абстракт, на основании каких критериев он оценивает новизну исследования и так далее. Спорить с редактором тоже не удается, если статью отверг редактор, обычно ее отправляют в другой журнал.

    Также здесь можно отметить, что личное отношение редактора с авторами статьи иногда может влиять на его решение.

    Рецензирование (кто, зачем и почем)


    Рецензирование — самая важная часть процесса научной публикации. Именно за счет рецензирования мы можем в какой-то степени доверять результату исследований. Без проверки статьи можно было бы просто выкладывать на Хабр (и, возможно, охват был бы даже выше). Поэтому удивительно, что вся стоимость публикации уходит на функционирование журнала и прибыль. Рецензенты работают бесплатно и не получают за свою работу ничего. Также рецензенты делают это в свободное от работы время, они ведь сами являются учеными, и им нужно проводить свои исследования. Такая система работает за счет коллективной ответственности: сегодня ты рецензируешь статью, а завтра рецензия понадобится уже тебе. Но факт остается фактом, журнал получает бесплатно не только контент, но и компетенции рецензентов.

    Как происходит рецензия? Редактор, посмотрев вашу статью, выбирает подходящих рецензентов — учёных без совместных работ с авторами статьи, но работающих в той же области. Рецензенты получают текст от редактора и ему же отправляют свои отзывы. Личности рецензентов не раскрываются авторам статьи, вся переписка анонимна.

    Время удивительных историй

    История 1.
    Найти рецензентов — основная задача редактора. Но он справляется с ней не всегда. В неединичных случаях редактор может найти только одного специалиста из нужной области, который согласится провести рецензию.
    Очень неприятная ситуация — прождать несколько месяцев, пока редактор ищет рецензента, а на выходе получить ответ, что рецензентов найти не удалось и журнал вынужден отказать в публикации.

    История 2.
    Иногда рецензенты перестают отвечать. Хуже всего, если это происходит уже в процессе ревизии. Можно потерять немало времени, если рецензент предложит провести дополнительные эксперименты, а потом пропадет. В такой ситуации поиск решения остается за редактором, и иногда он может просто отказать в публикации.
    При этом рецензент не связан никакими формальными обещаниями, поэтому и последствий для него не будет.

    Внимательно изучив статью, рецензенты предлагают изменения, которые необходимо внести, — исправление формулировок, дополнительные контроли и эксперименты. Хороший рецензент может очень сильно улучшить статью. Очень многое зависит именно от того, кто рецензирует вашу статью. Насколько внимательно рецензент проверит выкладки? Как тщательно посмотрит дополнительные материалы и базы данных? Проверит ли статистические тесты и использованные методы? Так как рецензентов всегда два-три человека, то роль каждого очень велика.

    Также здесь кроются возможности для злоупотреблений. Рецензент может попросить процитировать его статью или написать негативный отзыв, потому что не согласен с вашей позицией, не опираясь на фактическое качество исследования.

    Авторы могут дискутировать с рецензентами — не обязательно полностью принимать все их изменения. Но опубликовать статью в исходном виде, совсем без исправлений, почти невозможно. В большинстве журналов корректировки вносятся в текст статьи, а переписка с рецензентами недоступна никому, кроме авторов. То есть узнать, что именно было изменено рецензентами, нельзя.


    Я убрал почти все комиксы под спойлер, но эта картинка идеально объясняет, что получается после рецензии

    Время ожидания


    Чем же занимаются авторы, пока идет рецензия? А ничем, они ждут отзывы. Конечно, в это время продолжаются исследования по следующим проектам, но по статье на ревизии экспериментов делают очень мало.

    Сколько нужно времени? Рассмотрение статьи редактором (до отправки рецензентам) занимает от одной недели до месяца. Иногда стоит напомнить редактору про свою статью, тогда процесс ускоряется. Ревизия может длиться от одного месяца до полугода. Надо понимать, что труд рецензента не оплачивается, поэтому многие отказываются проводить рецензию. Кроме того, может быть сложно найти рецензента и без конфликта интересов, и эксперта в области статьи. Поэтому в некоторых случаях поиск рецензентов занимает немало времени. В исключительных ситуациях редактор не может найти рецензентов, и это еще больше затягивает процесс.

    Почему это может быть проблемой? Здесь нужно отметить, что статьи часто необходимы для отчетов по грантам, аспирантам публикации нужны для защиты, иногда у автора статьи скоро меняется место работы — часто есть тот или иной срок, к которому надо опубликовать исследование. Понятно, что выпускать неготовую статью неправильно. Но разброс по срокам до полугода очень мешает планировать работу.

    Рецензия может протекать в несколько раундов. После внесенных изменений рецензенты могут попросить дополнительных экспериментов. В итоге рецензия может занять несколько лет.


    И это не шутка.
    А это шутка


    Воспроизводимость


    Reproducibility


    Это очень большая проблема научного процесса сама по себе. «Кризис воспроизводимости», особенно в медицинских науках, — это одна из важнейших преград к быстрому и качественному развитию науки. Эта тема уже была достаточно подробно разобрана на Хабре (раз и два), поэтому здесь мы обсудим только влияние на это нынешней системы публикаций.


    Факторы, затрудняющие воспроизведение результатов. Темные стрелки — то, что можно исправить при рецензии и публикации. Светлыми стрелками отмечены факторы опосредованно связанные с публикациями.
    А влияние это велико. На картинке стрелками отмечены основные причины низкой воспроизводимости, которые связаны с работой журналов. Именно издатель статьи должен проверить наличие кода, доступность данных в базе, описание методов и всех необходимых материалов. Однако многие журналы сильно ограничивают объем статьи, и подробные методы просто не помещаются в основной текст. Авторы выкладывают его в дополнительные материалы (Supplementary), а они гораздо меньше контролируются редактором и рецензентами, их сложнее найти по ссылке, и они могут быть в любом формате, — все остается на усмотрение авторов.

    Время удивительных историй

    История 1.
    Нередко бывает, что авторы не описывают экспериментальный протокол целиком, а ссылаются на опубликованный ранее. Все бы ничего, да вот в статье по ссылке может быть ссылка на более раннюю статью и так далее.
    Однажды, пройдя по такой цепочке 5 статей, я обнаружил: «Метод выполнялся по стандартному протоколу». То есть воспроизвести результаты невозможно никак.

    История 1.1
    Многие, ссылаясь на предыдущий протокол, еще отмечают «с незначительными изменениями». Разумеется, никаких подробностей и масштабов этих «незначительных изменений» не указывают.

    История 2.
    Неоднократно многие исследователи проверяли доступность программ и других ресурсов, опубликованных в статьях. В одной из таких работ было показано, что приблизительно в 30% из рассмотренных статей, описывающих новые программы, ссылки на код вообще не работают. Еще в трети статей программу не удалось установить или запустить.

    Интересно, что именно в самых крутых журналах очень часто выходят статьи, где недостаточно подробно описаны методы, ссылки на исходники не работают, код недоступен, а в базах данных нет самых важных файлов. 

    Мои спекуляции, почему так происходит
    Если для автора обычной статьи попасть в крутой журнал — это очень большая удача, то для известных ученых или работ на хайповую тему все совсем по-другому. Редактор понимает, что такая публикация привлечет много внимания и цитирования, а значит выгоды для журнала. Поэтому горячие статьи стараются выпускать как можно быстрее, иногда «срезая углы». И тогда в самой крутой статье описание процедур и данных оказывается недостаточным, чтобы ее воспроизвести.

    Это можно явно видеть в нынешней ситуации с коронавирусом. Понятно, что статей на эту тему стало гораздо больше, и многие ученые прилагают значительные усилия, чтобы решить проблему. Однако вал публикаций подпитывается во многом стремлением быстро сделать исследование на хайповую тему. И бестолковые статьи забивают информационное поле, затрудняя поиск по-настоящему нужных данных. А также из-за важности темы было сокращено время на рецензию: вместо 1-2 месяцев — несколько недель, что тоже не способствует качеству научных работ.

    Сама структура статей и процесса публикации приводит к низкой воспроизводимости, — если вы не знаете, что делали авторы, то вы не сможете это повторить. Но еще большую роль играет два других факта.

    «Publish or perish». Я писал это в самом начале, именно так работает сейчас вся наука. Это заставляет ученых искать наиболее хайповые результаты и публиковать их как можно быстрее. При этом выигрывают те, кто пишет много статей, а не те, кто делает качественные исследования. Давление поиска грантов приводит к тому, что выгоднее публиковаться чаще, даже если потом воспроизвести результаты не получится. Это уже неважно, — статья-то опубликована. А в некоторых случаях подобное может приводить и к мошенничеству: как небольшим махинациям с картинками (вроде тех, что можно найти на Retraction Watch), так и подлогам результатов целых статей.

    Научные фальсификации
    Один из самых известных примеров — это случай в японском исследовательском центре RIKEN. Харуко Обокато опубликовала в журнале Nature статью о простом способе получения индуцированных плюрипотентных клеток (iPSC). Уже после выхода в одном из самых престижных журналов в статье были найдены следы манипулирования изображениями. Авторы не смогли воспроизвести свои результаты при участии внешних наблюдателей. После разбирательства статья была отозвана, Харуко Обокато уволена, а ее научный руководитель совершил самоубийство.

    Этот случай был особенно резонансным, так как статья вышла в престижном журнале, значение открытия представлялось очень большим, а фальсификации оказались неожиданно масштабными. Однако в менее заметных случаях, искажения и подлоги выявить гораздо сложнее. 

    И не менее важный факт — никто не заинтересован в повторении чужих экспериментов. Такие работы очень сложно опубликовать и почти невозможно получить на это грант. Все хотят новых исследований. Журналам особенно выгодно выпускать статьи, которые наберут как можно больше цитирований. А повторение известных результатов вызовет гораздо меньше интереса. Занятно, что воспроизведение чужих исследований сложно опубликовать независимо от результатов, — подтвердили вы предыдущую статью или опровергли.

    Использование статей как меры крутости


    Очень важная проблема современной системы не относится напрямую к статьям. Как я уже говорил в начале, публикации являются мерой успеха научной работы и основным критерием получения грантов. Само по себе это не проблема. Вопрос в реализации — как оценить крутость статьи? Существует огромное множество разных библиометрических показателей. Самые главные — это число цитирований статьи и импакт-фактор журнала.

    Число цитирований статьи показывает сколько раз в других рецензируемых статьях упоминалось ваше исследование. Это важная характеристика, оценивающая востребованность исследования в научном сообществе, достаточно объективный показатель, но не без недостатков. Основная проблема такого параметра — цитирование статьи накапливается только через несколько месяцев (для очень заметной работы) или несколько лет (обычный вариант). То есть сразу после выхода публикации нельзя оценить по числу цитирований ее важность и влияние.

    Импакт-фактор журнала — это среднее цитирование за год всех статей, которые вышли за два предыдущих года. То есть это средняя мера цитирования статей в журнале. Какие проблемы у такого параметра? Среднее очень чувствительно к выбросам, поэтому наибольшее влияние на импакт-фактор оказывает небольшое число самых цитируемых статей.

    Но главная проблема — импакт-фактор журнала говорит очень мало о качестве конкретной статьи в этом журнале. Тем не менее, этот параметр очень часто используется именно для оценки статей. Импакт-фактор доступен сразу, и многие гранты используют именно его, чтобы присвоить статье некоторое значение качества.

    В чем проблема такого подхода? Как вы уже знаете, решение о публикации в журнале (или отказе) принимается единственным человеком — редактором. И если он сочтет статью неинтересной, недостаточно хайповой или неподходящей по любому другому параметру — в публикации будет отказано. А значит, статью подадут в другой журнал с импакт-фактором пониже. То есть содержание работы не изменилось, а ее оценка понизилась, и не из-за качества исследования. 

    Обмен информацией и взаимодействие


    В конце я бы хотел обсудить не самую важную, но довольно показательную проблему. Ведь в 21 веке научные статьи не сильно отличаются от того, что было сто лет назад. Да, мы можем скачать статью из интернета (если у вас есть к ней доступ), но это все равно текстовый документ с картинками. Качество изображений стало лучше (хотя в некоторых журналах за цветные картинки все еще надо дополнительно платить), появились гиперссылки на источники литературы (которые работают почему-то не очень удобно), но на этом все. И вы читаете текст, сверстанный в колонки, как это было в конце 19 века.


    Статья из самого первого выпуска журнала Nature. Те, кто знаком с этим журналом, узнали формат Letter. Он используется до сих пор, хотя совершенно неудобен для публикации современных научных данных.
    Основная функция журнала сейчас — хостинг pdf. Это меньше, чем делает, например, Wikipedia. При этом за такой сервис нужно платить несколько тысяч долларов за один документ, — наверно, самый дорогой хостинг в мире.

    Понятно, что я утрирую, но в наше время есть столько возможностей для отзывов, оценок и агрегации статей. Можно предоставить платформу ученым для непосредственного обсуждения статей прямо на сайте, и привлечь их туда. Если взять для примера Хабр, то комментарии часто не уступают самой статье.

    Сейчас у некоторых журналов есть возможность комментирования, но ею почти никто не пользуется. С одной стороны, потому что эта функция не очень удобна и реализована хуже, чем в привычных приложениях, с другой, потому что журнал не тратит сил на привлечение ученых и развитие такой платформы.

    Мне кажется, что современный опыт из разных областей, организующих большой объем данных, — социальных сетей, сайтов-каталогов (вроде, Кинопоиска), Википедии и многих других — позволит изменить то, как мы обмениваемся научной информацией. Издательства делают робкие шаги в этом направлении, но их устраивает сложившаяся ситуация, им не нужно ничего менять.

    Почему так сложно что-то изменить


    В конце я бы хотел пригласить всех желающих к дискуссии. Напишите, был ли у вас негативный опыт взаимодействия с журналами. А может быть вы полностью довольны современной системой? Буду рад услышать ваше мнение о научных публикациях в комментариях.

    А от том, как решаются некоторые из описанных проблем и что можно сделать еще и какие есть перспективы развития поговорим с вами в следующий раз (вторая часть статьи).

    Благодарности


    Большое спасибо Ольге Золотаревой за дискуссии и идеи для этой статьи. Спасибо Софье Камалян за помощь в проверке текста. А также всем коллегам, с которыми обсуждали проблемы научных публикаций.

    Интересные ссылки
    Документальный фильм «Paywall: The Business of Scholarship»: https://paywallthemovie.com/

    Про открытый доступ в Троицком варианте: https://trv-science.ru/2018/10/23/platit-ili-ne-platit/

    Германия и Таиланд отказываются от подписки на Elsevier:  https://scientificrussia.ru/articles/izdatelstvo-elsevier-teryaet-podpischikov-iz-germanii-peru-i-tajvanya

    Стоимость open access: https://openwetware.org/wiki/Publication_fees

    Программа OA2020: https://oa2020.org/mission/
    https://oa2020.org/b14-conference/final-statement/

    Article processing charge: https://oa2020-de.org/en/blog/2019/02/12/APCregressionsanalyse_conclusion/

    Статьи про SciHub: https://www.sciencemag.org/news/2016/04/whos-downloading-pirated-papers-everyone
    https://www.sciencemag.org/news/2016/05/survey-most-give-thumbs-pirated-papers

    Стоимость публикаций: https://www.nature.com/news/open-access-the-true-cost-of-science-publishing-1.12676

    Про фальсификацию данных в RIKEN: https://ru.wikipedia.org/wiki/Nature#%D0%9A%D1%80%D0%B8%D1%82%D0%B8%D0%BA%D0%B0
    https://en.wikipedia.org/wiki/Haruko_Obokata

    Нобелевский лауреат Рэнди Шекман выступает против престижных журналов: https://www.gazeta.ru/science/2013/12/11_a_5796821.shtml
    https://www.theguardian.com/commentisfree/2013/dec/09/how-journals-nature-science-cell-damage-science
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 305

      +20

      Хорошая статья. Добавлю пару моментов.
      Если работа, публикуемая в статье, сделана на деньги гранта, то для отчетности по гранту обычно необходима публикация с указанием на грант (может и не одна). Поэтому ищется более менее гарантированный вариант с бОльшим импакт-фактором, и если редактор отказывает, то обычно нет времени ждать рассмотрения в другом журнале (отчетность по гранту имеет сроки) и статья уходит в локальный беспроблемный журнал (как говорят «мурзилка»).
      Далее имхо. Могу ошибаться. Увеличение количества статей приводит к увеличению индекса цитирования, но не приводит к увеличению качества статей. На грантах и для работы в нии есть заградительные пороги по количеству статей. И они растут по количеству (палочная система). Что может нас привести к китайской проблеме, когда вал статей (хороших и плохих с обычной дисперсией качества) привёл к полному игнору статей китайцев со стороны мирового научного сообщества (одна из причин отсутствие ресурсов на проверку результатов). На данный момент лучше написать 25 обзоров в год и не работать руками, чем работать руками и выдать 1 статью с чем-то новым. Цифры с потолка. Ситуация конкретно для биохимии, молекулярной биологии. Я мимо проходил. Не работаю в этой отрасли. Других областей не знаю, возможно, там мб другая ситуация.

        0
        Спасибо за развернутый комментарий.
        В ситуации со статьями, которую вы описали, есть еще один фактор. Статья в Nature или Science очень сильно поднимает акции ученого и является началом успешной карьеры. Поэтому все, кто может попасть в топовые журналы, пытаются это сделать хоть чучелом, хоть тушкой. А если этого сделать не получается, то выгоднее брать количеством, как вы и написали.

        И это еще не говоря о хищнических журналах, которые показывают все несовершенство современной системы.
          0
          просто у научного сотрудника встает выбор, рискнуть на nature и не получить денег в следующем году, если nature откажет (отказ может быть, потому что мода изменилась, взять тот же covid, или просто в журнал не влез, потому что он все равно ограничен по объему), либо гарантированно получить грант на обзорах (что тоже не очень простая работа, я знаю). (я говорю про РАН, в основном).
            +6
            Да, в России сейчас очень много значения имеет именно число статей. Часто публикуют даже по частям работу, чтобы увеличить именно количество статей.
            Я про это почти не упоминал, но многие проблемы связанные со статьями — это отражение грантовой политики. Именно то, как выдают деньги, влияет на публикации. Но и в обратную стотону это тоже работает — если будет более прозрачная система публикаций, будет проще улучшить финансирование науки.
              +1
              зы Интересуюсь этим, потому что тема очень сильно перекликается с верификацией поисковой выдачи в поисковиках. Невозможность найти что-либо в гугле, яндексе и тп. удурчает. Информационный шум от smm на 30-50 страниц убивает выдачу. Если внедрять убер/гитхаб для ученых, можно получить точно такой же результат. Можно вспомнить изменение поиска на pubmed, когда единомоментно стало нельзя ничего найти по ключевым словам. В итоге курс остается только на известных авторов и тех на кого они ссылаются.
                +1
                Никто не предлагает отказаться от рецензирования. Наоборот, есть немало возможностей его улучшить (подробности во второй части).

                Но сейчас журналы совсем не используют компетенции научного сообщества (кроме рецензентов). А ведь подавляющее большинство людей, читающих статью — специалисты. И даже самые простые инструменты могут сильно повысить и прозрачность, и качество всего процесса.

                Согласен, что все изменения нужно вводить осмотрительно. Но нынешние журналы очень сильно устарели, требуется целый комплекс изменений. У нас есть возможность сейчас сделать продуманную систему, отвечающую современным запросам.
                  +3
                  Невозможность найти что-либо в гугле, яндексе и тп. удурчает. Информационный шум от smm на 30-50 страниц убивает выдачу.

                  А я могу ответить почему так происходит.
                  По идее для этих целей у гугла и яндекса есть легионы асессоров/search engine evaluator (одним из которых я и являюсь), которые теоретически и должны отсеять тот самый «информационный шум от smm», и подвинуть наверх именно то, что пользователь ищет, от хороших годных источников.
                  Но тут есть вот какой нюанс. Скажем базовая инструкция по оценке от гугла содержит 168 страниц, а есть еще множество дополнительных. И если все это полностью соблюдать, то в принципе действительно можно более менее отсеять зерна от плевел. Только это всестороннее исследование одной страницы может занять этак час, особенно если мы говорим про какую-то незнакомую научную тематику. И естественно если ты над каждой страницей будешь столько сидеть, к тебе возникнут вопросы, учитывая что у гугла как раз оплата почасовая. А еще есть average estimate time на один таск. В итоге ты хочешь не хочешь а вынужден оценивать, скажем так, не настолько качественно как мог бы.
                  В Яндексе насколько я знаю примерно так же, только другим боком — оплата за количество сделанного, то есть в твоих интересах оценить как можно больше, а как уже дело десятое.
                    +1
                    Это должно быть автоматизировано. Вот 15 лет назад ещё можно было найти что-то конкретное в интернете на любом сайте. Если нужна узкая тематика 10 лет назад можно было что-то найти используя спец параметры. И уже лет как 5 не найдёшь вообще ничего, если тема не популярна и не присутствует на популярном ресурсе. Сейчас ощущение, что сложилась сегрегация поисковых тем/людей. Т.е. в 1 поисковике я ищу темы по программированию, в другом по общей тематике. А если хочу найти что-то специфичное, то приходится искать через знакомых, т.к. мне просто не показывают нужные форумы-сайты, т.к. там менее 1к посетителей в день.

                    Сейчас выдача всегда идёт по популярности(ссылкам-/переходам) как основному критерию. Больше 3 слов в поисковик вообще смысла писать нет, всё равно не найдёт даже на популярных сайтах.

                    Как так? Интернет даже скучным стал из-за этого.
                  +6
                  Эффект кобры + закон Гудхарта. Когда научная статья стает мерилом успеха, она перестает измерять что-либо адекватное кроме успешного успеха. Сад бат тру.
              0
              Поэтому ищется более менее гарантированный вариант с бОльшим импакт-фактором, и если редактор отказывает, то обычно нет времени ждать рассмотрения в другом журнале (отчетность по гранту имеет сроки) и статья уходит в локальный беспроблемный журнал (как говорят «мурзилка»).

              не соглашусь, у нас такой подход не практикуется
              Мы обычно к началу этапа стараемся иметь некий задел, который можно посылать в более-менее приличный журнал и сделать несколько попыток, прежде чем подойдет время отчета. А полученные на этом этапе результаты войдут в задел на следующий год. А если уж и посылать что-то в «мурзилку» (но у нас требуют сугубо WoS, так что это уже не совсем плохой журнал априори), то не нормальную статью, а какой-то кусок, который никуда больше не приткнуть
                +5

                Вспомнилось, как мы на старших курсах писали заявки на РФФИшные гранты — в планах на год (да, не забываем про планы по открытиям на год вперёд) по факту пишется то, что уже было сделано в прошлом году, и в идеале что уже в процессе рецензирования/публикации (то есть, найден журнал, редактор статью принял, рецензентов нашёл, и так далеее).

                  0
                  а вот тут надо уже аккуратнее — т.к. в том же РФФИ в большинстве конкурсов четко прописано, что в отчете не будут засчитаны публикации, направленные в журнал ранее чем такого-то числа (обычно — даты публикации победителей). И уж не знаю, как в отечественных жерналах, но в зарубежных ты «слишком раннюю» дату подачи не исправишь, она фиксируется в системе подачи рукописей и вставляется в соответствующее поле оттуда
                    0

                    Речь не о том, чтобы делать публикации заранее, а о том, что сначала делается исследование без финансирования, а затем уже получается грант под полученные результаты. В итоге подать публикацию в журнал можно в самом начале гранта.


                    В большинстве грантов, кстати, для того, чтобы зачли публикацию, достаточно статуса принятия к публикации, а не фактического опубликования.

                      0
                      Про это я и сам писал в одном своих из комментов выше.
                      Но из комментария 0xd34df00d я понял, что он ведет речь именно про подачу в журнал заранее
                        0
                        достаточно статуса принятия к публикации, а не фактического опубликования.
                        Не знаю, как сейчас — а десяток-другой лет назад фактическое опубликование могло произойти через несколько лет после подачи, поэтому статус принятия к публикации гораздо лучше подходит (подходил?) для отчета по гранту, где сроки вообще-то важны и детерминированы.
                          0
                          После подачи статьи в журнал ее еще могут отклонить на нескольких стадиях. Поэтому далеко не все гранты защитывают это для отчета. И обычно, скорее в виде исключения, а не правила.
                            0
                            Возможно, это сильно зависит от области. И возможно, еще от времени: про сейчас, повторюсь, я уже ничего не знаю.

                            Когда ужесточили требования для публикаций на диссертацию, многие аспиранты просто в осадок выпали. Аспирантура три года, а очередь на публикацию в Ботанический журнал лет на пять: как хочешь, так и выкручивайся.
                              0
                              Как я понял, MTyrz пишет не про подачу в журнал, а про принятие к публикации — т.е. редактор/рецензенты приняли, остались технические моменты, которые могут затянуться. И в таком статусе статья в (многих?) грантах засчитывается почти как полностью опубликованная.
                                0
                                Это правда. Но большинство журнало принятую статью публикует очень быстро в интернете (ahead of print). Сама бумажная публикация сейчас уже очень редко кому-то нужна.
                                  0

                                  Но возможен казус, что публикация де-факто вышла (online first), а де-юре дата выхода у неё — вообще в следующем году.

                                    0
                                    Обычно, если есть doi, то уже все гранты и комиссии статью засчитают.
                  +8

                  Да, научный мир еще ждет свой uber или github. И ведь такой вот удачный сервис мог бы хорошо так оживить и освежить научный прогресс.

                    +3
                    Именно! Об этом подробно поговорим во второй части.

                    Самое интересное, что даже уже придумывать ничего не нужно. Все уже придумано до нас, надо только взять работающие части и объединить их.

                    Остается только организационный вопрос (то есть самый сложный).
                      +4

                      Есть определенные причины, по которым рецензирование анонимное. И эти же причины снижают шансы на успешное внедрение модели uber/github. Которая тоже, прямо скажем, не идеальна.
                      Или у вас есть какая-то идея анонимного комментирования?


                      Если что, то статя мне понравилась, и, в целом, неплохо описывает состояние дел.

                        +5
                        Самая простая идея — сделать комментирование доступным только зарегистрированным ученым, при этом комментарии по желанию или все могут быть анонимными — для обсуждения каждой статьи вам присваивается локальный ID. При этом можно даже отражать рейтинг комментатора, он не будет сильно деанобитизировать.

                        Я более подробно расскажу об этом во второй части — приведу уже работающие форматы и свои идеи.

                        Спасибо за вашу оценку.
                          +2

                          тут был комментарий с вопросом, почему рецензенты вообще соглашаются на рецензирование, но я передумал и решил подождать второй части. Тем не менее, автор успел ответить быстрее, чем я передумал, за что ему спасибо. :)

                            +4
                            Рецензенты соглашаются по нескольким причинам.
                            Самая главная, на мой взгляд, это традиции и добропорядочность. Так принято в науке, и все соглашаются с правилами игры.
                            Еще одна причина — это принцип «ты мне, я тебе». Сегодня я рецензирую статью, завтра мне самому нужна рецензия. Все остаются при своих в такой ситуации.
                            Еще факт проведения рецензии улучшает CV молодых ученых — аспирантов и постдоков.

                            Я думаю, что есть два основных улучшения процесса рецензии — оплата труда рецензентов и долговременное отслеживание предложенных рецензентами изменений и система рейтинга. Тогда у ученых появится мотивация кроме добросовестности, а эффективность рецензии можно будет оценить пост фактум.

                            Полностью анонимной рецензии, мне кажется, сложно добиться. Я имею в виду, когда имена авторов тоже закрыты от рецензентов. А про редактора — у меня есть решение, которое я опишу во второй части. Мне оно кажется интересным.
                              0

                              Есть такая штука, как double-blind peer review. Но это далеко не всегда осмысленно.

                                +1
                                Мне кажется, что часто можно выяснить, кто автор статьи — тема и авторский стиль выдают.
                                  0
                                  Наверно в статье следует отметить, что литературный стиль часто выдает и анонимного рецензента (особенно когда он просит процитировать определённые статьи).
                                    +2
                                    Это тоже верно. Картинка с машиной отлично отражает результат ревизии, я считаю.

                                    До/после рецензии

                                      +2
                                      бывает и такое
                                      мне пришлось столкнуться с подобным рецензентом, который в «рецензии» (я неспроста взял ее в кавычки) потребовал процитировать 14 его статей, слабо связанных с тематикой нашей статьи
                                        +1
                                        14 статей — это прям сильно! Обычно более скромно поступают в таких случаях.
                                          +1
                                          А что это за журнал, если не секрет?))
                                            0
                                            Materials Letters
                                              +1
                                                0
                                                Да, он самый
                                                  +1
                                                  Скопусовский/восовский журнал первого-второго квартилей промышляет подобным…

                                                  Возможно, стоит обратиться в Scopus и WoS: рассказать им об этом. И если этот журнал не успел обрасти большими связями с этими базами, может его и исключат. Это было бы справедливо :)
                                                    +2
                                                    Сам журнал тут ни при чем, т.к. рецензенты обычно подбираются автоматически — это, скорее всего, закидоны конкретного товарища из King Saud University, который привык таким образом наращивать себе Хирш. Но письмо главному редактору про неадекватного рецензента мы всё же написали
                                0

                                Имхо, это нежизнеспособная идея — конкуренция и конфликт интересов быстро сделают свое дело.


                                Системе с внешним стимулом (гранты, позиции итд) обязательно нужен независимый модератор, роль которого в журналах выполняет редакция.

                                  0
                                  Ну он не совсем независимый (иногда совсем не независимый).
                                  Основная компетенция — это рецензенты, то есть те же ученые.
                                    +1

                                    Отнюдь, все адекватные журналы делают редакцию максимально незаинтересованной, как Фемиду. Скажем, Nature Publishing Group берет на полную ставку вчерашних аспирантов, решивших уйти из науки и больше не имеющих в ней корыстных интересов. А American Physical Society наоборот, собирает редакцию из действующих профов по совместительству и расчитывает на их коллективную этику.


                                    Если этого не делать, то не заставят себя ждать превышения полномочий, конфликты интересов и прочие этические прелести, которые журналу совсем не нужны.

                                      0
                                      Но ведь они потом отправляют статью внешним рецензентам, таким же ученым из той же области.

                                      В нынешней системе возможен такой же конфликт интересов.
                                        0
                                        с нынешними возможностями машинного поиска совместных работ и прочих «точек пересечения» авторов и потенциальных рецензентов можно свести конфоликты интересов к минимуму — если такая задача есть
                                  0
                                  можно даже отражать рейтинг комментатора, он не будет сильно деанобитизировать.
                                  будет, нужно обфусцировать.
                            +22
                            Ну что ж, выскажусь: как автор, как рецензент, как редактор (отдельных special issues в журналах). Так что прошу прощения за простыню. По фактуре статья излагает ситуацию вполне корректно, спорить особо не с чем. Однако же я не думаю, что положение вещей в ближайшее время может сильно измениться, но и не унываю, поскольку не считаю его таким уж плохим.

                            Надо понимать, что нет единой «болевой точки»: мы имеем дело с многофакторным явлением, и нет способа починить всё и сразу. Например, если мы признаём, что учёные как-то борются за ранги (зарплаты) и гранты, то должны существовать объективные критерии оценки, то бишь KPI. Если начать ценить не количество и качество «престижных» публикаций, а, скажем, количество лайков в фейсбуке, то люди начнут собирать лайки, перепосты в твиттере и так далее. Эта глубинная проблема, и я не вижу быстрого способа её решить.

                            Возьмём другую её сторону. Университет хочет обеспечить хотя бы минимально допустимое качество диссертаций. Соответственно, от аспирантов требуют какое-то количество «хороших» публикаций. А как понять, что публикация «хорошая»? Ну, значит, она должна быть представлена в «хорошем» журнале/конференции, а стало быть, снова списки, рейтинги и т.п. Я участвую в этих дискуссиях, но радикально иного решения не просматривается, только «подкручивание» критериев.

                            Сюда же попадает вся история с низкокачественными работами: да, конечно, люди готовы срезать углы, лишь бы пробиться. Ну так KPI. Либо отменяйте KPI, либо давайте другие, и через год-два вы будете иметь ровно ту же картину, но с другими побочными эффектами.

                            История с публикационным процессом к ранее сказанному прямо не относится. Это всё же другая тема. Я бы не сказал, что всё так уж архаично: есть масса журналов, печатающих статьи в HTML — с цветными картинками, без колонок, с гиперссылками. Это по сути политика конкретного журнала: если кто-то блюдёт традиции, это их выбор, имеют право. Далее, практически все журналы уже разрешают авторам выкладывать бесплатные препринты. Если автор этого не делает, вины журнала тут никакой нет. Ещё лет 10-15 назад всё было куда менее либерально. Open access тоже новинка, к которой я отношусь сложно, но по крайней мере, эта опция появилась.

                            Пафос же линии мысли «зажравшиеся журналы гребут деньги лопатой за хостинг pdf» я не разделяю. Журнал — это самый обыкновенный бизнес. На рынке журналов сотни и тысячи. Если вы знаете, как сделать лучше — открывайте свой журнал и покажите класс.

                            Утверждать, что всегда платит автор или читатель — неверно. Существуют журналы, которые публикуют бесплатно и выкладывают статьи тоже бесплатно, могу назвать несколько штук без проблем. Обычно такой журнал спонсирует какое-нибудь государственное академическое сообщество, которое позволяет редакции более-менее существовать.

                            Основная работа редакции — это не «хостинг pdf», а всяческая раскрутка собственного бренда, повышение его рейтинга, значимости, популярности и т.п. Это не так просто: надо уметь себя рекламировать, спонсировать тематические конференции (т.е. публиковать бесплатно работы оттуда), давать скидки «хорошим» авторам, приглашать рейтинговых учёных в редакторы и рецензенты, убеждать их посылать статьи именно в этот журнал. Короче говоря, это ровно та работа, о которой прекрасно знает любой производитель товара, за которым «из особенного» есть лишь бренд — будь то кроссовки, кофе или макароны.

                            Собственно, поэтому я и не думаю, что есть предпосылки к революции в способе публикации. Журналы реагируют на происходящее и понимают, что где-то надо отпустить гайки (open access, препринты), где-то придумать новую замануху (быстрое рецензирование, скидки) и так далее. При этом ценность состоит именно в бренде, в вере учёных и администраторов, что конкретно в этом журнале публикуются приличные работы, и публикация в нём может считаться успехом для учёного. С технической же точки зрения создать свой «убер» несложно, но проблема же не в технике, а в том, что раскрутка и поддержка бренда — это большой труд, который на сегодняшний день готовы взять на себя в основном коммерческие организации, ну и успешны в этом тоже в основном они.
                              +2
                              Спасибо за развернутый комментарий, это особенно ценно, ведь вы представляете тему и с позиции редактора в том числе.

                              Я согласен, что все упирается какой-то KPI. Но мне очень не нравится выбор в качестве основной величины импакт-фактора. И я в этом не одинок, например, нобелевский лауреат Рэнди Шекман (и его журнал eLife) выступает против такого способа категоризации статей. Часть документального фильма «Paywall: The Business of Scholarship» тоже посвящена роли импакт-фактора в современной науке.

                              Мне кажется, что выбор этого KPI и должен быть одной из ключевых задач для различных грантовых организаций. Но я уверен, что этот параметр должен оценивать напрямую статью, а не журнал. Согласен с вами, что под любой параметр люди будут оптимизировать свою работу. Но тем важнее выбрать этот параметр с умом.

                              А про «хостинг pdf» — это было, конечно, преувеличение. Я лишь имел в виду, что сейчас уже так много возможностей для работы с информацией, а мы пользуемся лишь ограниченным набором.
                                +3
                                Мне кажется, что выбор этого KPI и должен быть одной из ключевых задач для различных грантовых организаций.

                                Ну он, в общем-то, и сейчас различный. Например, основной тип государственного гранта у нас (это в Японии, где я работаю) в принципе не подразумевает никаких KPI: мы просто пишем план проекта, его оценивают некие эксперты и выдают заключение: финансируем или нет. Здесь нет работы на рейтинг, но есть совершенно определённая лотерея: сложно понять, что рецензентам понравится. Например, для них есть критерий «актуальность работы» или «реалистичность плана». Я уже много лет пишу эти заявки и каждый раз остаюсь в полном недоумении, как они это вычисляют. Ну вот мне задача кажется актуальной, а рецензенту неактуальной, хоть ты тресни.
                                  +1
                                  Не знал, что в Японии статьи не влияют на оценку проекта, это очень интересно. Но насколько я слышал, в Японии организация науки во многом отличается от европейской, например.

                                  А заменить KPI на рецензию — интересный подход, но как это сработает в России, я боюсь предсказать.
                                    +2
                                    Я вообще заканчивал университет в Европе и тоже участвовал там в разного рода грантах, но не помню, чтобы как-то это было завязано на статьи. Ну, в смысле, конечно, как автор плана проекта я должен доказать, что я в этой области специалист (вот мои публикации по теме, видите). Но всё равно мы сочиняли некий текст, этот текст шёл на рецензирование, и там как-то его уже оценивали. В Японии, на мой взгляд, всё более-менее как везде, со своими особенностями, конечно.

                                    В России «грант» — это вообще что-то запредельно странное. Поправьте, если ошибаюсь, но российские коллеги рассматривают гранты как своего рода «премии», т.е. по итогам года тебе дают денег, и тем самым ты можешь повысить себе зарплату.

                                    В Японии мы (да и в Европе так было) не можем взять и себе выплатить денег из гранта. Грант даётся не для набивания кармана, а на выполнение проекта. Соответственно, часть заявки на грант — это бюджет, в котором мы указываем: столько-то денег пойдёт на поездки на конференции, столько-то на покупку оборудования, столько-то на гонорары исполнителям (не нам) и т.п.
                                      +1
                                      Из личного опыта, я могу сказать только про молекулярную биологию в России и немного в Германии.
                                      В тех лабораториях, где я работал, основная часть денег по грантам шла на реактивы, расходники и чуть меньше на приборы (большая часть дорогой техники покупается за специальные гранты).
                                      Конечно, бонусы к зарплате из грантов в России платят, но в нашей лаборатории это меньшая часть расходов, на сколько мне известно.
                                      Большая проблема с надбавками из грантов в России то, что они очень непрозрачны. В гранте прописан лимит денег на надбавки, но платить можно любому сотруднику почты любую дополнительную сумму. А можно и не платить, соответсвенно. Это на усмотрение руководителя проекта.

                                      Везде надо писать заявку на грант и подробное описание проекта, но проекты ученых с лучшим списком статей имеют решающее преимущество по моему опыту. При отчете по гранту в России основной критерий — число статей, импакт-фактор служит коофициентом (статьи с высоким импактом считаются за две).
                                        +1
                                        Ну, да, понятно, что если рецензент видит, что заявка идёт от человека с хорошим послужным списком, он склонен больше доверять ей. Тут уж что сделать — сначала ты работаешь на зачётку, потом зачётка на тебя, ничего нового.

                                        А что значит «критерий при отчёте по гранту»? Когда я пишу отчёт, это же… гм… отчёт, деньги уже потрачены, и написать я могу по сути что угодно, эти отчёты у нас уже ни на что не влияют, и даже вряд ли кто их читает.
                                          +5
                                          В России, в заявке на грант обещают определенное число статей. Если при отчете статей не хватает, то следующий грант могут уже не дать. (Тут зависит от масштабов недосдачи)
                                            +2
                                            Отчет также оценивается — как по субъективным показателям, так и по количественным: при подаче заявки я должен указать (а часто это прямым текстом забито в условиях гранта), сколько статей я опубликую за каждый год и за весь грант, в скольких конференциях поучаствую и т.д. за невыполнение этих индикаторов могут:
                                            — пожурить и потребовать довыполнить на следующий год
                                            — признать итоги этапа неудовлетворительными и не продлить грант на следующий год
                                            — признать итоги этапа неудовлетворительными и потребовать возврата части либо полной суммы гранта (лично мне такие случаи неизвестны, но в договорах всегда это прописывают — на всякий случай). В одном из моих грантов есть даже вот такое приложение к договору с Формулой расчета штрафных санкций в рублях:
                                            Картинко
                                            image
                                            +1
                                            В Германии в structural molecular biology большая часть грантов идёт на зарплаты. Дорогие приборы из отдельных грантов. Реактивы — второстепенный расход. Оно и понятно, один месяц пост-дока стоит тысяч 6 евро.
                                            +2
                                            В России при подаче гранта ты тоже составляешь смету, где расписываешь, на что будешь тратить выделенные деньги: столько-то на оплату труда членов коллектива, который выполняет грант, столько-то — на налоги на эту оплату труда, столько-то — на конференции, на реактивы и т.д., отдельная строка — накладные расходы (часть, которую забирает себе организация за то, что предоставляет место и оборудование, обычно 10-20% от общей суммы).
                                            Проблема в том, что бОльшая часть «массовых» грантов — это смешные по европейским меркам суммы в 10-15 тысяч долларов в год на коллектив 4-6 человек. Поэтому никакого оборудования на эти деньги не купить, а на зарплату реально выходит по 100-150 баксов в месяц.
                                              0
                                              Проблема в том, что бОльшая часть «массовых» грантов — это смешные по европейским меркам суммы в 10-15 тысяч долларов в год на коллектив 4-6 человек.

                                              Ну, например аспирантский грант РФФИ — это 600к (т.е. близко к $10000) в год не на коллектив, а на аспиранта. Думаю, достаточно массовый (с прошлого года).
                                                +4

                                                Тут я что-то опять вспомнил свой РФФИ «Мой первый грант», на который мы подавались группой из трёх человек курсе на пятом, и в итоге получили типа 14 тысяч рублей на троих в месяц в течение года. Хорошо хоть, что все деньги пошли на зарплату, так как мы типа математики, а там как в


                                                анекдоте

                                                Ректор университета смотрит на смету, которую ему принес декан физического факультета, и, вздохнув, говорит:
                                                — Ну почему физики всегда требуют такое дорогое оборудование? Вот, например, математики просят только бумагу, карандаши и ластики.
                                                Подумав, добавляет:
                                                — А философы, те ещё лучше, им даже ластики не нужны.

                                                  0
                                                  Из этих 600к нужно вычесть накладные расходы (10-20%), а из оставшихся денег, если пустить их все на зарплату, — еще порядка трети на налоги (ндфл, социалка). Так что «чистыми» остается чуть больше половины.
                                                    0
                                                    В общем согласен с вами, чистыми всегда выходит заметно меньше. Только небольшое уточнение — РФФИ считает, что гранты не облагаются социальными налогами.
                                                    Таким образом, по мнению РФФИ, выплаты средств гранта членам научного коллектива — грантополучателям не являются объектом обложения страховыми взносами, поскольку не обладают признаками, предусмотренными частью 1 статьи 7 Федерального закона N212-ФЗ и частью 2 статьи 420 НК РФ.

                                                    Вообще для всех грантов это по-разному работает. Подробнее про это здесь.
                                                      +3
                                                      Да, я забыл, что РФФИ уже пару лет как «просто дает деньги», у нас же есть такой грант в лаборатории. Вот с «президентского» гранта МК (тот, что со штрафными санкциями выше) налоги выплачиваются.
                                                        0
                                                        РФФИ, после нескольких лет «смягчения», в ряде конкурсов вновь закручивает гайки, и все деньги идут строго через организацию, выплату з/п и соответствующие налоги.
                                                        Впрочем, в свете все большей вероятности ликвидации РФФИ либо значительного урезания его конкурсов, это отъодит на второй план
                                                      0
                                                      В РФФИ-Аспиранты, про который я писал, накладных расходов нет (либо их как-то уж совсем неявно вычли :) ).

                                                      Ну и основная суть моего сообщения была в том, что есть популярные гранты, в которых явно больше средств чем $10k на 6 человек в год.
                                                        +1
                                                        а из оставшихся денег, если пустить их все на зарплату, — еще порядка трети на налоги (ндфл, социалка)

                                                        НФДЛ с грантов не платится, а с грантов РФФИ — ещё и соцвзносы.
                                                        А ещё есть предельная база по соцвзносам. Выплаты студентам намного проще оформлять, выводя деньги через одного человека — и взносы ниже, и бумагомарательства меньше.

                                                          0
                                                          Сегодня перепроверил — с гранта «МК» Минобрануки НДФЛ удерживается, увы.
                                                      +1
                                                      Проблема в том, что бОльшая часть «массовых» грантов — это смешные по европейским меркам суммы в 10-15 тысяч долларов в год на коллектив 4-6 человек.

                                                      … которых можно набрать сразу несколько и обеспечить себе нормальную зарплату. Сравните это с западным подходом, где основной грант, с котором платится зарплата, только один.

                                                        0
                                                        Кто бы их так щедро раздавал, чтобы можно было так просто «набрать»…
                                                          +1

                                                          Пару лет назад у нас была обычная ситуация: грант РНФ, пара-тройка грантов РФФИ, какой-нибудь коммерческий проект. А вот сейчас по грантам РФФИ выросло финансирование, зато стало невозможным участие в нескольких грантах.

                                            +1

                                            Главная проблема научных публикаций — в том что вся эта система представляет из себя бюрократизированное legacy. И дело не в каких-то конкретных аспектах, а во всей системе целиком.
                                            Есть современные методы публикации своих работ — в интернете — тот же хабр, а так же много других сайтов (форумы, блоги). Они не представляют из себя развитие устаревшего хлама из позапрошлого века, а построены с нуля в новых реалиях и под новые потребности. Но инерция велика, и люди (и гос. структуры), привыкшие к той системе, предпочитают в ней и оставаться (у них слишком много всего завязано на её систему понятий), да ещё и вербуют туда пополнение из новых поколений.

                                              +2
                                              Согласен с вами. И некоторое наследие тянется еще, не то что из 20, а из 19 века. Пример Хабра и других сходных проектов как раз и позволяет представить, как более оптимальная система могла бы работать.

                                              Но у научных статей есть своя важная специфика, самое главное — это рецензирование. О том, как все эти части собрать вместе, я хочу поговорить во второй части статьи.
                                                0

                                                А вы хотите просто поговорить или потом и реализовать?

                                                  0
                                                  Я бы хотел реализовать, но все мои хотелки — это слишком жирно, не уверен, что у меня это выйдет. Но разные варианты можно попытаться реализовать на базе существующих проектов. Может быть, даже частичная реализация будет интересна.

                                                  Я более подробно расскажу во второй части статьи.
                                                +17
                                                Вы излагаете очень популярную точку зрения, но я не могу с ней согласиться. Вот у меня есть некий текст. Почему я его выложу на Хабр, а не на свой личный дневничок? Там нет НЛО, там не повесят левый рекламный баннер и т.п. Одна из причин — это потому, что я хочу, чтобы мою статью прочитало как можно больше людей из моей целевой аудитории. Это и есть мой собственный KPI для себя.

                                                Формат сайта типа Хабра — не «более современный» в противоположность «архаичному», он просто другой. Если завтра учёным скажут, что их задача — это именно выдать текст на как можно более широкую аудиторию и собрать как можно больше лайков, это будет сделано, никаких проблем. Тут же появится свой SciHabr. Но я сильно сомневаюсь, что результат вас обрадует. Статья же будет специально затачиваться ровно под эту цель, что для содержания не всегда хорошо.
                                                  +2

                                                  Что думаете по поводу вики-формата? Люди могут исправлять ошибки в чужих статьях, расширять их. Знания аккумулируются эффективнее: мне кажется, сейчас существенная проблема в статьях — в каждой есть длинное вступление с примерно одинаковыми вводными, но при этом у каждого разная терминология и обозначения, а также повторение чужой работы, когда люди просто не знают про нее (или осознанно игнорируют чтобы опубликовать что-то самим, не знаю).

                                                    +7
                                                    Лично мне больше нравится вариант с комментариями. Все таки в науке важно, что у статьи есть автор, который несет за нее ответсвенность.
                                                      0
                                                      Раньше даже в журналах была печаталась небольшая дискуссия. Сейчас есть такой тип статей «комментарий к статье» и ответ на него. Но это вымирающий жанр.
                                                        0
                                                        Я очень мало таких видел, и все старые. Сейчас только превью делают.
                                                        Да и можно это делать быстрее, если ты хочешь только дать комментарий, его необязательно через весь цикл статьи пропускать.
                                                      +5
                                                      Смотрите. Абсолютно все способы организации знания имеют право на жизнь. Вики — это на данный момент способ организации «третичных источников», то есть в Википедии по факту действительно «аккумулируется» некоторое знание. Вскрылись новые факты — добавили об этом абзац.

                                                      Формат статьи — это «публон», т.е. единица публикуемого исследования, например, один эксперимент. Я пишу: вот есть такая-то ситуация в мире, в которой имеется проблема А. При помощи метода Б я хочу эту проблему решить. Предлагаю метод такой-то, вот я проделал такой-то эксперимент, получил результаты, делюсь.

                                                      Выложив статью, я уже теряю к ней интерес, потому что на повестке дня у меня уже другой эксперимент и другая задача. Если кому-то захочется взять мою статью (сославшись) и написать свою — я только счастлив, для этого и работаем. Если кто-то нашёл ошибку или хочет подискутировать — ну в теории интересно, но на практике вряд ли я буду ходить по своим старым статьям и смотреть, кто чего туда написал. На хабре тоже никто не комментирует статьи годовалой давности.

                                                      Вики-формат, пожалуй, хорошо бы подошёл для знания вида «state of the art в такой-то области». Например, меня интересует… ну не знаю, распознавание объектов на картинках. Вот если бы была актуальная вики-страница, которая бы перечисляла, какие методы на сегодняшний день являются наиболее эффективными (с обсуждением, ссылками на код и т.п.) — это действительно было бы очень здорово. Зачатки таких страниц существуют, например, всякие awesome списки.
                                                        +5
                                                        Если кто-то нашёл ошибку или хочет подискутировать — ну в теории интересно, но на практике вряд ли я буду ходить по своим старым статьям и смотреть, кто чего туда написал. На хабре тоже никто не комментирует статьи годовалой давности.

                                                        С моей ненаучной точки зрения это выглядит как серьезное профессиональное искажение, вызванное тем самым "статейным" форматом. Не иметь дела до ошибок в научной работе — заботиться не о пользе от статьи, а о традиционных научных KPI. Может, ошибка вообще опровергает весь результат — но уже не важно, ведь статья опубликована, и цитаты были.


                                                        По поводу дискуссии: вики-формат не предполагает gatekeeping со стороны автора статьи, только со стороны редакторов/модераторов раздела. Поэтому если автор уже думать забыл про ту область, проблем нет — модератор проверит валидность правки. Если никто не может проверить валидность правки — это и следует отразить, мол, тут научного консенсуса нет.


                                                        Это все придумал не я, конечно, половина книги Reinventing Discovery посвящена вики.

                                                          +2
                                                          Не иметь дела до ошибок в научной работе — заботиться не о пользе от статьи, а о традиционных научных KPI. Может, ошибка вообще опровергает весь результат

                                                          Всё не так плохо. Ну вот смотрите, я разработал метод решения задачи, который обладает какими-то там свойствами, черкнул статью. Допустим, в этой статье ошибка, и я (например) указал более высокую производительность метода, чем он даёт на самом деле.

                                                          Дальше происходит следующее. Кто-то другой разрабатывает метод, который по всем параметрам лучше моего, и значит, до моего метода уже никому дела нет. Либо, если оказывается, что мой метод никто не может превзойти, то другой человек пишет статью со своим методом, и при этом обосновывает превосходство своего, указывая на то, что результаты предыдущего лучшего (моего) ему не удалось воспроизвести. А читатель в любом случае ориентируется на «свеженькое».

                                                          В любом случае я повторю то, что говорил насчёт вики ранее: это совершенно прекрасно как третичный источник. Вы предъявляете слишком суровые требования к людям, которые добросовестно что-то там делают и публикуют результаты. Но к ним надо относится как к «альфа-версии» софта: используйте на свой страх и риск. Потом это всё обобщается и излагается, например, в учебниках. Вот туда уже более-менее консенсусные вещи попадают, потому что их авторы изучают весь корпус публикаций и смотрят, где результаты сходятся, а где что-то малореальное отрапортовали.
                                                            –1
                                                            Дальше происходит следующее. Кто-то другой разрабатывает метод, который по всем параметрам лучше моего, и значит, до моего метода уже никому дела нет. Либо, если оказывается, что мой метод никто не может превзойти, то другой человек пишет статью со своим методом, и при этом обосновывает превосходство своего, указывая на то, что результаты предыдущего лучшего (моего) ему не удалось воспроизвести. А читатель в любом случае ориентируется на «свеженькое».

                                                            Тогда всё что вы делаете бесполезно получается.
                                                            Вообще большинство статей реально бесполезны, я работаю в технической сфере, инженерии, в большинстве статей всё даётся в относительных величинах, обороты, напряжения и пр. ибо реальные данные не пропускает служба безопасности причём и у нас и на западе (почти все работы с промышленностью либо по их заказу), толку от этих статей — никакого. Отчётов по экспериментам нет вообще (спасибо NASA у них одних есть и открытым диссертациям, там тоже попадается, но редко). Максимум для чего полезны — сделать обзор что сейчас актуально либо найти автора и напрямую с ним связаться.
                                                            Использовать статью в своих исследованиях — невозможно. Может в других областях немного по другому, но в технических именно так.
                                                              +1

                                                              Почему бесполезны? Инкрементальные улучшения же.

                                                                0
                                                                Ну в вашей области может, так и есть (из-за вопросов безопасности), но какие-нибудь ныне хайповые deep learning networks в больших количествах лежат на гитхабе (статья + код), так что бери и пользуйся. И каждые несколько месяцев появляется улучшенная версия того или иного подхода.
                                                            0
                                                            На хабре тоже никто не комментирует статьи годовалой давности.
                                                            Комментируют, но хабр не предоставляет инструментов для удобного выявления этих комментариев. По факту только автор статьи, те, кто комментировал статью или подписался на неё, и случайные захожане будут уведомлены.
                                                            Я думаю, люди это понимают и потому количество оставленных комментариев существенно меньше, чем могло бы быть. Но даже так они есть.
                                                              +2
                                                              Есть хороший пример того, как комментарии к статьям работают сейчас. Речь о комментариях в стиле Хабра, а не традиционных, в формате статей. Вот в этой работе www.nature.com/articles/nature14295, в Nature, на секундочку, авторы показали, что между двумя слоями графена вода формирует квадратную решетку. Потом им указали, что то, что они видели с помощью электронного микроскопа, может быть растворенной в воде солью, которая кристаллизовалась между слоями графена. И образует как раз такую же квадратную решетку. Авторы написали комментарии к статье, что да, все так, никак опровергнуть не можем. Но статья отозвана не была и продолжает висеть в журнале и резюме авторов…
                                                                +1
                                                                Ну а почему она должна быть «отозвана»? Она является частью научного процесса. Давайте тогда сотрём работы Дарвина и Ньютона — там тоже полно ошибок. Это не так работает: новое наслаивается на старое, и если вы ссылаетесь на работу, скажем, десятилетней давности, то на ваши плечи ложится задача убедиться, что за десять лет ничего не было опровергнуто.
                                                                  +1
                                                                  Потому что авторы фактически признали, что их результат неверен — нет никакого square ice'a. Поэтому нужно было отзывать статью, или, как минимум, выпускать corrigendum. Однако этого не сделали, а в комментариях написали «ну сорри, ошиблись, че». Думаю, тут еще сыграло то, что статья опубликована в Nature, да еще и от группы Нобелевского лауреата.
                                                                    +1
                                                                    Давайте разложим. Во-первых, не «признали, что неверен», а сказали, что «и такая интерпретация возможна». Во-вторых, не будем пенять на нобелиатов и Нейчур — я бы на их месте поступил ровно точно так же даже в случае третьесортного журнала.

                                                                    Поступок типа «отзовём статью» в принципе не ожидается в данном случае. Я даже не знаю, как на внятном примере объяснить. Ну, например, вот у вас есть высшее образование? Если есть, вы писали дипломную работу, а если бы вы её не защитили, то и образования бы не было. Уверен, если её внимательно прочитать, наверняка там можно найти ошибку, которая портит всё дело. А если не у вас, то у вашего друга/брата/коллеги. Значит, что, отменяем диплом? А есть и похуже случаи. Аспирант обязан опубликоваться, чтобы защититься. Опубликовался, защитился, работает уже где-нибудь научным сотрудником. В статье нашли ошибку: отзываем статью, отзываем диссертацию, отзываем учёную степень, увольняем его? Мир не может так работать.

                                                                    Журнал — это как бы «заказчик». Авторы выполнили работу на заказ и прошли по всем требованиям. Тестеры ничего не заподозрили, работа принята. Через полгода авторам говорят: так тут критический баг! Давайте, не знаю, деньги верните, из резюме строчку «внедрили крутой проект» выбросьте, ну или переделайте всё. Переделать вы не можете — полгода прошло, у вас уже совсем другие дела, которые весь день занимают, а выкидывать проект из резюме — с чего бы? В данном случае это удар по репутации журнала, который такое пропустил, а не автора. В следующий раз будут аккуратнее.
                                                                      +1
                                                                      Значит, что, отменяем диплом?

                                                                      Да нет конечно, никто такого делать не будет — отозвали статью, а диссертация осталась. Отзыв может повлиять на карьеру опытных ученых, ну так их дело следить за достоверностью результатов.
                                                                      Переделать вы не можете — полгода прошло, у вас уже совсем другие дела, которые весь день занимают

                                                                      Ну, так это называется ответственность. Придется плюнуть на все дела и переделать. Или вычеркнуть строчку из резюме. Иначе как — «мы ему звонили, но он очень занят, пусть статья остается.»?
                                                                        +1
                                                                        Вы удобным образом отвечаете только на те вопросы, на которые можно дать удобные ответы.
                                                                        Ещё раз: аспирант получает степень только по факту публикации в журнале, невозможна ситуация «статьи нет, а степень PhD есть». Соответственно, я не представляю себе сценарий «статью отозвали, степень осталась».

                                                                        Ну, так это называется ответственность. Придется плюнуть на все дела и переделать.

                                                                        Ну опять же. То есть вот вы на полном серьёзе говорите, что к вам приходит заказчик и говорит: вы тут год назад проект сделали, а там, оказывается, ещё на месяц работы. Давайте вернёмся к этой теме? Ладно вы в отпуске на пляже, «ответственность» и всё такое. Но у вас теперь новый заказчик, и перед ним тоже ответственность.

                                                                        Ну и, опять же, возвращаемся к нашим друзьям Дарвину и Ньютону. Их давно опровергли в деталях. Что с ними делать? А что делать с теми, кто на них ссылается? Учёный не занимался фабрикацией результата, он не плагиатил и не мошенничал. Он честно ошибся, бывает. Проверяющие ошибку не заметили, не его вина.

                                                                        Я понимаю, что вам это всё может не нравиться, но я просто пытаюсь донести, как работает система, не стреляйте в пианиста.
                                                                          +1
                                                                          Не согласен с вашей основной мыслью, мне тоже кажется, что ученые должны нести ответственность за свои публикации. Не обязательно все переделывать или исправлять, но отозвать статью с ошибкой и получить за нее минус в карму — мне кажется правильным решением.

                                                                          аспирант получает степень только по факту публикации в журнале, невозможна ситуация «статьи нет, а степень PhD есть».

                                                                          Справедливости ради отмечу, что в разных странах это работает по-разному. В Германии и Великобритании, например, можно защищаться совсем без статей — только написав тезис и получив согласие руководителя.
                                                                            0

                                                                            В обсуждаемой статье нет ошибок. Есть альтернативная интерпретация налюдений, о чём, как я понял, авторы и написали.


                                                                            PS: Что там со второй частью, кстати? :)

                                                                              +1
                                                                              Я скорее имею в виду общую ситуацию, когда ученый отвечает за свои статьи. Случаются и более серьезные нарушения ведь.

                                                                              Если говорить о данном примере, насколько я понял, это не просто альтернативная интерпретация, а плохой дизайн эксперимента, который компрометирует выводы статьи, делая их недостоверными.

                                                                              Я как раз заканчиваю вторую часть. Хочется в нее включить дополнительные рассуждения, основанные в том числе на данной ветке комментариев. Надеюсь, завтра или в понедельник будет готова.
                                                                                +2
                                                                                Это был бы благородный поступок, конечно. Но я просто думаю, что по умолчанию на такое поведение не приходится рассчитывать, потому что оно выходит за рамки стандартных поведенческих норм. Нашли ошибку в статье? Прекрасно, пишите свою статью на основе моей, громите там её и опровергайте. У меня будет статья, и у вас тоже, win-win.
                                                                                  +3

                                                                                  К сожалению, даже такой подход сейчас работает не очень хорошо. Удивительно, но даже такая критическая статья будет считаться цитированием исходной. То есть работать ей в плюс. Если наберется больше критики, то это будет иметь эффект. Но это процесс небыстрый.

                                                                                    +1
                                                                                    Да, это один из самых крупных недостатков современной системы публикаций, о котором обычно не пишут. Вместо законченного исследования статья превращается в лучшем случае в короткое сообщение, а то и вовсе в приглашение подискутировать.
                                                                                      +1

                                                                                      Это не недостаток, это огромное преимущество.


                                                                                      Наука — она про долгий и тернистый путь к полезным истинам маленькими шагами. Каждый шаг дает коллегам/конкурентам понимание того, что можно сделать и куда надо копать, а зачастую приводит в игру новых людей из смежных областей с другим опытом и новыми идеями. Поэтому маленькие шажки гарантируют рост в геометрической прогрессии.


                                                                                      В принципе разницу хорошо видно, если сравнить темпы роста мировой академии (где в порядке вещей дикая мобильность людей между группами и странами) с советской/российской (это когда ты в 20 лет пришел в НИИ студентом, а в 95 тебя из него же вынесли академиком).

                                                                                0
                                                                                В том-то и дело, что эта альтернативная интерпретация является более вероятной и опровергает саму работу. И было бы хорошо, если бы у авторов такая «хитрая» статья была только одна.
                                                                              +1
                                                                              Соответственно, я не представляю себе сценарий «статью отозвали, степень осталась».

                                                                              Да, при отзыве статьи, как я понимаю, степень также могут аннулировать. Это уже случалось, но в более тяжелых случаях недобросовестности.
                                                                              вы тут год назад проект сделали, а там, оказывается, ещё на месяц работы.

                                                                              А вот это зависит от договора, заключенного между вами и заказчиком. Если там гарантийные сроки, которые еще не прошли, то да, нужно все бросить и исправлять. Давайте представим, что по заказу вы спроектировали жилой дом. Пока заказчик согласовал все разрешения, пока привез технику и стройматериалы… И тут выясняется, что из-за грубой ошибки в проекте дом сложится сразу, как будет построен. Тут как, нужно переделывать проект или «ну бывает...»?
                                                                              Договор между ученым и обществом предусматривает «бессрочную» ответственность. Т.е. да, если ученый где-то накосячил, а через 10 лет всплыло, то нужно хотя бы написать corrigendum.
                                                                              возвращаемся к нашим друзьям Дарвину и Ньютону. Их давно опровергли в деталях.

                                                                              Ох… Тут я даже не знаю, с чего начать…
                                                                              1) Опровергли? Да ну? Т.е. законы Ньютона уже не выполняются?
                                                                              2) Вы правда хотите сравнивать работы Ньютона и очередную статью в Nature?
                                                                              3) Даже если в какой-то конкретной работе Ньютон допустил ошибку (а он еще эзотерикой всякой занимался, так что вполне возможно), то эта работа также должна быть отозвана.
                                                                              Он честно ошибся, бывает.

                                                                              Ну так это нужно честно признать и отозвать работу. Это ведь даже не проходная статья в «Мурзилке». Это статья в одном из ведущих журналов, которая претендует на открытие фундаментальной вещи — изменение кристаллической структуры воды в условиях пространственных затруднений. Это главный результат их работы. И тут выясняется, что результата нет. В комментариях авторы все признают, но на формальные показатели-то это не влияет, а это и есть ответственность.
                                                                              Опять же, будь это статья в «Мурзилке», то никого бы такое положение дел не волновало. Но это статья, повторюсь, в ведущем журнале и от известнейшей группы по этим вопросам. Они должны давать пример этичного поведения, а не выкручиваться.
                                                                                +1
                                                                                Это уже случалось, но в более тяжелых случаях недобросовестности.

                                                                                Правильно, ключевое слово — «недобросовестности». Санкции наступают при мошенничестве/плагиате, а не при добросовестном заблуждении. Авторов не ловили за руку, их ошибку пропустили рецензенты (и это, кстати, крайне удивительно, что такая простая дыра не бросилась в глаза рецензентам Nature).

                                                                                А вот это зависит от договора, заключенного между вами и заказчиком.

                                                                                Полностью согласен!

                                                                                Договор между ученым и обществом предусматривает «бессрочную» ответственность

                                                                                А вот это поворот! Где это написано?

                                                                                Здесь работает иная система, скорее, по принципу гитхаба. Если у кого в проекте нашлась ошибка, конечно, можно автору написать и надеться, что он исправит. Но в целом нет ожидания, что будет проявлена «ответственность» или «сознательность», максимум — добрая воля. А так — вон в углу кнопка Fork, любой может провести следующее исследование, исправить баги, добавить своего чего-нибудь.

                                                                                Опровергли? Да ну? Т.е. законы Ньютона уже не выполняются?
                                                                                Законы выполняются, но да, есть и эзотерика — для него предсказание движения планет были таким же расчётом, как и расчёт конца света в 2060 году (ну, подождём ещё, впрочем). А Дарвин, например, считал, что некоторые приобретённые признаки (накачанные мускулы, напр.) наследуются, что в этом такого? Учёный всего лишь генерирует в мир некий комплекс идей, и дальше уже работа других отсечь оттуда мусор.

                                                                                Если стать на вашу сторону, то абсолютно любая работа, скажем, 200-летней давности содержит ту или иную дичь — эфир, флогистон, какие-нибудь шарики, упругие среды и прочее тому подобное. С точки зрения современной науки везде там есть ошибки. Но беда в том, что на этих работах построены следующие, и таким образом, по цепочке надо отозвать вообще всё. Где же мы остановимся?

                                                                                На месте автора, у которого нашли ошибку, я бы сказал: прекрасно, ребята, молодцы. Можете теперь написать свою статью с разбором моей. Такой вот блокчейн получается. Или гитхаб, чего ж тут дурного.
                                                                                  +2
                                                                                  Здесь работает иная система, скорее, по принципу гитхаба.

                                                                                  Я все же не могу с вами согласиться. На гитхаб пишут в свободное от работы время и за свой счет. А статьи пишутся в рабочее время и за государственный. Если условный Вася работает в MS и его задача пилить open source за деньги MS, то в случае ошибки с него спросят и попросят переписать. С наукой такая же история.
                                                                                  Я не говорю, что за любую ошибку нужно линчевать и лишать званий. Но если обнаружена существенная ошибка, опровергающая заявленные нетривиальные результаты, то задачей и научного сообщества, и ведущих журналов, и гос. органов (в лице грантовых агентств) я вижу отзыв такого исследования. В первую очередь, конечно, Nature должен следить за статьями у себя и требовать отзыва.
                                                                                  Но я понимаю, что в реальности это работает совсем по-другому. Чтобы опубликовать статью в Nature/Science, нужно иметь «кликбейтный» заголовок и содержимое. Что вынуждает авторов совершать громкие заявления. А сами журналы, конечно, не заинтересованы в отзыве статей. Вот это мне и не нравится.
                                                                                  Во-вторых, это не первая статья в топовых журналах от «Манчестерской группы», в которой они не брезгуют определенными манипуляциями для получения красивого результата. Почему так происходит, всем понятно, но я против такой практики.
                                                                                  Учёный всего лишь генерирует в мир некий комплекс идей, и дальше уже работа других отсечь оттуда мусор.

                                                                                  Хех, тогда на каком основании не принимают к публикации работы по вечному двигателю, энергии вакуума, архиватору Бабушкина? Это ж тоже комплекс идей, а если кому не нравится, пусть публикует опровержение. Зато красота какая будет, у каждого хирш до 200 вырастет на таких работах.
                                                                                  любая работа, скажем, 200-летней давности содержит ту или иную дичь

                                                                                  Ну так о том и речь, что на свое время это были передовые работы. А ошибочность выявили спустя 200 лет. А тут в течение года, есть ведь разница?
                                                                                  На месте автора, у которого нашли ошибку,

                                                                                  Мы с вами расходимся в понимании ключевого момента. Ошибки есть в каждой работе. Но если ошибка полностью опровергает всю работу (а именно это имеет место в описанном случае), то такая работа должна быть отозвана.
                                                                                    +1
                                                                                    то в случае ошибки с него спросят и попросят переписать. С наукой такая же история.
                                                                                    Верно. Просто в данном случае «просят» какие-то невнятные комментаторы. А просить должен либо журнал Nature, либо непосредственный работодатель.

                                                                                    В первую очередь, конечно, Nature должен следить за статьями у себя и требовать отзыва.
                                                                                    Да, согласен.

                                                                                    Хех, тогда на каком основании не принимают к публикации работы по вечному двигателю, энергии вакуума, архиватору Бабушкина?
                                                                                    Ну так я ж говорю — «а работа прочих — отсечь мусор». Я ни слова не скажу против, если статью не пропускает рецензент или отзывает журнал Nature. А тут вы хотите от Бабушкина, чтобы он не придумывал свои архиваторы. Да пусть придумывает! На то и рецензент, чтобы это дело фильтровать.

                                                                                    А тут в течение года, есть ведь разница?
                                                                                    Да, есть. Вот я и спрашиваю: где внятные правила игры? В течение года можно? Или двух? Или десяти? Когда можно считать, что всё, статья «в корпусе», и её уже не вычеркнут задним числом по научным или политическим основаниям, например? Десять лет всё хорошо было, а потом внезапно оказалось, что всё плохо?..

                                                                                    Мы с вами расходимся в понимании ключевого момента
                                                                                    Не знаю, думаете? Я вполне согласен, что такую работу, вероятно, можно и отозвать. Но не стоит заставлять делать это автора — пусть это делает журнал, причём по чётким и прозрачным процедурам. А то, опять же, велик соблазн в случае чего и политически надавить: получили взрывоопасные результаты, опубликовали, а потом автор «сам захотел», и статья пропала, можно такое тоже вообразить себе.
                                                                        +2
                                                                        Если основные вывода статьи ставятся под сомнение и у авторов нет аргументов что бы отстоять свою позицию, то стандартный подход в таком случае — это отзыв статьи.
                                                                        Если статья содержит ошибку которая опять же компрометирует один из основных выводов статьи — статья опять же отзывается.
                                                                        Это стандартная практика, за примером далеко идти не надо — вот два свежих отзыва, один из-за неоднозначности, другой из-за ошибки: retractionwatch.com/2020/07/22/a-big-nature-study-on-a-tiny-dinosaur-is-being-retracted

                                                                        Для мелких и незначительных огрешностей и сомнений есть схема сomment + reply.

                                                                        Проблема в том, что в этот механизм иногда влазит бюрократия и политика. На примере теж же журналов Nature (да и почти всех других) формально статью отзывает не журнал, а авторы. Если авторы, или их организации, начинают сопротивляться, то начинаются неоднозначности. Тут отозвали, там не отозвали, там рыбу завернули. В квантовом контроле есть широко известный пример не отозванной статьи в высокопрофильном журнале, которая однозначно не верна. При этом автора-руководителя давно за это выперли, несколько других работ в других журналах отозвали, а эта одна осталась потому что универ стал в позу. ЕМНИП (детали уже не помню точно) потому что в случае отзыва пришлось бы отбирать PhD первого автора, а он невиноватый, пообещал физикой не заниматься, наукой тоже, и вообще пожалейте его.
                                                                          +1
                                                                          Если основные вывода статьи ставятся под сомнение и у авторов нет аргументов что бы отстоять свою позицию, то стандартный подход в таком случае — это отзыв статьи.

                                                                          Смотрите, я жму руку тем, кто проявляет высокие стандарты морали и нравственности и отзывает статью. Я всего лишь говорю, что это исключительно вопрос доброй воли. Подали статью, только-только приняли, нашли баг, пошли на попятный, молодцы.

                                                                          Но в целом так далеко не уйдёшь, потому что ошибку можно найти через десять лет, и через двадцать, и через пятьдесят; авторы могут уже давно быть на пенсии или на том свете, на статью может быть over 10500 ссылок, в том числе и с критикой статьи, поэтому хорошо бы ей оставаться в доступе, чтобы было ясно, что вообще критикуется.

                                                                          Ну и сам подход, когда автор читает какие-то там комменты на сайте — тоже исключительно добрая воля автора. Хочешь написать опровержение — ну так опубликуй, никто ж не мешает. Мне вон выше пишет, что сроков давности в этом деле нет, но это же совершенно нереалистично — начать читать корпус статей 50-летней давности, выкидывать те, где есть ошибки, а заодно и всех, кто на их ссылается. А если не 50 лет, то давайте и вправду устанавливать — когда уже поздно отзывать, а когда ещё нет.

                                                                          P.S. Есть прекрасная страничка «P-versus-NP», на которой приводится длинный список (в основном опубликованных) статей, где в половине случаев доказывается, что P=NP, а в оставшейся половине, что P!=NP. Но мы же понимаем, что половина этих статей заведомо неверна, просто ошибку не нашли ещё. Ну что с этим поделать, надо относиться философски, я думаю.
                                                                            +2
                                                                            Я всего лишь говорю, что это исключительно вопрос доброй воли.

                                                                            Увы, это не так. Научная литература немного отличается от обыкновенных статей. Даже если опустить вопрос профессиональной этики, соблюдать которую — это обязанность ученого, а не добровольный выбор.

                                                                            В идеальном мире, статьи с ошибками, или неоднозначными выводами не должны пройти рецензирование. Я думаю, с этим пунктом разногласий нет? Увы, процесс рецензирования не идеален и какой-то процент «брака» проходит в печать. При этом стоит различать ошибку в статье (или вывод, который неоднозначен уже во время выхода статьи или спустя короткое время) и появление новых фактов и наблюдений которые не входят в рамки старых теорий. Второе — Ньютон и прогресс науки, первое — не научная литература изначально.

                                                                            Для отфильтровывания этих статей есть стандартная процедура: читатель пишет в редакцию «У вас там чушь». Редактор смотрит, консультируется, предлагает авторам ответить (а не «автор читает какие-то там комменты на сайте»), и/или же инициирует процесс отзыва статьи. Процесс иногда неоднозначный потому что политика и бюрократия.

                                                                            Все это расписано, иногда вскользь, иногда детально, на соответствующих сайтах издательств:

                                                                            authorservices.wiley.com/ethics-guidelines/retractions-and-expressions-of-concern.html ( Articles may be retracted if there is major scientific error which would invalidate the conclusions of the article… as a result of… honest error )

                                                                            journals.aps.org/pra/authors/editorial-policies-practices (Possible reasons for this include, among others, presentation of invalid results ..)
                                                                            Вот например текст о «доброй воле»: Retractions are sometimes published by the authors when they have discovered substantial scientific errors; in other cases, the editors conclude that Retraction is appropriate. Тот-же автор мини-динозавра сильно не согласен с отзывом, но иных вариантов (читай сил и ресурсов воевать с журналом) у него нет, вот и согласились отозвать.

                                                                            Возвращаясь к вопросам этики, которую обязан соблюдать автор, тот же Nature Springer следует инструкциям COPE, который открытым текстом пишет publicationethics.org/node/19896

                                                                            Editors should consider retracting a publication if: They have clear evidence that the findings are unreliable.

                                                                              0
                                                                              В данном случае речь идёт о следовании политике конкретного журнала, и тут у меня никаких вопросов нет: подавая в журнал, я соглашаюсь с их правилами, которые могут включать в себя передачу копирайта, подписывание соглашения кровью или там да, отзыв статьи после принятия.

                                                                              Однако мне не кажется, что из этого следует всеобщность данного правила. Ситуация вида «теория Ньютона вошла в науку как частный случай теории относительности» проста, чего её обсуждать. Но вот Дарвин таки да, написал, что приобретённые признаки могут наследоваться (сейчас на эту тему тоже есть интересные соображения, но это немного о другом всё же). Он «вбросил идею», и ошибки в таком случае неизбежны.

                                                                              В целом мне кажется, что независимо от того, к какой этике мы склоняемся, вся эта история касается крайне небольшого количества работ и на общем фоне мало на что влияет, то есть особо не из-за чего копья ломать. Вернёмся к случаю P=NP. Вот редактору на стол кладут две работы: в одной доказано, что P=NP, в другой P!=NP. Он посылает обе на рецензии, рецензенты пишут, что ошибок не нашли. И что ему делать? Либо он вообще прекращает любой интеллектуальный диалог и решает отказать всем, либо публикует заведомо ошибочную статью.
                                                                                0
                                                                                Однако мне не кажется, что из этого следует всеобщность данного правила.

                                                                                Членами COPE авляются почти (+- какая-нибудь мурзилка) журналы. Я бы сказал — это правило одно из основополагающих, как и реферирование. Неидеальный фильтр требует дополнительных мер и механизмов.

                                                                                Есть прекрасная страничка «P-versus-NP», на которой приводится длинный список (в основном опубликованных) статей

                                                                                Большинство работ в списке — конференции, архивы, виксры и личные бложики. Лишь единицы действительно напечатаны в научных журналах и они как правило не доказывают ту или иную сторону.

                                                                                Вот редактору на стол кладут две работы: в одной доказано, что P=NP, в другой P!=NP. Он посылает обе на рецензии, рецензенты пишут, что ошибок не нашли. И что ему делать?

                                                                                Сама ситуация околофантастическая, но в таком случае как правило — шлет другим рецензентам, часто обе работы одним и тем-же людям. Потом еще, и еще, и еще, смотрит реакцию комьюнити (если работы в архиве), показывает на пятничном заседании редколлегии, совещаются. Возможно, если так и нет однозначного ответа, то публикует обе работы с редакторским комментарием, как исключение. Ситуации когда заведомо неверные работы были напечатаны существуют, например arxiv.org/abs/quant-ph/0205076, но это такая очень редкая редкость и в современной литературе не встречается.
                                                                                  0
                                                                                  Членами COPE авляются почти (+- какая-нибудь мурзилка) журналы. Я бы сказал — это правило одно из основополагающих, как и реферирование.

                                                                                  Тогда я вообще не вижу проблем. По этой логике нет никакого смысла пенять на низкую сознательность авторов Nature: получается, что Nature сам должен был отозвать статью в одностороннем порядке и дело с концом.

                                                                                  Большинство работ в списке — конференции, архивы, виксры и личные бложики.

                                                                                  Не уверен. Ссылки там на архив, конечно, но так сходу сложно сказать, сколько из них были реально опубликованы.

                                                                                  Ситуации когда заведомо неверные работы были напечатаны существуют,

                                                                                  Ну смотрите, любая, абсолютно любая статья, где сказано, что P=NP (или наоборот) с вероятность 1/2 является заведомо неверной. Получается, половина опубликованных (пусть даже их не так много по сумме) неверны.

                                                                                  И это, кстати, как раз больное место: я так понимаю, что многие журналы попросту откажутся публиковать подобную статью лишь потому, что рецензировать её сложно (поди найди ошибку в доказательстве), а вероятность опубликовать дичь высока.
                                                                              +1

                                                                              Так это же и есть главная проблема публикаций. То что сама публикация это какой-то законченный текст с ненужным введением, наполовину высосанным из пальца заключением и провокационным заголовком.


                                                                              Если брать аналогию с гитхабом, то там когда находят ошибку не создают новый репозиторий и пишут проект с нуля, а исправляют её и получается новая версия софта. Даже у книг есть несколько изданий где исправляют ошибки.


                                                                              А тут где-то внизу комментарий, который можно и не увидеть вообще. Т.е. информация о том в статье ошибка она остается только в головах у экспертов области, которые это обсуждают в кулуарах. Потому что, даже статью с опровержением вряд ли получится опубликовать в том же журнале, т.к. если эффекта нет — то это не интересно.


                                                                              Я примерно эту мысль и пытался донести раньше в комментах, но не получилось сформулировать. Мне кажется довольно странным рассматривать публикацию как "выпуск в продакшен". С точки зрения того как работает гранты и соответствующий KPI на данный момент это логично. А с точки зрения того что в целом наука это такой итеративный процесс, то формат научной статьи, которая должна выглядеть как отдельный законченный проект — выглядит странно.

                                                                                +1
                                                                                То что сама публикация это какой-то законченный текст с ненужным введением, наполовину высосанным из пальца заключением и провокационным заголовком.
                                                                                Вы не можете заставить людей писать хорошо, если они не умеют. Будете писать статью — не нужно вставлять туда «ненужное» введение (вставляйте только нужное), не высасывайте заключение и подумайте над заголовком. Неважно, как будет работать вся эта система, если люди хотят воткнуть в заголовок кликбейт, это будет сделано, как говорится, при любом режиме.

                                                                                когда находят ошибку не создают новый репозиторий и пишут проект с нуля, а исправляют её и
                                                                                Вопрос в том, кто эти "-ят", которые находят и "-ют", которые не создают. На гитхабе полно форков, а дальше уже как получится. Напишите авторам, они могут интегрировать ваши соображения в статью, а могут и не интегрировать.

                                                                                Смотрите, я же не спорю с вами, я просто говорю, что это проблема не в технологии, а в голове, в людях. Убедите авторов исправить — исправят, нет — не исправят. Ну так везде так.

                                                                                формат научной статьи, которая должна выглядеть как отдельный законченный проект — выглядит странно
                                                                                В идеале статья должна содержать «один публон», то есть юнит публикуемой информации. Мы сейчас находимся в точке А, где имеем вот такую-то проблему. Мы разработали некую технологию, которая смогла решить проблему, и из точки А мы перешли в точку Б. Следующая статья уже переведёт нас из точки Б в точку В и так далее. Если не хочется воспринимать статью как «продакшен», воспринимайте её как отдельный «коммит», наверно, это правильнее.
                                                                                  +1
                                                                                  Мы сейчас находимся в точке А, где имеем вот такую-то проблему. Мы разработали некую технологию, которая смогла решить проблему, и из точки А мы перешли в точку Б.

                                                                                  Возможно это больше проблема естественных наук, т.к. в математике переход из A в Б можно совершить абсолютно строго. Но никакой технологии (в моём понимании) всё равно не разрабатывается. Прорывы случаются в одном разе и тысячи. Я воспринимаю это скорее как некую идею, которой хочется поделится.


                                                                                  А как лучше всего делится идеями в 21 веке?
                                                                                  Я не знаю… Можно просто запостить abstract и всё, можно всё оформить красиво с картинками, можно прямо вообще описать всё с точностью до серийных номеров оборудования. Видимо зависит от аудитории. Можно реально написать в твиттер. С одной стороны хочется задокументировать достаточно хорошо для следующих поколений, хотя зачастую чем разбираться в чужих результатах — проще основываясь на ключевых моментах сделать самому.


                                                                                  Смотрите, я же не спорю с вами, я просто говорю, что это проблема не в технологии, а в голове, в людях.

                                                                                  Тут в том то и вопрос что такое этот публон, или другими словами какого размера должны быть коммиты. Т.е. если бы мы до сих пор отправляли дискеты через океан, то нету смысла слать по пять строчек кода. Точно так же мало смысла слать один абзац текста если журнал выходит на бумаге раз в месяц.


                                                                                  Т.е. технологии решают в обустройстве общества достаточно много. Я ни в коем случае не призываю переводить научные исследования в twitter. Просто стало интересно что люди на хабре думают по поводу идеального формата :) На данный момент, формат задаётся журналами, и есть несколько вариантов степеней подробности на выбор. Все остальные варианты коммуникации они как бы off-records.

                                                                                    +2
                                                                                    Тут в том то и вопрос что такое этот публон, или другими словами какого размера должны быть коммиты

                                                                                    Вот на этот вопрос нет единого ответа, т.к. «всё зависит от области». В физике (насколько знаю) конференции не котируются вообще, в computer science лучшие конференции стоят на уровне очень хороших журналов; где-то попадаются журнальные статьи на 30-60 страниц, где-то и 10 вполне себе норма.

                                                                                    Похоже, что культура складывается как-то стихийно, и сходу сложно понять, почему тут так, а там этак. Меня ситуация в computer science в целом устраивает, но тут, как говорится, не будем путать хорошее с привычным, не знаю.
                                                                      +9

                                                                      В викиформате статью по кардиологии с одинаковыми правами редактируют картиолог и таксист у которого бабушка от инфаркта умерла. Если кардиологу война правок надоест первому — будет статья целиком от таксиста. И это мы ещё не опустили в бездну менее однозначных вещей, чем медицина.

                                                                        +3

                                                                        В такой вики должна быть премодерация, конечно.


                                                                        В ядре Линукса скрип-кидди не выигрывают войну патчей — им мейнтейнеры просто бы не дали ее начать.

                                                                          0
                                                                          Так примерно с чего-то подобного Википедия и началась — с Нупедии. Вот только не зашло оно — скорость написания статей была никакой. С другой стороны, то что не сработала одна реализация не значит что идея нерабочая.
                                                                            +4

                                                                            Ну вот мейнтейнеры чем-то похожи на тех самых редакторов журналов.

                                                                          0

                                                                          Научных статей слишком много. Почти каждая страница на вики (будь то википедия или нлаб) — это компиляция из десятков и сотен полноценных научных статей. Как это всё поддерживать в вики-формате, я просто не представляю.


                                                                          Кстати, посмотрите ещё раз на нлаб по ссылке выше — он уже есть, но почему-то учёные всё равно предпочитают публиковать статьи, а не идти править и создавать там странички.

                                                                            +1

                                                                            Если в какой-то области такой адский перегруз деталями и разветвлениями исследований, что вики формат этого не выдержит (хотя я думаю, что выдержит), как тогда люди изучающие эту область должны строить ментальное представление?) Ведь в голове это еще сложнее, чем на бумаге. И, кстати, это очень неэффективно, когда каждый новичок должен каким-то образом вычленить все релевантные старые статьи (что вообще говоря почти невозможно адекватно сделать), понять какие исследования были перекрыты новыми разработками, составить общую терминологию и приводить нестандартную терминологию каждой старой статьи к этой общей, и т. д.


                                                                            посмотрите ещё раз на нлаб по ссылке выше — он уже есть, но почему-то учёные всё равно предпочитают публиковать статьи, а не идти править и создавать там странички.

                                                                            Очевидно, почему: потому что ученым за эти странички не платят, им платят сейчас за классические статьи (грубо говоря).


                                                                            Даже если бы платили, аккуратно вплести свою работу в общую вики-канву знания (расставить кросс-ссылки, поправить все существующие релевантные статьи, и т. д.) это существенно больше работы, чем написать классическую статью. Но это именно та работа, которая нужна для эффективной аккумуляции знания в масштабах сообщества. Сейчас же в науке существенная часть работы — холостая: переоткрытие того, что уже было давно открыто. И если ничего не изменить, доля холостой работы будет только расти.

                                                                              +2
                                                                              Если в какой-то области такой адский перегруз деталями и разветвлениями исследований, что вики формат этого не выдержит (хотя я думаю, что выдержит), как тогда люди изучающие эту область должны строить ментальное представление?)

                                                                              Примерно так.


                                                                              Собственно, поэтому несколько сотен лет назад в учебники по физике-математике можно было попасть в возрасте лет 20-25, а сегодня уже так не попадёшь.


                                                                              И, кстати, это очень неэффективно, когда каждый новичок должен каким-то образом вычленить все релевантные старые статьи (что вообще говоря почти невозможно адекватно сделать), понять какие исследования были перекрыты новыми разработками

                                                                              Поэтому периодически публикуются обзорные статьи, научный руководитель рекомендует посмотреть те или иные статьи, и так далее.


                                                                              Когда я на третьем курсе пришёл на базовую кафедру, завкаф (или около того, не помню его должность) дал мне с десяток статей на почитать на лето, составить примерное представление о том, что тогда было в области и выбрать тему по интересам. Мол, зацепится глаз за что-то — приходи, ещё статей на тему


                                                                              составить общую терминологию и приводить нестандартную терминологию каждой старой статьи к этой общей, и т. д.

                                                                              По крайней мере, по моему опыту особо этой проблемы нет. Даже статьи, монографии и, ээ, lecture notes 40-50-летней давности, которые я сейчас читаю для себя, вполне интерпретируемы и сегодня.


                                                                              Очевидно, почему: потому что ученым за эти странички не платят, им платят сейчас за классические статьи (грубо говоря).

                                                                              А чтобы это изменилось, надо, чтобы викиформат стал популярным, а для этого надо, чтобы учёным начали платить. Такая вот проблема курицы и яйца.


                                                                              Но это именно та работа, которая нужна для эффективной аккумуляции знания в масштабах сообщества.

                                                                              Но это по большей части выкинутая работа. State of the art всё время улучшается, и в фундамент от каждой следующей статьи идёт очень немного.


                                                                              Сейчас же в науке существенная часть работы — холостая: переоткрытие того, что уже было давно открыто. И если ничего не изменить, доля холостой работы будет только расти.

                                                                              Если вкратце, то не сказал бы.

                                                                                0
                                                                                Примерно так.

                                                                                Читай: через большой перерасход ментальных усилий, потому что система вынуждает.


                                                                                Поэтому периодически публикуются обзорные статьи

                                                                                Феномен обзорных статей до сих пор не умер только из-за существующей системы поощрения ученых. Уж обзорные статьи сам бог велел вести в вики формате, чтобы они публиковались не переодически, с ментальными и персональными искажениями, упущениями, и ошибками конкретных авторов, а были постоянно в актуальном состоянии.


                                                                                научный руководитель рекомендует посмотреть те или иные статьи, и так далее.

                                                                                Инженерам переодически нужно разобраться в новой области. У них никаких научных руководителей нет. Научное знание создается в конечном счете для того, чтобы какие-то инженеры с ним ознакомились и воплотили в жизнь.

                                                                                  0
                                                                                  Научное знание создается в конечном счете для того, чтобы какие-то инженеры с ним ознакомились и воплотили в жизнь.

                                                                                  Пользы от науки в лучшем случае 1%. Т.е. из 100 проектов реально успешный один, и этот 1% уже документируется как надо.

                                                                                    +2
                                                                                    Мне кажется, что основная ценность науки даже не в конкретных результатах. А в создании среды, которая будет воспитывать и поддерживать людей, который сделают этот хоть бы и 1 успешный проект из 100.
                                                                                    То есть нельзя просто закрыть 99 проектов, тот 1 без них тоже не получится.

                                                                                    Про документирование тоже не все так просто. Далеко не всегда успешный проект и хорошо документированная статья — это одно и то же.
                                                                                      0

                                                                                      Тут всё проще. Никто заранее не знает какой именно 1 из 100 будет успешным. Поэтому приходится делать много.


                                                                                      Добавлено: я имел ввиду документируется для более широкого круга людей только конечный результат. А 99 рабочих версий так и остаются в статьях понятных только узкому кругу специалистов в области.

                                                                                        0

                                                                                        Хе-хе. Вообще-то с точностью до наоборот: как только проект становится монетизируемым, на него сразу пишется патент, под патент создается компания, в которой начинается нормальный промышленный R&D. Результаты R&D как правило навечно остаются за NDA.


                                                                                        При этом маркетинг конечного продукта ("наша новейшая технология с неонкой внутри и юзер-френдли API") часто похож на документированный результат. Но для воспроизведения результата эта "документация" как правило совершенно бесполезна.

                                                                                          0

                                                                                          Да это в прикладной науке, а в фундаментальной пишут книжку про новую "теорию почти всего".

                                                                                      0

                                                                                      Зависит от области. А все проблемы и решения которые мы обсуждаем в этом посте относятся к applied research и fundamental research примерно одинаково.

                                                                                        0

                                                                                        Так в applied research корпорации выкупают учёных целыми отделами, и там я думаю они с коммуникацией со своими инженерами разберутся. А другим инженерам и не надо знать секретов.

                                                                                      +1

                                                                                      Вы что-то путаете. Нормальный обзор — это страниц 50, написанных коллективом из 10-20 авторов, из которых большинство — уже профессора. Какие "ментальные и персональные искажения" могут быть у коллектива лучших специалистов в области, мне непонятно. Плюс обзоры обычно обновляются раз в 5-7 лет, и это вполне своевременно для науки.


                                                                                      Идея с вики кажется неплохой до тех пор, пока речь не начинает идти об ответственности за ее содержимое и за администрирование.

                                                                                        +2
                                                                                        Читай: через большой перерасход ментальных усилий, потому что система вынуждает.

                                                                                        Не система. Просто ну вот так работает человеческая понималка.


                                                                                        Вот смотрите, опять же, как я писал выше, я тут вкатываюсь обратно в академию и в идеале хочу заниматься чем-нибудь хардкорным в матлоге. У меня была магистерская по статистике и машинному обучению, полученная 6 лет назад, и я даже немножко потусил в аспирантуре по этой теме (но по ряду причин дропнул), так что математический опыт и то, что называют математической зрелостью, у меня тоже в каком-то виде есть.


                                                                                        Тем не менее, чтобы понимать хоть что-то в новой теме, надо прочитать хотя бы этак семь более-менее общих и очень базовых книг, просто об области. С таким бекграундом уже можно как-то понимать, чем конкретно я бы хотел заниматься, находить нужных профессоров или ресёрч-группы, писать им и предлагать участвовать, и так далее. Потом ты выбираешь конкретную ресёрч-группу или профессора, вы обсуждаете какой-нибудь конкретный проект, и ты начинаешь читать статьи конкретно о нём, и поиск статей занимает ну максимум процентов 5 от всего времени, понимать их сложнее.


                                                                                        Короче, какая-то общая вики бы тут не сильно помогла, ИМХО.


                                                                                        Инженерам переодически нужно разобраться в новой области. У них никаких научных руководителей нет. Научное знание создается в конечном счете для того, чтобы какие-то инженеры с ним ознакомились и воплотили в жизнь.

                                                                                        Только инженерам вот совсем не нужно знакомиться с передним краем в тех или иных исследованиях (либо это по определению не инженеры, а ресёрчеры).

                                                                                0
                                                                                Почему я его выложу на Хабр, а не на свой личный дневничок? Там нет НЛО, там не повесят левый рекламный баннер и т.п. Одна из причин — это потому, что я хочу, чтобы мою статью прочитало как можно больше людей из моей целевой аудитории. Это и есть мой собственный KPI для себя.

                                                                                Вот вы затронули забавный диссонанс, который есть у меня. Весь этот процесс публикации, начиная от не самых удобных инструментов, двух колоночного пдф, специфического стиля изложения, полировки графиков и иллюстраций, каких-то прочих заморочек. Потом длительного ревью, вызывает долгую задержку (по времени и по силам) от того что я что сделал, до того как это кто-то оценил или не оценил. И с другой стороны открываю чужие статьи и там в свою очередь результаты запакованы за высокопарными словами, и читать их отдельный навык.


                                                                                Другое дело например пулл реквест на гитхабе. Я допустим вижу некую проблему, делаю небольшой поиск по возможным решениям. Иду в чатик задаю свой вопрос/идею, где обычно оперативно отвечают. Потом пишу какой то пруф-оф-концепт на эту тему, тоже сразу его шарю. Мне пишут комментарии в тикете с отзывами. И уже потом я иду и делаю всё аккуратно и целиком, и более того все знают что это делаю я, а я знаю что это кому-то нужено. А если не нужно, то негативный ответ можно получить на начальной стадии. И на финальном ревью уже только какая-то полировка.


                                                                                Я конечно, утрирывал две ситуации выше, но я надеюсь моя идея понятна. Вместо того чтобы хранить черновик у себя на столе и держать его в неком секрете, до момента когда он полностью отполируется в публикацию на широкий круг людей, можно было бы сразу вести блог про свой резерч, и подписываются только те кому интересно. Особенно во времена короновируса, когда общение во многом онлайн.


                                                                                Может быть есть принципиальное различие в размере резерча и пулл реквеста на гитахаба, а может ещё какое-то отличие. Интересно узнать мнение хабравчан.

                                                                                  +1

                                                                                  А тут, кстати, тоже забавно.


                                                                                  Я тут сейчас немножко вкатываюсь обратно в академию и делаю кое-какой ресёрч, и делаю его относительно публично на гитхабе (ну, то есть, не в закрытом репозитории). И тут на днях ко мне обратился человек, мол, он готов предложить помощь.


                                                                                  Я скинул это отцу (он тоже Физтех, до сих пор тоже что-то ресёрчит, правда, в физике, а не в математике) — мол, посмотри, прикольно, прелести современного мира. Он очень удивился и стал меня расспрашивать про то, как в таких условиях вообще соблюдается приоритет и во что трансформируется это понятие.


                                                                                  А, ну и вести блог про ресёрч — это отдельное искусство и отдельные усилия, не связанные и не вытекающие естественным образом из ведения самого ресёрча.


                                                                                  Ну и да, что до заумных слов и pdf'ок — ну так всё же требования к формализму в ресёрче и в среднем проекте на гитхабе немножко разные?

                                                                                    +2
                                                                                    Я думаю, что написание статьи надо воспринимать как «выкатывание продакшена», то есть если вы садитесь писать статью, у вас уже всё готово, и по сути чатики или пулл-реквесты вам нужны только для общения с соавторами (и это естественным образом поддерживается, например, онлайн-система для написания статей Overleaf умеет синхронизироваться с гитахбом).

                                                                                    Если же вы ещё в процессе — ну так идёт «проект», а не «статья», и здесь, конечно, любые инструменты работы хороши — и блог, и гитхаб, и вообще что угодно, лишь бы это реально работало. Есть люди (в т.ч. учёные), которые чуть ли не каждый свой шаг протоколируют в твиттере. Я вообще в соцсетях не живу никак, но это же дело частное, если у них голова от этого лучше работает — да ради бога.
                                                                                      0
                                                                                      чуть ли не каждый свой шаг протоколируют в твиттере

                                                                                      Как это работает с точки зрения, что с одной стороны конкуренты могут подсмотреть, а с другой стороны наука это публичное занятие?

                                                                                        +5
                                                                                        Вероятно, этих людей мало заботит проблема вида «конкуренты подсмотрят». Меня бы тоже в 99% случаев тоже это не заботило — все люди своими делами заняты, а не мониторят твиттер, чего ты там подсмотреть такого. Да и, наверно, в твиттере пишут о том, что уже сделано, а реально пишущий уже на шаг впереди.
                                                                                          0
                                                                                          реально пишущий уже на шаг впереди.

                                                                                          Тогда все равно вместо совместной работы, получается такая же публикация как в арксив — только по частям. В своем первом комментарии я имел ввиду именно организацию совместной работы. Т.е. если бы он через твитер находил каких-то новых единомышленников, как написали выше.

                                                                                            +1
                                                                                            Выше вы пишете, как удобно устроено сотрудничество на гитхабе — пуллреквесты, вот это всё. Но ведь далеко не все выкладывают свои проекты на гитхаб, да и вообще особенно распространяются на тему текущей работы. Так и здесь, это же не вопрос технической возможности работать так или этак, это решение конкретной группы объявлять на весь мир чего они делают или там сотрудничать со всеми подряд, ну или наоборот, молчать, пока срок не подошёл.
                                                                                              0

                                                                                              Согласен, мой вопрос, он глубже чем тема про статьи или их замену. Дело в том что я недопонимаю бизнес модель науки в целом )))

                                                                                                0
                                                                                                Да какая у неё бизнес-модель… нам дают гранты, мы их осваиваем :) У нас же нет цели генерировать прибыль.
                                                                                                  0

                                                                                                  Да но есть цель получать эти цитирования...

                                                                                                    +1
                                                                                                    Вообще есть какие-то исследования, которые говорят, что лучшее для повышения цитируемости — это тупо упоминание в меинстримных медиа (типа «британские учёные доказали...»)
                                                                                                    В хороших университетах есть целые пиар-отделы, которые этим и занимаются — спрашивают своих сотрудников, чего они там наисследовали, а потом пытаются трубить это на широкую аудиторию. А с точки зрения учёного как раз публикация в престижном журнале и есть повышенный шанс на цитирование, потому что такие журналы более активно читаются и более охотно цитируются.
                                                                                    0
                                                                                    Почему я его выложу на Хабр, а не на свой личный дневничок?

                                                                                    Второй вариант тоже имеет право на существование, я его указал в скобках. Поэтому непонятен второй абзац вообще. Если нужно выдать текст на широкую аудиторию — выкладывают там где читает широкая, и что с того? Речь то не об этом была, а о том, каким образом учёные могут поделиться с желающими результатами своего труда. И в этом плане журналы, на мой взгляд — инструмент мало того что не самый удачный финансово, так ещё тянущий кучу легаси с позапрошлого века (например имитация бумажного форматирования и ежедневных/недельных/месячных выпусков, хотя всё это давно никому не нужно).
                                                                                    Есть более современные, удобные и быстрые инструменты для того, чтобы один человек что-то переслал группе других. Когда-то давно, когда для этого было неизбежно нужно верстать статью на бумаге, затем физически её распечатывать и доставлять домой читателям, журналы эту функцию научились выполнять оптимальным способом. А заодно (думаю, главным образом по причине того, что надо экономить бумагу и не тратить её на невостребованные тексты) приобрели побочную функцию цензоров, которую кто-то, в свою очередь, решил использовать для оценки качества статей (раз попала в этот журнал, славящийся высоким конкурсом на свои страницы, то видимо она хорошая).
                                                                                    Так вот, тут устарела сама основа — бумагу больше экономить (как и тратить) не нужно, организовывать печать и доставку тоже не нужно. Верстать под бумажный формат тоже не нужно, а вообще вёрстку уже давно делают сами авторы.
                                                                                    А механизм оценки качества статьи можно и другой использовать. Повторюсь, в журналах он получился таким как есть не от того, что это лучший способ, а от того, что в этом была финансовая необходимость по экономии бумаги. На хабре есть свой, ну а если кому-то нужен именно экспертный совет — никто не мешает составлять каталоги статей (быть их публикатором для этого не нужно), одобренных советом рецензентов (им же, судя по данной статье, за это и так и так не платят? в чём тогда проблема?). Однако вокруг имеющегося способа уже выросла целая система различных активностей, в которой задействовано множество людей, которые к ней как минимум просто привыкли и не захотят менять на что-то другое вне зависимости от эффективности, а кто-то так и вообще заинтересован в её побочных незапланированных эффектах т.к. он ими пользуется.

                                                                                      +4
                                                                                      Есть более современные, удобные и быстрые инструменты для того, чтобы один человек что-то переслал группе других.

                                                                                      Ну вот вы и отвечаете на вопрос: данные критерии (быстрый и удобный способ распространить результаты на группу) не являются основными.
                                                                                      Вы в некотором смысле боретесь с соломенным чучелом: существуют журналы, которые публикуют статьи по мере выхода (т.е. никаких «помесячных» выпусков нет); существуют журналы, публикующие непосредственно в HTML без постраничного форматирования и т.п. Но как мы видим, они не «победили всех», потому что данная опция, хоть и приятная, всё же не является основной.

                                                                                      Иными словами, нет никаких технических проблем организовать вот это всё. Если вы организуете сайт, куда можно загрузить свой текст, который с помощью механизма рецензирования некоторым образом будет опубликован — всё, поздравляю, у вас нормальный научный журнал. Можно прикрутить кнопки соцсетей, комментирование, что угодно. Главная проблема будет в раскрутке, в это всё упирается. Как и с любым «убийцей фейсбука».
                                                                                  +4
                                                                                  Наверное, это будет более подробно освещено во второй части, но стоит отметить, что физики и математики довольно давно решили проблему с paywall и задержкой распространения результатов: для этого и был создан упомянутый в тексте arxiv.org. Я лично почти всегда просто читаю версию нужной мне статьи в виде препринта с arXiv, и тот же sci-hub мне почти не нужен (разве что для старых статей, из тех времен, когда arXiv еще не покрывал 99% процентов статей по физике и математике). Да, препринты не проходят рецензирование, но как раз сам факт того, была принята статья в какой-то журнал, или нет, можно проверить бесплатно. А если в процессе рецензирования оказываются найдены какие-то ошибки в тексте, то почти всегда авторы вносят соответствующие исправления и в версию статьи, выложенную на arXiv. В других областях науки, вроде бы, тоже постепенно такая схема получает всё большее распространение.

                                                                                  И еще хотелось бы прокомментировать фразу «Чем же занимаются авторы, пока идет рецензия? А ничем, они ждут отзывы.» Это не совсем справедливо, поскольку (во всяком случае, в случае физики и математики) прежде, чем послать статью в журнал на рецензию, её выкладывают на arXiv. После этого все, кому она покажется интересной, её читают, и достаточно часто присылают свои комментарии авторам по email.

                                                                                  Конечно, было бы здорово, если бы к arXiv-у была прикручена какая-то возможность анонимного комментирования со строгой модерацией. Вопрос, правда, в том, как это организовать правильно, чтобы избежать каких-нибудь нежелательных побочных эффектов.
                                                                                    +1
                                                                                    На счет препринтов я пишу во второй части, это очень полезный инструмент. Но вот на мой взгляд, такое разделение функций на архив препринтов и журнал — ненужно и не упрощает жизнь, ни авторам, ни читателям.

                                                                                    Есть интересный журнал F1000Research, он публикует текст в открытом доступе еще до окончания ревизии, только отмечает его меткой «препринт». На мой взгляд, очень перспективный подход.
                                                                                      +1
                                                                                      Но вот на мой взгляд, такое разделение функций на архив препринтов и журнал — ненужно и не упрощает жизнь, ни авторам, ни читателям.

                                                                                      В некоторой степени упрощает. Вот, допустим, меня интересует комбинаторика, и я хочу быть в курсе всех свежих результатов. Я просто подписываюсь на math.CO-раздел arXiv-а, и каждый день пролистываю названия (или названия и аннотации) всех новопоявившихся там статей. При этом я могу быть уверен, что не пропущу 99% (или около того) всех появляющихся статей в этой области. И это не какой-то оторванный от жизни пример: я знаю, что существенная часть моих коллег именно так и делает (каждый день просматривают новые поступления в интересующие их разделы arXiv-а).
                                                                                      Если бы arXiv-а не было (или не было бы устоявшейся к текущему моменту традиции у всех математиков обязательно класть туда препринт), то решить подобную задачу было бы гораздо сложнее, даже если бы все журналы выкладывали присланные им работы у себя на сайте в виде препринтов. По понятным причинам: журналов много, появляются новые журналы, разные журналы по-разному сортируют статьи и т.п.

                                                                                      Поэтому в определенной степени удобно распространение научных знаний закрепить за одним централизованным архивом препринтов, а верификацию оставить за журналами. Другое дело, что, как и написано в Вашей статье, с верификацией журналы справляются плоховато, и берут за это невероятно завышенную плату, особенно с учетом того, что труд самих рецензентов не оплачивается. И с этой двоякой проблемой, конечно, неплохо бы что-то делать. Ну и отдельная связанная проблема с наукометрикой и тем, как труд ученых оценивается их работодателями и грантодателями, что тоже освещено в Вашей статье.

                                                                                      Я просто хотел отметить, что именно проблем с доступностью научных знаний и со скоростью их распространения, по крайней мере, в отдельных областях науки, нет.
                                                                                        +1
                                                                                        не согласен
                                                                                        когда публикуется текст принятой к печати статьи, у нее есть выходные данные (как минимум, DOI) и ее можно процитировать. В случае публикации непринятых к печати статей возникает проблема — ее может кто-то успеть процитировать, а в итоге статью не опубликуют. И что делать с этими мертвыми цитатами?
                                                                                          0
                                                                                          Это важная деталь, спасибо. Не задумывался об этом. Надо посмотреть, как это в F1000 реализовано.
                                                                                            +4
                                                                                            Думаю, что тут нет особой проблемы. Наверное, в этом случае (если статью не опубликуют) всё равно препринт не удаляют, и у него есть идентификатор, на который и можно ссылаться.

                                                                                            Очень часто в статьях можно в библиографии встретить ссылки на препринты со, скажем, arxiv.org. Эти ссылки не становятся мертвыми, если статью опубликуют или не опубликуют, всё равно текст по ссылке на него на arxiv.org можно найти.
                                                                                              +1
                                                                                              В случае публикации непринятых к печати статей возникает проблема — ее может кто-то успеть процитировать, а в итоге статью не опубликуют.

                                                                                              Я видел статьи на архиве, у которых больше 1000 цитирований, но в журналы они так и не были приняты.


                                                                                              И что делать с этими мертвыми цитатами?

                                                                                              Менять правила игры. Ссылки на нерецнзируемые источники должны стать полноценными ссылками.

                                                                                                0
                                                                                                Ссылки на нерецнзируемые источники должны стать полноценными ссылками.

                                                                                                Ну так они и сейчас полноценные. Вам же никто не запрещает сослаться на газету, например, если вы хотите указать на событие (такого-то числа в таком-то городе произошло то-то). Но да, это будет ссылка на нерецензируемый источник; читатель предупреждён.
                                                                                                  0

                                                                                                  Я имею в виду наукометрию. Один человек написал крутую статью, опубликовал на архиве, каждый год вносит в неё исправления, имеет больше тысячи цитирований. А вес такой публикации в отчётностях — нулевой. Для отчётов приходится делать журнальные публикации.

                                                                                                    +3
                                                                                                    Ну а в чём проблема подать эту статью в журнал? Он не «опубликовал» на архиве, а «выложил» на архив, ну так пусть зашлёт теперь куда полагается, дело нехитрое.
                                                                                                      0

                                                                                                      Проблема в том, что журнал работу не публикует из-за токсичности процесса рецензирования. Статья подана в журнал в 2015 году, широко признана научным сообществом, но мнения рецензентов и редакторов имеют гораздо больший вес.

                                                                                                        +1
                                                                                                        Погодите, это «журнал» или «Журнал» с большой буквы «Ж» как «Партия»? Их же тысячи. Подайте в другой журнал и спите спокойно.
                                                                                                          0

                                                                                                          Нет, журналов из Q1 по нужной тематике — обычно 2-3 штуки, если брать Q2 — до десятка. Плюс везде действует правило, что нельзя посылать одну и ту же работу в несколько журналов.

                                                                                                            +2
                                                                                                            Если статья подана в 2015 году, значит, давно пора отозвать оттуда и подать в другой журнал. Если в Q1 2-3 штуки, значит, 1-2 ещё есть. Кроме того, если авторы сами себе уже всё доказали, и им нужно только отчитаться, можно и в Q2 подавать, вряд ли прямо рядом с пистолетом стоят и Q1 требуют.

                                                                                                            Если статья не принята в течение года или около того, я уже начинаю резко дёргаться, потому что шансы на её публикацию падают. За это время что-то новое появляется, и рецензент в другом журнале может резонно заметить, что за год уже и новые результаты подтянулись, на фоне которых я могу уже не столь свежо смотреться, так что лучше не тянуть…
                                                                                          +1

                                                                                          Мне кажется, вы забыли важный аспект журналов и исследователей-- это репутация. Основная ценность публикации в Nature для читателя--это то, что у них высокая репутация и обычно сильное рецензирование, и люди обычно внимательно относятся к статьям в Nature, потому что знают, что там обычно инновационные и качественные результаты.

                                                                                            +6

                                                                                            На счет качества — и да, и нет. Многие согласны, что рецензия в Nature более серьезная, чем в журналах низкого уровня. С другой стороны, рецензия определяется во многом лишь уровнем рецензентов. А одни и те же ученые могут рецензировать и для Nature, и для журналов "попроще".


                                                                                            А про инновационные тоже не все однозначно. Немало случаев, когда престижные журналы отказывали в публикации прорывным статьям, так как на тот момент вообще не было известно ничего похожего.


                                                                                            Мой же основной посыл в том, чтобы отойти от престижа журнала и заменить его оценкой качества самой статьи.

                                                                                              +8
                                                                                              Проблема в том, что в мире публикуется нереальное количество статей ежедневно, и этот поток надо как-то фильтровать. Сейчас у меня есть некий шорт-лист журналов и конференций, и я периодически смотрю, что там интересного появляется для меня. Соответственно, репутация журнала — это ровно то, что отличает Хабр от ЖЖ, где тоже огромное количество хороших статей, но я не могу физически просматривать весь ЖЖ в поисках интересного.

                                                                                              Если пофантазировать, то какие альтернативы в принципе возможны? Допустим, каждый человек печатается где угодно, т.е. в своего рода ЖЖ (на локальных конференциях, на сайтах, в местных журналах и т.п.). Первое, с чем я сталкиваюсь — это как всё это найти. Допустим, будет существовать вселенская база данных, где я смогу точно фильтровать по тегам (а это уже крайне нетривиально).

                                                                                              Если мои интересы предельно узки («автоматический морфологический анализ шведского языка»), я смогу фильтровать поток сам, если же интересно хоть что-то пошире, уже публикаций слишком много для чтения, и их надо как-то ранжировать по качеству.

                                                                                              Сейчас у меня есть факт, что статья прошла жёсткое (хороший журнал) или менее жёсткое (журнал похуже) рецензирование. Если есть «просто статья», то уже непонятно, как её оценивать. Допустим, её прочли какие-то рецензенты и допустили её к публикации, подтверждая, что там не какая-то дичь, и на этом всё. Дальше уже непонятно, на что ориентироваться. Много лайков? Ну, тема широкая, хайповая, многим интересна — вот и лайки. А если статья замечательная, но по очень узкой теме? Уже лайков не будет. Короче говоря, дьявол в деталях, и всё это очень сложно.
                                                                                                +4
                                                                                                Два самых простых способа, по моему мнению:
                                                                                                1. Рецензенты ставят оценку. По набору критериев оценивают напрямую статью.
                                                                                                2. Научные сообщество оценивает статью (как, например, фильмы на Кинопоиске). Здесь надо учитывать только тех, кто работает в смежных областях.

                                                                                                Для поиска статей использовать поиск по тексту, ключевые слова и граф интересов (как рекомендации на Netflix).

                                                                                                Вы, конечно, правы, это совсем непросто. Но мне кажется, что это задачу надо решать, как это делают в IT-компаниях, например. А не просто полагаться на традиционную систему. Я согласен, что нельзя так просто взять и предложить идеальную систему. Но в науке и IT работает много очень умных людей, они точно придумают, если такая задача возникнет.
                                                                                                  +5
                                                                                                  Мне очень не хочется говорить тут, что, мол, не получится потому-то и потому-то. Я понимаю, что критиковать легко, а предлагать сложно. Но в том и прикол, что люди в науке и в IT уже придумали, и пользуются, и хотя многие недовольны, но других многих всё устраивает.

                                                                                                  Основные отличия от Кинопоиска я вижу в следующем:
                                                                                                  — статья может быть хорошей, но очень узкопрофильной, полезной крайне узкому кругу людей (мало лайков, мало потенциальных рецензентов);
                                                                                                  — статья может быть полезной, но малоимпактной (авторы берут готовые куски и склеивают в какой-то алгоритм — научный вес такой статьи очень мал, но практическая польза для определённой аудитории важна);
                                                                                                  — статья может быть с научной точки зрения не очень существенной, но крайне популярной (например, хороший обзор методов решения какой-то задачи), на неё все будут ссылаться.

                                                                                                  Я не говорю, что нынешняя система хорошо справляется со всеми этими тонкостями. Но из данных вида «количество лайков + рецензии» очень сложно вычленить оценку работы учёного и пользу статьи для конкретного читателя.
                                                                                                    +1
                                                                                                    Ну вот нынешняя система, и правда, не очень справляется с такими случаями.

                                                                                                    Все три перечисленных вами случая и сейчас очень сильно влияют на восприятие статей. Я слышал, что математики жалуются, что у них никогда не может быть таких импактов, как в биологии или медицине, например. Ну и в более близких областях может быть похожая ситуация.

                                                                                                    В крайнем случае можно поручить видным ученым вручную делать подборки — «самые актуальные статьи определенной области за неделю/месяц».
                                                                                                      0
                                                                                                      Да, в разных областях импакт разный, но когда мы подаём заявки на грант, понятно, что мы соревнуемся в своей категории, а не так, чтобы математики против биологов.

                                                                                                      В крайнем случае можно поручить видным ученым вручную делать подборки — «самые актуальные статьи определенной области за неделю/месяц».

                                                                                                      Ага… журналы так и работают, по сути :)
                                                                                                        0
                                                                                                        Хороший аргумент!

                                                                                                        Но все таки не совсем. Журналы решают это до публикации. А я предлагаю после. Мне кажется так и проще, и честнее.
                                                                                                          +2
                                                                                                          Ну да, тут очень много деталей. «Я был рецензентом в Nature» можно прямо в своём резюме указать. «Я был рецензентом на файлопомойке» — это уже так себе, к сожалению. Я ведь тоже не всем обращающимся бегу рецензировать, время не резиновое.
                                                                                                            0
                                                                                                            Согласен, тут уже сложно спорить.
                                                                                                0
                                                                                                разница в том, что для Nature он почитает манускрипт сам и попросит еще пару уважаемых коллег помотреть, а для журнала попроще — скинет на аспиранта
                                                                                                  0
                                                                                                  Ну это же тоже неправильно, разве нет? Я только за то, чтобы аспиранты рецензировали статьи. Но если редактор думает, что рецензия от профессора, а она на самом деле от аспиранта, это ведь не логично.
                                                                                                    +1
                                                                                                    Вообще проблема качества рецензий легко решаема открытием процесса рецензирования (постфактум, после завершения рассмотрения). Т.е. если статью приняли/отшили, можно просто выложить всю переписку между тройкой авторы-редактор-рецензенты в открытый доступ. Жёсткая оценка не только самих статей, но и качества работы редакторов/рецензентов должно бы повысить качество последних.

                                                                                                    С другой стороны это чревато увеличением количества отказов от рассмотрения/рецензирования статей, так что и тут всё очень сложно.
                                                                                                      +1

                                                                                                      Так переписку автора с рецензентами кое-где и так выкладывают. Вроде уже лет пять как. Полет нормальный, отказов не замечено.

                                                                                                        0
                                                                                                        Ну у Nature/Science как раз отказов и не будет, там и до этого статьи разбирали по косточкам. Да и если открыть рецензентов, то все станут только счастливее, т.к. подтверждение факта рецензирования статей в этих журналах будет очевидным плюсом к CV каждого рецензента, какой бы крупной шишкой тот не был.
                                                                                                          +1
                                                                                                          там и до этого статьи разбирали по косточкам

                                                                                                          Отнюдь.
                                                                                                          Часто потому, что прорывные работы находятся на стыке областей, и рецензенты редко специализируются во всех (иначе бы сами сделали прорывную работу). Еще чаще по банальным причинам — времени нет, рецензенты в отпусках, еще что-нибудь.


                                                                                                          подтверждение факта рецензирования статей в этих журналах будет очевидным плюсом к CV

                                                                                                          Вообще ни разу. В этом бизнесе все понимают кто есть кто, и уровень журналов, которые ты рецензируешь, растет вместе с твоей карьерой. Рецензенты самых топовых журналов — они уже давно профессора, им никому ничего доказывать не надо.

                                                                                                            0
                                                                                                            Отнюдь.
                                                                                                            Часто потому, что прорывные работы находятся на стыке областей, и рецензенты редко специализируются во всех (иначе бы сами сделали прорывную работу).

                                                                                                            Это попахивает конспирологией (наша работа слишком междисциплинарна конвергентна, поэтому эти дураки её забраковали). А факт в том, что бОльшая часть работ, посылаемых в Nature/Science бракуется на разных стадиях (в т.ч. и на ревью),
                                                                                                            Поиск нескольких рецензентов, способных оценить разные куски междисциплинарной задачи — это не настолько сложная задача, а отпуска не проблема, т.к. в случае отказа можно рекоммендовать кого-то ещё, кто может.
                                                                                                            Вообще ни разу. В этом бизнесе все понимают кто есть кто, и уровень журналов, которые ты рецензируешь, растет вместе с твоей карьерой. Рецензенты самых топовых журналов — они уже давно профессора, им никому ничего доказывать не надо.

                                                                                                            Как ни странно, надо. Как минимум потому что гранты не вечны. И даже без проблем, рецензирование позволяет видеть какие-то интересные работы до их публикации (Nature и Science препринты в ArXiv, ChemRxiv, BioRxiv, Researchgate и т.д.) не любят, что позволяет видеть новые идеи и веяния раньше других.

                                                                                                              0

                                                                                                              Вы что-то очень странное говорите.


                                                                                                              Nature уже много лет плевать на препринты.
                                                                                                              А попытка при рецензировании "увидеть новые идеи и веяния" в свою пользу может закончиться быстрым и печальным окончанием карьеры.

                                                                                                                0
                                                                                                                Nature уже много лет плевать на препринты.

                                                                                                                Вы правы, статьи там есть с препринтами, выложенными до подачи. Я об этом не знал, извините.
                                                                                                                Но среди обычных обывателей (из моего окружения по-крайней мере) всё ещё стараются не рисковать, публикуя препринты уже после принятия статей.
                                                                                                                А попытка при рецензировании «увидеть новые идеи и веяния» в свою пользу может закончиться быстрым и печальным окончанием карьеры.

                                                                                                                Так никто о том, что Вы тут усмотрели, никто не говорил. Дело в том, что модификации приборов/кодов делаются долго, писать/получать гранты тоже долго, поэтому идеи можно начинать разрабатывать ещё до официального опубликования статей.