Comments 309
Хорошая статья. Добавлю пару моментов.
Если работа, публикуемая в статье, сделана на деньги гранта, то для отчетности по гранту обычно необходима публикация с указанием на грант (может и не одна). Поэтому ищется более менее гарантированный вариант с бОльшим импакт-фактором, и если редактор отказывает, то обычно нет времени ждать рассмотрения в другом журнале (отчетность по гранту имеет сроки) и статья уходит в локальный беспроблемный журнал (как говорят «мурзилка»).
Далее имхо. Могу ошибаться. Увеличение количества статей приводит к увеличению индекса цитирования, но не приводит к увеличению качества статей. На грантах и для работы в нии есть заградительные пороги по количеству статей. И они растут по количеству (палочная система). Что может нас привести к китайской проблеме, когда вал статей (хороших и плохих с обычной дисперсией качества) привёл к полному игнору статей китайцев со стороны мирового научного сообщества (одна из причин отсутствие ресурсов на проверку результатов). На данный момент лучше написать 25 обзоров в год и не работать руками, чем работать руками и выдать 1 статью с чем-то новым. Цифры с потолка. Ситуация конкретно для биохимии, молекулярной биологии. Я мимо проходил. Не работаю в этой отрасли. Других областей не знаю, возможно, там мб другая ситуация.
Спасибо за развернутый комментарий.
В ситуации со статьями, которую вы описали, есть еще один фактор. Статья в Nature или Science очень сильно поднимает акции ученого и является началом успешной карьеры. Поэтому все, кто может попасть в топовые журналы, пытаются это сделать хоть чучелом, хоть тушкой. А если этого сделать не получается, то выгоднее брать количеством, как вы и написали.
И это еще не говоря о хищнических журналах, которые показывают все несовершенство современной системы.
В ситуации со статьями, которую вы описали, есть еще один фактор. Статья в Nature или Science очень сильно поднимает акции ученого и является началом успешной карьеры. Поэтому все, кто может попасть в топовые журналы, пытаются это сделать хоть чучелом, хоть тушкой. А если этого сделать не получается, то выгоднее брать количеством, как вы и написали.
И это еще не говоря о хищнических журналах, которые показывают все несовершенство современной системы.
просто у научного сотрудника встает выбор, рискнуть на nature и не получить денег в следующем году, если nature откажет (отказ может быть, потому что мода изменилась, взять тот же covid, или просто в журнал не влез, потому что он все равно ограничен по объему), либо гарантированно получить грант на обзорах (что тоже не очень простая работа, я знаю). (я говорю про РАН, в основном).
Да, в России сейчас очень много значения имеет именно число статей. Часто публикуют даже по частям работу, чтобы увеличить именно количество статей.
Я про это почти не упоминал, но многие проблемы связанные со статьями — это отражение грантовой политики. Именно то, как выдают деньги, влияет на публикации. Но и в обратную стотону это тоже работает — если будет более прозрачная система публикаций, будет проще улучшить финансирование науки.
Я про это почти не упоминал, но многие проблемы связанные со статьями — это отражение грантовой политики. Именно то, как выдают деньги, влияет на публикации. Но и в обратную стотону это тоже работает — если будет более прозрачная система публикаций, будет проще улучшить финансирование науки.
зы Интересуюсь этим, потому что тема очень сильно перекликается с верификацией поисковой выдачи в поисковиках. Невозможность найти что-либо в гугле, яндексе и тп. удурчает. Информационный шум от smm на 30-50 страниц убивает выдачу. Если внедрять убер/гитхаб для ученых, можно получить точно такой же результат. Можно вспомнить изменение поиска на pubmed, когда единомоментно стало нельзя ничего найти по ключевым словам. В итоге курс остается только на известных авторов и тех на кого они ссылаются.
Никто не предлагает отказаться от рецензирования. Наоборот, есть немало возможностей его улучшить (подробности во второй части).
Но сейчас журналы совсем не используют компетенции научного сообщества (кроме рецензентов). А ведь подавляющее большинство людей, читающих статью — специалисты. И даже самые простые инструменты могут сильно повысить и прозрачность, и качество всего процесса.
Согласен, что все изменения нужно вводить осмотрительно. Но нынешние журналы очень сильно устарели, требуется целый комплекс изменений. У нас есть возможность сейчас сделать продуманную систему, отвечающую современным запросам.
Но сейчас журналы совсем не используют компетенции научного сообщества (кроме рецензентов). А ведь подавляющее большинство людей, читающих статью — специалисты. И даже самые простые инструменты могут сильно повысить и прозрачность, и качество всего процесса.
Согласен, что все изменения нужно вводить осмотрительно. Но нынешние журналы очень сильно устарели, требуется целый комплекс изменений. У нас есть возможность сейчас сделать продуманную систему, отвечающую современным запросам.
Невозможность найти что-либо в гугле, яндексе и тп. удурчает. Информационный шум от smm на 30-50 страниц убивает выдачу.
А я могу ответить почему так происходит.
По идее для этих целей у гугла и яндекса есть легионы асессоров/search engine evaluator (одним из которых я и являюсь), которые теоретически и должны отсеять тот самый «информационный шум от smm», и подвинуть наверх именно то, что пользователь ищет, от хороших годных источников.
Но тут есть вот какой нюанс. Скажем базовая инструкция по оценке от гугла содержит 168 страниц, а есть еще множество дополнительных. И если все это полностью соблюдать, то в принципе действительно можно более менее отсеять зерна от плевел. Только это всестороннее исследование одной страницы может занять этак час, особенно если мы говорим про какую-то незнакомую научную тематику. И естественно если ты над каждой страницей будешь столько сидеть, к тебе возникнут вопросы, учитывая что у гугла как раз оплата почасовая. А еще есть average estimate time на один таск. В итоге ты хочешь не хочешь а вынужден оценивать, скажем так, не настолько качественно как мог бы.
В Яндексе насколько я знаю примерно так же, только другим боком — оплата за количество сделанного, то есть в твоих интересах оценить как можно больше, а как уже дело десятое.
Это должно быть автоматизировано. Вот 15 лет назад ещё можно было найти что-то конкретное в интернете на любом сайте. Если нужна узкая тематика 10 лет назад можно было что-то найти используя спец параметры. И уже лет как 5 не найдёшь вообще ничего, если тема не популярна и не присутствует на популярном ресурсе. Сейчас ощущение, что сложилась сегрегация поисковых тем/людей. Т.е. в 1 поисковике я ищу темы по программированию, в другом по общей тематике. А если хочу найти что-то специфичное, то приходится искать через знакомых, т.к. мне просто не показывают нужные форумы-сайты, т.к. там менее 1к посетителей в день.
Сейчас выдача всегда идёт по популярности(ссылкам-/переходам) как основному критерию. Больше 3 слов в поисковик вообще смысла писать нет, всё равно не найдёт даже на популярных сайтах.
Как так? Интернет даже скучным стал из-за этого.
Сейчас выдача всегда идёт по популярности(ссылкам-/переходам) как основному критерию. Больше 3 слов в поисковик вообще смысла писать нет, всё равно не найдёт даже на популярных сайтах.
Как так? Интернет даже скучным стал из-за этого.
Эффект кобры + закон Гудхарта. Когда научная статья стает мерилом успеха, она перестает измерять что-либо адекватное кроме успешного успеха. Сад бат тру.
Поэтому ищется более менее гарантированный вариант с бОльшим импакт-фактором, и если редактор отказывает, то обычно нет времени ждать рассмотрения в другом журнале (отчетность по гранту имеет сроки) и статья уходит в локальный беспроблемный журнал (как говорят «мурзилка»).
не соглашусь, у нас такой подход не практикуется
Мы обычно к началу этапа стараемся иметь некий задел, который можно посылать в более-менее приличный журнал и сделать несколько попыток, прежде чем подойдет время отчета. А полученные на этом этапе результаты войдут в задел на следующий год. А если уж и посылать что-то в «мурзилку» (но у нас требуют сугубо WoS, так что это уже не совсем плохой журнал априори), то не нормальную статью, а какой-то кусок, который никуда больше не приткнуть
UFO just landed and posted this here
а вот тут надо уже аккуратнее — т.к. в том же РФФИ в большинстве конкурсов четко прописано, что в отчете не будут засчитаны публикации, направленные в журнал ранее чем такого-то числа (обычно — даты публикации победителей). И уж не знаю, как в отечественных жерналах, но в зарубежных ты «слишком раннюю» дату подачи не исправишь, она фиксируется в системе подачи рукописей и вставляется в соответствующее поле оттуда
Речь не о том, чтобы делать публикации заранее, а о том, что сначала делается исследование без финансирования, а затем уже получается грант под полученные результаты. В итоге подать публикацию в журнал можно в самом начале гранта.
В большинстве грантов, кстати, для того, чтобы зачли публикацию, достаточно статуса принятия к публикации, а не фактического опубликования.
Про это я и сам писал в одном своих из комментов выше.
Но из комментария 0xd34df00d я понял, что он ведет речь именно про подачу в журнал заранее
Но из комментария 0xd34df00d я понял, что он ведет речь именно про подачу в журнал заранее
достаточно статуса принятия к публикации, а не фактического опубликования.Не знаю, как сейчас — а десяток-другой лет назад фактическое опубликование могло произойти через несколько лет после подачи, поэтому статус принятия к публикации гораздо лучше подходит (подходил?) для отчета по гранту, где сроки вообще-то важны и детерминированы.
После подачи статьи в журнал ее еще могут отклонить на нескольких стадиях. Поэтому далеко не все гранты защитывают это для отчета. И обычно, скорее в виде исключения, а не правила.
Возможно, это сильно зависит от области. И возможно, еще от времени: про сейчас, повторюсь, я уже ничего не знаю.
Когда ужесточили требования для публикаций на диссертацию, многие аспиранты просто в осадок выпали. Аспирантура три года, а очередь на публикацию в Ботанический журнал лет на пять: как хочешь, так и выкручивайся.
Когда ужесточили требования для публикаций на диссертацию, многие аспиранты просто в осадок выпали. Аспирантура три года, а очередь на публикацию в Ботанический журнал лет на пять: как хочешь, так и выкручивайся.
Как я понял, MTyrz пишет не про подачу в журнал, а про принятие к публикации — т.е. редактор/рецензенты приняли, остались технические моменты, которые могут затянуться. И в таком статусе статья в (многих?) грантах засчитывается почти как полностью опубликованная.
Да, научный мир еще ждет свой uber или github. И ведь такой вот удачный сервис мог бы хорошо так оживить и освежить научный прогресс.
Именно! Об этом подробно поговорим во второй части.
Самое интересное, что даже уже придумывать ничего не нужно. Все уже придумано до нас, надо только взять работающие части и объединить их.
Остается только организационный вопрос (то есть самый сложный).
Самое интересное, что даже уже придумывать ничего не нужно. Все уже придумано до нас, надо только взять работающие части и объединить их.
Остается только организационный вопрос (то есть самый сложный).
Есть определенные причины, по которым рецензирование анонимное. И эти же причины снижают шансы на успешное внедрение модели uber/github. Которая тоже, прямо скажем, не идеальна.
Или у вас есть какая-то идея анонимного комментирования?
Если что, то статя мне понравилась, и, в целом, неплохо описывает состояние дел.
Самая простая идея — сделать комментирование доступным только зарегистрированным ученым, при этом комментарии по желанию или все могут быть анонимными — для обсуждения каждой статьи вам присваивается локальный ID. При этом можно даже отражать рейтинг комментатора, он не будет сильно деанобитизировать.
Я более подробно расскажу об этом во второй части — приведу уже работающие форматы и свои идеи.
Спасибо за вашу оценку.
Я более подробно расскажу об этом во второй части — приведу уже работающие форматы и свои идеи.
Спасибо за вашу оценку.
тут был комментарий с вопросом, почему рецензенты вообще соглашаются на рецензирование, но я передумал и решил подождать второй части. Тем не менее, автор успел ответить быстрее, чем я передумал, за что ему спасибо. :)
Рецензенты соглашаются по нескольким причинам.
Самая главная, на мой взгляд, это традиции и добропорядочность. Так принято в науке, и все соглашаются с правилами игры.
Еще одна причина — это принцип «ты мне, я тебе». Сегодня я рецензирую статью, завтра мне самому нужна рецензия. Все остаются при своих в такой ситуации.
Еще факт проведения рецензии улучшает CV молодых ученых — аспирантов и постдоков.
Я думаю, что есть два основных улучшения процесса рецензии — оплата труда рецензентов и долговременное отслеживание предложенных рецензентами изменений и система рейтинга. Тогда у ученых появится мотивация кроме добросовестности, а эффективность рецензии можно будет оценить пост фактум.
Полностью анонимной рецензии, мне кажется, сложно добиться. Я имею в виду, когда имена авторов тоже закрыты от рецензентов. А про редактора — у меня есть решение, которое я опишу во второй части. Мне оно кажется интересным.
Самая главная, на мой взгляд, это традиции и добропорядочность. Так принято в науке, и все соглашаются с правилами игры.
Еще одна причина — это принцип «ты мне, я тебе». Сегодня я рецензирую статью, завтра мне самому нужна рецензия. Все остаются при своих в такой ситуации.
Еще факт проведения рецензии улучшает CV молодых ученых — аспирантов и постдоков.
Я думаю, что есть два основных улучшения процесса рецензии — оплата труда рецензентов и долговременное отслеживание предложенных рецензентами изменений и система рейтинга. Тогда у ученых появится мотивация кроме добросовестности, а эффективность рецензии можно будет оценить пост фактум.
Полностью анонимной рецензии, мне кажется, сложно добиться. Я имею в виду, когда имена авторов тоже закрыты от рецензентов. А про редактора — у меня есть решение, которое я опишу во второй части. Мне оно кажется интересным.
Есть такая штука, как double-blind peer review. Но это далеко не всегда осмысленно.
Мне кажется, что часто можно выяснить, кто автор статьи — тема и авторский стиль выдают.
Наверно в статье следует отметить, что литературный стиль часто выдает и анонимного рецензента (особенно когда он просит процитировать определённые статьи).
Это тоже верно. Картинка с машиной отлично отражает результат ревизии, я считаю.
До/после рецензии
бывает и такое
мне пришлось столкнуться с подобным рецензентом, который в «рецензии» (я неспроста взял ее в кавычки) потребовал процитировать 14 его статей, слабо связанных с тематикой нашей статьи
мне пришлось столкнуться с подобным рецензентом, который в «рецензии» (я неспроста взял ее в кавычки) потребовал процитировать 14 его статей, слабо связанных с тематикой нашей статьи
14 статей — это прям сильно! Обычно более скромно поступают в таких случаях.
А что это за журнал, если не секрет?))
Materials Letters
Эльзевировский? О_о
Да, он самый
Скопусовский/восовский журнал первого-второго квартилей промышляет подобным…
Возможно, стоит обратиться в Scopus и WoS: рассказать им об этом. И если этот журнал не успел обрасти большими связями с этими базами, может его и исключат. Это было бы справедливо :)
Возможно, стоит обратиться в Scopus и WoS: рассказать им об этом. И если этот журнал не успел обрасти большими связями с этими базами, может его и исключат. Это было бы справедливо :)
Имхо, это нежизнеспособная идея — конкуренция и конфликт интересов быстро сделают свое дело.
Системе с внешним стимулом (гранты, позиции итд) обязательно нужен независимый модератор, роль которого в журналах выполняет редакция.
Ну он не совсем независимый (иногда совсем не независимый).
Основная компетенция — это рецензенты, то есть те же ученые.
Основная компетенция — это рецензенты, то есть те же ученые.
Отнюдь, все адекватные журналы делают редакцию максимально незаинтересованной, как Фемиду. Скажем, Nature Publishing Group берет на полную ставку вчерашних аспирантов, решивших уйти из науки и больше не имеющих в ней корыстных интересов. А American Physical Society наоборот, собирает редакцию из действующих профов по совместительству и расчитывает на их коллективную этику.
Если этого не делать, то не заставят себя ждать превышения полномочий, конфликты интересов и прочие этические прелести, которые журналу совсем не нужны.
можно даже отражать рейтинг комментатора, он не будет сильно деанобитизировать.будет, нужно обфусцировать.
Ну что ж, выскажусь: как автор, как рецензент, как редактор (отдельных special issues в журналах). Так что прошу прощения за простыню. По фактуре статья излагает ситуацию вполне корректно, спорить особо не с чем. Однако же я не думаю, что положение вещей в ближайшее время может сильно измениться, но и не унываю, поскольку не считаю его таким уж плохим.
Надо понимать, что нет единой «болевой точки»: мы имеем дело с многофакторным явлением, и нет способа починить всё и сразу. Например, если мы признаём, что учёные как-то борются за ранги (зарплаты) и гранты, то должны существовать объективные критерии оценки, то бишь KPI. Если начать ценить не количество и качество «престижных» публикаций, а, скажем, количество лайков в фейсбуке, то люди начнут собирать лайки, перепосты в твиттере и так далее. Эта глубинная проблема, и я не вижу быстрого способа её решить.
Возьмём другую её сторону. Университет хочет обеспечить хотя бы минимально допустимое качество диссертаций. Соответственно, от аспирантов требуют какое-то количество «хороших» публикаций. А как понять, что публикация «хорошая»? Ну, значит, она должна быть представлена в «хорошем» журнале/конференции, а стало быть, снова списки, рейтинги и т.п. Я участвую в этих дискуссиях, но радикально иного решения не просматривается, только «подкручивание» критериев.
Сюда же попадает вся история с низкокачественными работами: да, конечно, люди готовы срезать углы, лишь бы пробиться. Ну так KPI. Либо отменяйте KPI, либо давайте другие, и через год-два вы будете иметь ровно ту же картину, но с другими побочными эффектами.
История с публикационным процессом к ранее сказанному прямо не относится. Это всё же другая тема. Я бы не сказал, что всё так уж архаично: есть масса журналов, печатающих статьи в HTML — с цветными картинками, без колонок, с гиперссылками. Это по сути политика конкретного журнала: если кто-то блюдёт традиции, это их выбор, имеют право. Далее, практически все журналы уже разрешают авторам выкладывать бесплатные препринты. Если автор этого не делает, вины журнала тут никакой нет. Ещё лет 10-15 назад всё было куда менее либерально. Open access тоже новинка, к которой я отношусь сложно, но по крайней мере, эта опция появилась.
Пафос же линии мысли «зажравшиеся журналы гребут деньги лопатой за хостинг pdf» я не разделяю. Журнал — это самый обыкновенный бизнес. На рынке журналов сотни и тысячи. Если вы знаете, как сделать лучше — открывайте свой журнал и покажите класс.
Утверждать, что всегда платит автор или читатель — неверно. Существуют журналы, которые публикуют бесплатно и выкладывают статьи тоже бесплатно, могу назвать несколько штук без проблем. Обычно такой журнал спонсирует какое-нибудь государственное академическое сообщество, которое позволяет редакции более-менее существовать.
Основная работа редакции — это не «хостинг pdf», а всяческая раскрутка собственного бренда, повышение его рейтинга, значимости, популярности и т.п. Это не так просто: надо уметь себя рекламировать, спонсировать тематические конференции (т.е. публиковать бесплатно работы оттуда), давать скидки «хорошим» авторам, приглашать рейтинговых учёных в редакторы и рецензенты, убеждать их посылать статьи именно в этот журнал. Короче говоря, это ровно та работа, о которой прекрасно знает любой производитель товара, за которым «из особенного» есть лишь бренд — будь то кроссовки, кофе или макароны.
Собственно, поэтому я и не думаю, что есть предпосылки к революции в способе публикации. Журналы реагируют на происходящее и понимают, что где-то надо отпустить гайки (open access, препринты), где-то придумать новую замануху (быстрое рецензирование, скидки) и так далее. При этом ценность состоит именно в бренде, в вере учёных и администраторов, что конкретно в этом журнале публикуются приличные работы, и публикация в нём может считаться успехом для учёного. С технической же точки зрения создать свой «убер» несложно, но проблема же не в технике, а в том, что раскрутка и поддержка бренда — это большой труд, который на сегодняшний день готовы взять на себя в основном коммерческие организации, ну и успешны в этом тоже в основном они.
Надо понимать, что нет единой «болевой точки»: мы имеем дело с многофакторным явлением, и нет способа починить всё и сразу. Например, если мы признаём, что учёные как-то борются за ранги (зарплаты) и гранты, то должны существовать объективные критерии оценки, то бишь KPI. Если начать ценить не количество и качество «престижных» публикаций, а, скажем, количество лайков в фейсбуке, то люди начнут собирать лайки, перепосты в твиттере и так далее. Эта глубинная проблема, и я не вижу быстрого способа её решить.
Возьмём другую её сторону. Университет хочет обеспечить хотя бы минимально допустимое качество диссертаций. Соответственно, от аспирантов требуют какое-то количество «хороших» публикаций. А как понять, что публикация «хорошая»? Ну, значит, она должна быть представлена в «хорошем» журнале/конференции, а стало быть, снова списки, рейтинги и т.п. Я участвую в этих дискуссиях, но радикально иного решения не просматривается, только «подкручивание» критериев.
Сюда же попадает вся история с низкокачественными работами: да, конечно, люди готовы срезать углы, лишь бы пробиться. Ну так KPI. Либо отменяйте KPI, либо давайте другие, и через год-два вы будете иметь ровно ту же картину, но с другими побочными эффектами.
История с публикационным процессом к ранее сказанному прямо не относится. Это всё же другая тема. Я бы не сказал, что всё так уж архаично: есть масса журналов, печатающих статьи в HTML — с цветными картинками, без колонок, с гиперссылками. Это по сути политика конкретного журнала: если кто-то блюдёт традиции, это их выбор, имеют право. Далее, практически все журналы уже разрешают авторам выкладывать бесплатные препринты. Если автор этого не делает, вины журнала тут никакой нет. Ещё лет 10-15 назад всё было куда менее либерально. Open access тоже новинка, к которой я отношусь сложно, но по крайней мере, эта опция появилась.
Пафос же линии мысли «зажравшиеся журналы гребут деньги лопатой за хостинг pdf» я не разделяю. Журнал — это самый обыкновенный бизнес. На рынке журналов сотни и тысячи. Если вы знаете, как сделать лучше — открывайте свой журнал и покажите класс.
Утверждать, что всегда платит автор или читатель — неверно. Существуют журналы, которые публикуют бесплатно и выкладывают статьи тоже бесплатно, могу назвать несколько штук без проблем. Обычно такой журнал спонсирует какое-нибудь государственное академическое сообщество, которое позволяет редакции более-менее существовать.
Основная работа редакции — это не «хостинг pdf», а всяческая раскрутка собственного бренда, повышение его рейтинга, значимости, популярности и т.п. Это не так просто: надо уметь себя рекламировать, спонсировать тематические конференции (т.е. публиковать бесплатно работы оттуда), давать скидки «хорошим» авторам, приглашать рейтинговых учёных в редакторы и рецензенты, убеждать их посылать статьи именно в этот журнал. Короче говоря, это ровно та работа, о которой прекрасно знает любой производитель товара, за которым «из особенного» есть лишь бренд — будь то кроссовки, кофе или макароны.
Собственно, поэтому я и не думаю, что есть предпосылки к революции в способе публикации. Журналы реагируют на происходящее и понимают, что где-то надо отпустить гайки (open access, препринты), где-то придумать новую замануху (быстрое рецензирование, скидки) и так далее. При этом ценность состоит именно в бренде, в вере учёных и администраторов, что конкретно в этом журнале публикуются приличные работы, и публикация в нём может считаться успехом для учёного. С технической же точки зрения создать свой «убер» несложно, но проблема же не в технике, а в том, что раскрутка и поддержка бренда — это большой труд, который на сегодняшний день готовы взять на себя в основном коммерческие организации, ну и успешны в этом тоже в основном они.
Спасибо за развернутый комментарий, это особенно ценно, ведь вы представляете тему и с позиции редактора в том числе.
Я согласен, что все упирается какой-то KPI. Но мне очень не нравится выбор в качестве основной величины импакт-фактора. И я в этом не одинок, например, нобелевский лауреат Рэнди Шекман (и его журнал eLife) выступает против такого способа категоризации статей. Часть документального фильма «Paywall: The Business of Scholarship» тоже посвящена роли импакт-фактора в современной науке.
Мне кажется, что выбор этого KPI и должен быть одной из ключевых задач для различных грантовых организаций. Но я уверен, что этот параметр должен оценивать напрямую статью, а не журнал. Согласен с вами, что под любой параметр люди будут оптимизировать свою работу. Но тем важнее выбрать этот параметр с умом.
А про «хостинг pdf» — это было, конечно, преувеличение. Я лишь имел в виду, что сейчас уже так много возможностей для работы с информацией, а мы пользуемся лишь ограниченным набором.
Я согласен, что все упирается какой-то KPI. Но мне очень не нравится выбор в качестве основной величины импакт-фактора. И я в этом не одинок, например, нобелевский лауреат Рэнди Шекман (и его журнал eLife) выступает против такого способа категоризации статей. Часть документального фильма «Paywall: The Business of Scholarship» тоже посвящена роли импакт-фактора в современной науке.
Мне кажется, что выбор этого KPI и должен быть одной из ключевых задач для различных грантовых организаций. Но я уверен, что этот параметр должен оценивать напрямую статью, а не журнал. Согласен с вами, что под любой параметр люди будут оптимизировать свою работу. Но тем важнее выбрать этот параметр с умом.
А про «хостинг pdf» — это было, конечно, преувеличение. Я лишь имел в виду, что сейчас уже так много возможностей для работы с информацией, а мы пользуемся лишь ограниченным набором.
Мне кажется, что выбор этого KPI и должен быть одной из ключевых задач для различных грантовых организаций.
Ну он, в общем-то, и сейчас различный. Например, основной тип государственного гранта у нас (это в Японии, где я работаю) в принципе не подразумевает никаких KPI: мы просто пишем план проекта, его оценивают некие эксперты и выдают заключение: финансируем или нет. Здесь нет работы на рейтинг, но есть совершенно определённая лотерея: сложно понять, что рецензентам понравится. Например, для них есть критерий «актуальность работы» или «реалистичность плана». Я уже много лет пишу эти заявки и каждый раз остаюсь в полном недоумении, как они это вычисляют. Ну вот мне задача кажется актуальной, а рецензенту неактуальной, хоть ты тресни.
Не знал, что в Японии статьи не влияют на оценку проекта, это очень интересно. Но насколько я слышал, в Японии организация науки во многом отличается от европейской, например.
А заменить KPI на рецензию — интересный подход, но как это сработает в России, я боюсь предсказать.
А заменить KPI на рецензию — интересный подход, но как это сработает в России, я боюсь предсказать.
Я вообще заканчивал университет в Европе и тоже участвовал там в разного рода грантах, но не помню, чтобы как-то это было завязано на статьи. Ну, в смысле, конечно, как автор плана проекта я должен доказать, что я в этой области специалист (вот мои публикации по теме, видите). Но всё равно мы сочиняли некий текст, этот текст шёл на рецензирование, и там как-то его уже оценивали. В Японии, на мой взгляд, всё более-менее как везде, со своими особенностями, конечно.
В России «грант» — это вообще что-то запредельно странное. Поправьте, если ошибаюсь, но российские коллеги рассматривают гранты как своего рода «премии», т.е. по итогам года тебе дают денег, и тем самым ты можешь повысить себе зарплату.
В Японии мы (да и в Европе так было) не можем взять и себе выплатить денег из гранта. Грант даётся не для набивания кармана, а на выполнение проекта. Соответственно, часть заявки на грант — это бюджет, в котором мы указываем: столько-то денег пойдёт на поездки на конференции, столько-то на покупку оборудования, столько-то на гонорары исполнителям (не нам) и т.п.
В России «грант» — это вообще что-то запредельно странное. Поправьте, если ошибаюсь, но российские коллеги рассматривают гранты как своего рода «премии», т.е. по итогам года тебе дают денег, и тем самым ты можешь повысить себе зарплату.
В Японии мы (да и в Европе так было) не можем взять и себе выплатить денег из гранта. Грант даётся не для набивания кармана, а на выполнение проекта. Соответственно, часть заявки на грант — это бюджет, в котором мы указываем: столько-то денег пойдёт на поездки на конференции, столько-то на покупку оборудования, столько-то на гонорары исполнителям (не нам) и т.п.
Из личного опыта, я могу сказать только про молекулярную биологию в России и немного в Германии.
В тех лабораториях, где я работал, основная часть денег по грантам шла на реактивы, расходники и чуть меньше на приборы (большая часть дорогой техники покупается за специальные гранты).
Конечно, бонусы к зарплате из грантов в России платят, но в нашей лаборатории это меньшая часть расходов, на сколько мне известно.
Большая проблема с надбавками из грантов в России то, что они очень непрозрачны. В гранте прописан лимит денег на надбавки, но платить можно любому сотруднику почты любую дополнительную сумму. А можно и не платить, соответсвенно. Это на усмотрение руководителя проекта.
Везде надо писать заявку на грант и подробное описание проекта, но проекты ученых с лучшим списком статей имеют решающее преимущество по моему опыту. При отчете по гранту в России основной критерий — число статей, импакт-фактор служит коофициентом (статьи с высоким импактом считаются за две).
В тех лабораториях, где я работал, основная часть денег по грантам шла на реактивы, расходники и чуть меньше на приборы (большая часть дорогой техники покупается за специальные гранты).
Конечно, бонусы к зарплате из грантов в России платят, но в нашей лаборатории это меньшая часть расходов, на сколько мне известно.
Большая проблема с надбавками из грантов в России то, что они очень непрозрачны. В гранте прописан лимит денег на надбавки, но платить можно любому сотруднику почты любую дополнительную сумму. А можно и не платить, соответсвенно. Это на усмотрение руководителя проекта.
Везде надо писать заявку на грант и подробное описание проекта, но проекты ученых с лучшим списком статей имеют решающее преимущество по моему опыту. При отчете по гранту в России основной критерий — число статей, импакт-фактор служит коофициентом (статьи с высоким импактом считаются за две).
Ну, да, понятно, что если рецензент видит, что заявка идёт от человека с хорошим послужным списком, он склонен больше доверять ей. Тут уж что сделать — сначала ты работаешь на зачётку, потом зачётка на тебя, ничего нового.
А что значит «критерий при отчёте по гранту»? Когда я пишу отчёт, это же… гм… отчёт, деньги уже потрачены, и написать я могу по сути что угодно, эти отчёты у нас уже ни на что не влияют, и даже вряд ли кто их читает.
А что значит «критерий при отчёте по гранту»? Когда я пишу отчёт, это же… гм… отчёт, деньги уже потрачены, и написать я могу по сути что угодно, эти отчёты у нас уже ни на что не влияют, и даже вряд ли кто их читает.
В России, в заявке на грант обещают определенное число статей. Если при отчете статей не хватает, то следующий грант могут уже не дать. (Тут зависит от масштабов недосдачи)
Отчет также оценивается — как по субъективным показателям, так и по количественным: при подаче заявки я должен указать (а часто это прямым текстом забито в условиях гранта), сколько статей я опубликую за каждый год и за весь грант, в скольких конференциях поучаствую и т.д. за невыполнение этих индикаторов могут:
— пожурить и потребовать довыполнить на следующий год
— признать итоги этапа неудовлетворительными и не продлить грант на следующий год
— признать итоги этапа неудовлетворительными и потребовать возврата части либо полной суммы гранта (лично мне такие случаи неизвестны, но в договорах всегда это прописывают — на всякий случай). В одном из моих грантов есть даже вот такое приложение к договору с Формулой расчета штрафных санкций в рублях:
— пожурить и потребовать довыполнить на следующий год
— признать итоги этапа неудовлетворительными и не продлить грант на следующий год
— признать итоги этапа неудовлетворительными и потребовать возврата части либо полной суммы гранта (лично мне такие случаи неизвестны, но в договорах всегда это прописывают — на всякий случай). В одном из моих грантов есть даже вот такое приложение к договору с Формулой расчета штрафных санкций в рублях:
Картинко
В Германии в structural molecular biology большая часть грантов идёт на зарплаты. Дорогие приборы из отдельных грантов. Реактивы — второстепенный расход. Оно и понятно, один месяц пост-дока стоит тысяч 6 евро.
В России при подаче гранта ты тоже составляешь смету, где расписываешь, на что будешь тратить выделенные деньги: столько-то на оплату труда членов коллектива, который выполняет грант, столько-то — на налоги на эту оплату труда, столько-то — на конференции, на реактивы и т.д., отдельная строка — накладные расходы (часть, которую забирает себе организация за то, что предоставляет место и оборудование, обычно 10-20% от общей суммы).
Проблема в том, что бОльшая часть «массовых» грантов — это смешные по европейским меркам суммы в 10-15 тысяч долларов в год на коллектив 4-6 человек. Поэтому никакого оборудования на эти деньги не купить, а на зарплату реально выходит по 100-150 баксов в месяц.
Проблема в том, что бОльшая часть «массовых» грантов — это смешные по европейским меркам суммы в 10-15 тысяч долларов в год на коллектив 4-6 человек. Поэтому никакого оборудования на эти деньги не купить, а на зарплату реально выходит по 100-150 баксов в месяц.
Проблема в том, что бОльшая часть «массовых» грантов — это смешные по европейским меркам суммы в 10-15 тысяч долларов в год на коллектив 4-6 человек.
Ну, например аспирантский грант РФФИ — это 600к (т.е. близко к $10000) в год не на коллектив, а на аспиранта. Думаю, достаточно массовый (с прошлого года).
UFO just landed and posted this here
Из этих 600к нужно вычесть накладные расходы (10-20%), а из оставшихся денег, если пустить их все на зарплату, — еще порядка трети на налоги (ндфл, социалка). Так что «чистыми» остается чуть больше половины.
В общем согласен с вами, чистыми всегда выходит заметно меньше. Только небольшое уточнение — РФФИ считает, что гранты не облагаются социальными налогами.
Вообще для всех грантов это по-разному работает. Подробнее про это здесь.
Таким образом, по мнению РФФИ, выплаты средств гранта членам научного коллектива — грантополучателям не являются объектом обложения страховыми взносами, поскольку не обладают признаками, предусмотренными частью 1 статьи 7 Федерального закона N212-ФЗ и частью 2 статьи 420 НК РФ.
Вообще для всех грантов это по-разному работает. Подробнее про это здесь.
Да, я забыл, что РФФИ уже пару лет как «просто дает деньги», у нас же есть такой грант в лаборатории. Вот с «президентского» гранта МК (тот, что со штрафными санкциями выше) налоги выплачиваются.
В РФФИ-Аспиранты, про который я писал, накладных расходов нет (либо их как-то уж совсем неявно вычли :) ).
Ну и основная суть моего сообщения была в том, что есть популярные гранты, в которых явно больше средств чем $10k на 6 человек в год.
Ну и основная суть моего сообщения была в том, что есть популярные гранты, в которых явно больше средств чем $10k на 6 человек в год.
а из оставшихся денег, если пустить их все на зарплату, — еще порядка трети на налоги (ндфл, социалка)
НФДЛ с грантов не платится, а с грантов РФФИ — ещё и соцвзносы.
А ещё есть предельная база по соцвзносам. Выплаты студентам намного проще оформлять, выводя деньги через одного человека — и взносы ниже, и бумагомарательства меньше.
Проблема в том, что бОльшая часть «массовых» грантов — это смешные по европейским меркам суммы в 10-15 тысяч долларов в год на коллектив 4-6 человек.
… которых можно набрать сразу несколько и обеспечить себе нормальную зарплату. Сравните это с западным подходом, где основной грант, с котором платится зарплата, только один.
Главная проблема научных публикаций — в том что вся эта система представляет из себя бюрократизированное legacy. И дело не в каких-то конкретных аспектах, а во всей системе целиком.
Есть современные методы публикации своих работ — в интернете — тот же хабр, а так же много других сайтов (форумы, блоги). Они не представляют из себя развитие устаревшего хлама из позапрошлого века, а построены с нуля в новых реалиях и под новые потребности. Но инерция велика, и люди (и гос. структуры), привыкшие к той системе, предпочитают в ней и оставаться (у них слишком много всего завязано на её систему понятий), да ещё и вербуют туда пополнение из новых поколений.
Согласен с вами. И некоторое наследие тянется еще, не то что из 20, а из 19 века. Пример Хабра и других сходных проектов как раз и позволяет представить, как более оптимальная система могла бы работать.
Но у научных статей есть своя важная специфика, самое главное — это рецензирование. О том, как все эти части собрать вместе, я хочу поговорить во второй части статьи.
Но у научных статей есть своя важная специфика, самое главное — это рецензирование. О том, как все эти части собрать вместе, я хочу поговорить во второй части статьи.
Вы излагаете очень популярную точку зрения, но я не могу с ней согласиться. Вот у меня есть некий текст. Почему я его выложу на Хабр, а не на свой личный дневничок? Там нет НЛО, там не повесят левый рекламный баннер и т.п. Одна из причин — это потому, что я хочу, чтобы мою статью прочитало как можно больше людей из моей целевой аудитории. Это и есть мой собственный KPI для себя.
Формат сайта типа Хабра — не «более современный» в противоположность «архаичному», он просто другой. Если завтра учёным скажут, что их задача — это именно выдать текст на как можно более широкую аудиторию и собрать как можно больше лайков, это будет сделано, никаких проблем. Тут же появится свой SciHabr. Но я сильно сомневаюсь, что результат вас обрадует. Статья же будет специально затачиваться ровно под эту цель, что для содержания не всегда хорошо.
Формат сайта типа Хабра — не «более современный» в противоположность «архаичному», он просто другой. Если завтра учёным скажут, что их задача — это именно выдать текст на как можно более широкую аудиторию и собрать как можно больше лайков, это будет сделано, никаких проблем. Тут же появится свой SciHabr. Но я сильно сомневаюсь, что результат вас обрадует. Статья же будет специально затачиваться ровно под эту цель, что для содержания не всегда хорошо.
Что думаете по поводу вики-формата? Люди могут исправлять ошибки в чужих статьях, расширять их. Знания аккумулируются эффективнее: мне кажется, сейчас существенная проблема в статьях — в каждой есть длинное вступление с примерно одинаковыми вводными, но при этом у каждого разная терминология и обозначения, а также повторение чужой работы, когда люди просто не знают про нее (или осознанно игнорируют чтобы опубликовать что-то самим, не знаю).
Лично мне больше нравится вариант с комментариями. Все таки в науке важно, что у статьи есть автор, который несет за нее ответсвенность.
Смотрите. Абсолютно все способы организации знания имеют право на жизнь. Вики — это на данный момент способ организации «третичных источников», то есть в Википедии по факту действительно «аккумулируется» некоторое знание. Вскрылись новые факты — добавили об этом абзац.
Формат статьи — это «публон», т.е. единица публикуемого исследования, например, один эксперимент. Я пишу: вот есть такая-то ситуация в мире, в которой имеется проблема А. При помощи метода Б я хочу эту проблему решить. Предлагаю метод такой-то, вот я проделал такой-то эксперимент, получил результаты, делюсь.
Выложив статью, я уже теряю к ней интерес, потому что на повестке дня у меня уже другой эксперимент и другая задача. Если кому-то захочется взять мою статью (сославшись) и написать свою — я только счастлив, для этого и работаем. Если кто-то нашёл ошибку или хочет подискутировать — ну в теории интересно, но на практике вряд ли я буду ходить по своим старым статьям и смотреть, кто чего туда написал. На хабре тоже никто не комментирует статьи годовалой давности.
Вики-формат, пожалуй, хорошо бы подошёл для знания вида «state of the art в такой-то области». Например, меня интересует… ну не знаю, распознавание объектов на картинках. Вот если бы была актуальная вики-страница, которая бы перечисляла, какие методы на сегодняшний день являются наиболее эффективными (с обсуждением, ссылками на код и т.п.) — это действительно было бы очень здорово. Зачатки таких страниц существуют, например, всякие awesome списки.
Формат статьи — это «публон», т.е. единица публикуемого исследования, например, один эксперимент. Я пишу: вот есть такая-то ситуация в мире, в которой имеется проблема А. При помощи метода Б я хочу эту проблему решить. Предлагаю метод такой-то, вот я проделал такой-то эксперимент, получил результаты, делюсь.
Выложив статью, я уже теряю к ней интерес, потому что на повестке дня у меня уже другой эксперимент и другая задача. Если кому-то захочется взять мою статью (сославшись) и написать свою — я только счастлив, для этого и работаем. Если кто-то нашёл ошибку или хочет подискутировать — ну в теории интересно, но на практике вряд ли я буду ходить по своим старым статьям и смотреть, кто чего туда написал. На хабре тоже никто не комментирует статьи годовалой давности.
Вики-формат, пожалуй, хорошо бы подошёл для знания вида «state of the art в такой-то области». Например, меня интересует… ну не знаю, распознавание объектов на картинках. Вот если бы была актуальная вики-страница, которая бы перечисляла, какие методы на сегодняшний день являются наиболее эффективными (с обсуждением, ссылками на код и т.п.) — это действительно было бы очень здорово. Зачатки таких страниц существуют, например, всякие awesome списки.
Если кто-то нашёл ошибку или хочет подискутировать — ну в теории интересно, но на практике вряд ли я буду ходить по своим старым статьям и смотреть, кто чего туда написал. На хабре тоже никто не комментирует статьи годовалой давности.
С моей ненаучной точки зрения это выглядит как серьезное профессиональное искажение, вызванное тем самым "статейным" форматом. Не иметь дела до ошибок в научной работе — заботиться не о пользе от статьи, а о традиционных научных KPI. Может, ошибка вообще опровергает весь результат — но уже не важно, ведь статья опубликована, и цитаты были.
По поводу дискуссии: вики-формат не предполагает gatekeeping со стороны автора статьи, только со стороны редакторов/модераторов раздела. Поэтому если автор уже думать забыл про ту область, проблем нет — модератор проверит валидность правки. Если никто не может проверить валидность правки — это и следует отразить, мол, тут научного консенсуса нет.
Это все придумал не я, конечно, половина книги Reinventing Discovery посвящена вики.
Не иметь дела до ошибок в научной работе — заботиться не о пользе от статьи, а о традиционных научных KPI. Может, ошибка вообще опровергает весь результат
Всё не так плохо. Ну вот смотрите, я разработал метод решения задачи, который обладает какими-то там свойствами, черкнул статью. Допустим, в этой статье ошибка, и я (например) указал более высокую производительность метода, чем он даёт на самом деле.
Дальше происходит следующее. Кто-то другой разрабатывает метод, который по всем параметрам лучше моего, и значит, до моего метода уже никому дела нет. Либо, если оказывается, что мой метод никто не может превзойти, то другой человек пишет статью со своим методом, и при этом обосновывает превосходство своего, указывая на то, что результаты предыдущего лучшего (моего) ему не удалось воспроизвести. А читатель в любом случае ориентируется на «свеженькое».
В любом случае я повторю то, что говорил насчёт вики ранее: это совершенно прекрасно как третичный источник. Вы предъявляете слишком суровые требования к людям, которые добросовестно что-то там делают и публикуют результаты. Но к ним надо относится как к «альфа-версии» софта: используйте на свой страх и риск. Потом это всё обобщается и излагается, например, в учебниках. Вот туда уже более-менее консенсусные вещи попадают, потому что их авторы изучают весь корпус публикаций и смотрят, где результаты сходятся, а где что-то малореальное отрапортовали.
Дальше происходит следующее. Кто-то другой разрабатывает метод, который по всем параметрам лучше моего, и значит, до моего метода уже никому дела нет. Либо, если оказывается, что мой метод никто не может превзойти, то другой человек пишет статью со своим методом, и при этом обосновывает превосходство своего, указывая на то, что результаты предыдущего лучшего (моего) ему не удалось воспроизвести. А читатель в любом случае ориентируется на «свеженькое».
Тогда всё что вы делаете бесполезно получается.
Вообще большинство статей реально бесполезны, я работаю в технической сфере, инженерии, в большинстве статей всё даётся в относительных величинах, обороты, напряжения и пр. ибо реальные данные не пропускает служба безопасности причём и у нас и на западе (почти все работы с промышленностью либо по их заказу), толку от этих статей — никакого. Отчётов по экспериментам нет вообще (спасибо NASA у них одних есть и открытым диссертациям, там тоже попадается, но редко). Максимум для чего полезны — сделать обзор что сейчас актуально либо найти автора и напрямую с ним связаться.
Использовать статью в своих исследованиях — невозможно. Может в других областях немного по другому, но в технических именно так.
UFO just landed and posted this here
Ну в вашей области может, так и есть (из-за вопросов безопасности), но какие-нибудь ныне хайповые deep learning networks в больших количествах лежат на гитхабе (статья + код), так что бери и пользуйся. И каждые несколько месяцев появляется улучшенная версия того или иного подхода.
На хабре тоже никто не комментирует статьи годовалой давности.Комментируют, но хабр не предоставляет инструментов для удобного выявления этих комментариев. По факту только автор статьи, те, кто комментировал статью или подписался на неё, и случайные захожане будут уведомлены.
Я думаю, люди это понимают и потому количество оставленных комментариев существенно меньше, чем могло бы быть. Но даже так они есть.
Есть хороший пример того, как комментарии к статьям работают сейчас. Речь о комментариях в стиле Хабра, а не традиционных, в формате статей. Вот в этой работе www.nature.com/articles/nature14295, в Nature, на секундочку, авторы показали, что между двумя слоями графена вода формирует квадратную решетку. Потом им указали, что то, что они видели с помощью электронного микроскопа, может быть растворенной в воде солью, которая кристаллизовалась между слоями графена. И образует как раз такую же квадратную решетку. Авторы написали комментарии к статье, что да, все так, никак опровергнуть не можем. Но статья отозвана не была и продолжает висеть в журнале и резюме авторов…
Ну а почему она должна быть «отозвана»? Она является частью научного процесса. Давайте тогда сотрём работы Дарвина и Ньютона — там тоже полно ошибок. Это не так работает: новое наслаивается на старое, и если вы ссылаетесь на работу, скажем, десятилетней давности, то на ваши плечи ложится задача убедиться, что за десять лет ничего не было опровергнуто.
Потому что авторы фактически признали, что их результат неверен — нет никакого square ice'a. Поэтому нужно было отзывать статью, или, как минимум, выпускать corrigendum. Однако этого не сделали, а в комментариях написали «ну сорри, ошиблись, че». Думаю, тут еще сыграло то, что статья опубликована в Nature, да еще и от группы Нобелевского лауреата.
Давайте разложим. Во-первых, не «признали, что неверен», а сказали, что «и такая интерпретация возможна». Во-вторых, не будем пенять на нобелиатов и Нейчур — я бы на их месте поступил ровно точно так же даже в случае третьесортного журнала.
Поступок типа «отзовём статью» в принципе не ожидается в данном случае. Я даже не знаю, как на внятном примере объяснить. Ну, например, вот у вас есть высшее образование? Если есть, вы писали дипломную работу, а если бы вы её не защитили, то и образования бы не было. Уверен, если её внимательно прочитать, наверняка там можно найти ошибку, которая портит всё дело. А если не у вас, то у вашего друга/брата/коллеги. Значит, что, отменяем диплом? А есть и похуже случаи. Аспирант обязан опубликоваться, чтобы защититься. Опубликовался, защитился, работает уже где-нибудь научным сотрудником. В статье нашли ошибку: отзываем статью, отзываем диссертацию, отзываем учёную степень, увольняем его? Мир не может так работать.
Журнал — это как бы «заказчик». Авторы выполнили работу на заказ и прошли по всем требованиям. Тестеры ничего не заподозрили, работа принята. Через полгода авторам говорят: так тут критический баг! Давайте, не знаю, деньги верните, из резюме строчку «внедрили крутой проект» выбросьте, ну или переделайте всё. Переделать вы не можете — полгода прошло, у вас уже совсем другие дела, которые весь день занимают, а выкидывать проект из резюме — с чего бы? В данном случае это удар по репутации журнала, который такое пропустил, а не автора. В следующий раз будут аккуратнее.
Поступок типа «отзовём статью» в принципе не ожидается в данном случае. Я даже не знаю, как на внятном примере объяснить. Ну, например, вот у вас есть высшее образование? Если есть, вы писали дипломную работу, а если бы вы её не защитили, то и образования бы не было. Уверен, если её внимательно прочитать, наверняка там можно найти ошибку, которая портит всё дело. А если не у вас, то у вашего друга/брата/коллеги. Значит, что, отменяем диплом? А есть и похуже случаи. Аспирант обязан опубликоваться, чтобы защититься. Опубликовался, защитился, работает уже где-нибудь научным сотрудником. В статье нашли ошибку: отзываем статью, отзываем диссертацию, отзываем учёную степень, увольняем его? Мир не может так работать.
Журнал — это как бы «заказчик». Авторы выполнили работу на заказ и прошли по всем требованиям. Тестеры ничего не заподозрили, работа принята. Через полгода авторам говорят: так тут критический баг! Давайте, не знаю, деньги верните, из резюме строчку «внедрили крутой проект» выбросьте, ну или переделайте всё. Переделать вы не можете — полгода прошло, у вас уже совсем другие дела, которые весь день занимают, а выкидывать проект из резюме — с чего бы? В данном случае это удар по репутации журнала, который такое пропустил, а не автора. В следующий раз будут аккуратнее.
Значит, что, отменяем диплом?
Да нет конечно, никто такого делать не будет — отозвали статью, а диссертация осталась. Отзыв может повлиять на карьеру опытных ученых, ну так их дело следить за достоверностью результатов.
Переделать вы не можете — полгода прошло, у вас уже совсем другие дела, которые весь день занимают
Ну, так это называется ответственность. Придется плюнуть на все дела и переделать. Или вычеркнуть строчку из резюме. Иначе как — «мы ему звонили, но он очень занят, пусть статья остается.»?
Вы удобным образом отвечаете только на те вопросы, на которые можно дать удобные ответы.
Ещё раз: аспирант получает степень только по факту публикации в журнале, невозможна ситуация «статьи нет, а степень PhD есть». Соответственно, я не представляю себе сценарий «статью отозвали, степень осталась».
Ну опять же. То есть вот вы на полном серьёзе говорите, что к вам приходит заказчик и говорит: вы тут год назад проект сделали, а там, оказывается, ещё на месяц работы. Давайте вернёмся к этой теме? Ладно вы в отпуске на пляже, «ответственность» и всё такое. Но у вас теперь новый заказчик, и перед ним тоже ответственность.
Ну и, опять же, возвращаемся к нашим друзьям Дарвину и Ньютону. Их давно опровергли в деталях. Что с ними делать? А что делать с теми, кто на них ссылается? Учёный не занимался фабрикацией результата, он не плагиатил и не мошенничал. Он честно ошибся, бывает. Проверяющие ошибку не заметили, не его вина.
Я понимаю, что вам это всё может не нравиться, но я просто пытаюсь донести, как работает система, не стреляйте в пианиста.
Ещё раз: аспирант получает степень только по факту публикации в журнале, невозможна ситуация «статьи нет, а степень PhD есть». Соответственно, я не представляю себе сценарий «статью отозвали, степень осталась».
Ну, так это называется ответственность. Придется плюнуть на все дела и переделать.
Ну опять же. То есть вот вы на полном серьёзе говорите, что к вам приходит заказчик и говорит: вы тут год назад проект сделали, а там, оказывается, ещё на месяц работы. Давайте вернёмся к этой теме? Ладно вы в отпуске на пляже, «ответственность» и всё такое. Но у вас теперь новый заказчик, и перед ним тоже ответственность.
Ну и, опять же, возвращаемся к нашим друзьям Дарвину и Ньютону. Их давно опровергли в деталях. Что с ними делать? А что делать с теми, кто на них ссылается? Учёный не занимался фабрикацией результата, он не плагиатил и не мошенничал. Он честно ошибся, бывает. Проверяющие ошибку не заметили, не его вина.
Я понимаю, что вам это всё может не нравиться, но я просто пытаюсь донести, как работает система, не стреляйте в пианиста.
Не согласен с вашей основной мыслью, мне тоже кажется, что ученые должны нести ответственность за свои публикации. Не обязательно все переделывать или исправлять, но отозвать статью с ошибкой и получить за нее минус в карму — мне кажется правильным решением.
Справедливости ради отмечу, что в разных странах это работает по-разному. В Германии и Великобритании, например, можно защищаться совсем без статей — только написав тезис и получив согласие руководителя.
аспирант получает степень только по факту публикации в журнале, невозможна ситуация «статьи нет, а степень PhD есть».
Справедливости ради отмечу, что в разных странах это работает по-разному. В Германии и Великобритании, например, можно защищаться совсем без статей — только написав тезис и получив согласие руководителя.
В обсуждаемой статье нет ошибок. Есть альтернативная интерпретация налюдений, о чём, как я понял, авторы и написали.
PS: Что там со второй частью, кстати? :)
Я скорее имею в виду общую ситуацию, когда ученый отвечает за свои статьи. Случаются и более серьезные нарушения ведь.
Если говорить о данном примере, насколько я понял, это не просто альтернативная интерпретация, а плохой дизайн эксперимента, который компрометирует выводы статьи, делая их недостоверными.
Я как раз заканчиваю вторую часть. Хочется в нее включить дополнительные рассуждения, основанные в том числе на данной ветке комментариев. Надеюсь, завтра или в понедельник будет готова.
Если говорить о данном примере, насколько я понял, это не просто альтернативная интерпретация, а плохой дизайн эксперимента, который компрометирует выводы статьи, делая их недостоверными.
Я как раз заканчиваю вторую часть. Хочется в нее включить дополнительные рассуждения, основанные в том числе на данной ветке комментариев. Надеюсь, завтра или в понедельник будет готова.
Это был бы благородный поступок, конечно. Но я просто думаю, что по умолчанию на такое поведение не приходится рассчитывать, потому что оно выходит за рамки стандартных поведенческих норм. Нашли ошибку в статье? Прекрасно, пишите свою статью на основе моей, громите там её и опровергайте. У меня будет статья, и у вас тоже, win-win.
К сожалению, даже такой подход сейчас работает не очень хорошо. Удивительно, но даже такая критическая статья будет считаться цитированием исходной. То есть работать ей в плюс. Если наберется больше критики, то это будет иметь эффект. Но это процесс небыстрый.
Да, это один из самых крупных недостатков современной системы публикаций, о котором обычно не пишут. Вместо законченного исследования статья превращается в лучшем случае в короткое сообщение, а то и вовсе в приглашение подискутировать.
Это не недостаток, это огромное преимущество.
Наука — она про долгий и тернистый путь к полезным истинам маленькими шагами. Каждый шаг дает коллегам/конкурентам понимание того, что можно сделать и куда надо копать, а зачастую приводит в игру новых людей из смежных областей с другим опытом и новыми идеями. Поэтому маленькие шажки гарантируют рост в геометрической прогрессии.
В принципе разницу хорошо видно, если сравнить темпы роста мировой академии (где в порядке вещей дикая мобильность людей между группами и странами) с советской/российской (это когда ты в 20 лет пришел в НИИ студентом, а в 95 тебя из него же вынесли академиком).
В том-то и дело, что эта альтернативная интерпретация является более вероятной и опровергает саму работу. И было бы хорошо, если бы у авторов такая «хитрая» статья была только одна.
Соответственно, я не представляю себе сценарий «статью отозвали, степень осталась».
Да, при отзыве статьи, как я понимаю, степень также могут аннулировать. Это уже случалось, но в более тяжелых случаях недобросовестности.
вы тут год назад проект сделали, а там, оказывается, ещё на месяц работы.
А вот это зависит от договора, заключенного между вами и заказчиком. Если там гарантийные сроки, которые еще не прошли, то да, нужно все бросить и исправлять. Давайте представим, что по заказу вы спроектировали жилой дом. Пока заказчик согласовал все разрешения, пока привез технику и стройматериалы… И тут выясняется, что из-за грубой ошибки в проекте дом сложится сразу, как будет построен. Тут как, нужно переделывать проект или «ну бывает...»?
Договор между ученым и обществом предусматривает «бессрочную» ответственность. Т.е. да, если ученый где-то накосячил, а через 10 лет всплыло, то нужно хотя бы написать corrigendum.
возвращаемся к нашим друзьям Дарвину и Ньютону. Их давно опровергли в деталях.
Ох… Тут я даже не знаю, с чего начать…
1) Опровергли? Да ну? Т.е. законы Ньютона уже не выполняются?
2) Вы правда хотите сравнивать работы Ньютона и очередную статью в Nature?
3) Даже если в какой-то конкретной работе Ньютон допустил ошибку (а он еще эзотерикой всякой занимался, так что вполне возможно), то эта работа также должна быть отозвана.
Он честно ошибся, бывает.
Ну так это нужно честно признать и отозвать работу. Это ведь даже не проходная статья в «Мурзилке». Это статья в одном из ведущих журналов, которая претендует на открытие фундаментальной вещи — изменение кристаллической структуры воды в условиях пространственных затруднений. Это главный результат их работы. И тут выясняется, что результата нет. В комментариях авторы все признают, но на формальные показатели-то это не влияет, а это и есть ответственность.
Опять же, будь это статья в «Мурзилке», то никого бы такое положение дел не волновало. Но это статья, повторюсь, в ведущем журнале и от известнейшей группы по этим вопросам. Они должны давать пример этичного поведения, а не выкручиваться.
Это уже случалось, но в более тяжелых случаях недобросовестности.
Правильно, ключевое слово — «недобросовестности». Санкции наступают при мошенничестве/плагиате, а не при добросовестном заблуждении. Авторов не ловили за руку, их ошибку пропустили рецензенты (и это, кстати, крайне удивительно, что такая простая дыра не бросилась в глаза рецензентам Nature).
А вот это зависит от договора, заключенного между вами и заказчиком.
Полностью согласен!
Договор между ученым и обществом предусматривает «бессрочную» ответственность
А вот это поворот! Где это написано?
Здесь работает иная система, скорее, по принципу гитхаба. Если у кого в проекте нашлась ошибка, конечно, можно автору написать и надеться, что он исправит. Но в целом нет ожидания, что будет проявлена «ответственность» или «сознательность», максимум — добрая воля. А так — вон в углу кнопка Fork, любой может провести следующее исследование, исправить баги, добавить своего чего-нибудь.
Опровергли? Да ну? Т.е. законы Ньютона уже не выполняются?Законы выполняются, но да, есть и эзотерика — для него предсказание движения планет были таким же расчётом, как и расчёт конца света в 2060 году (ну, подождём ещё, впрочем). А Дарвин, например, считал, что некоторые приобретённые признаки (накачанные мускулы, напр.) наследуются, что в этом такого? Учёный всего лишь генерирует в мир некий комплекс идей, и дальше уже работа других отсечь оттуда мусор.
Если стать на вашу сторону, то абсолютно любая работа, скажем, 200-летней давности содержит ту или иную дичь — эфир, флогистон, какие-нибудь шарики, упругие среды и прочее тому подобное. С точки зрения современной науки везде там есть ошибки. Но беда в том, что на этих работах построены следующие, и таким образом, по цепочке надо отозвать вообще всё. Где же мы остановимся?
На месте автора, у которого нашли ошибку, я бы сказал: прекрасно, ребята, молодцы. Можете теперь написать свою статью с разбором моей. Такой вот блокчейн получается. Или гитхаб, чего ж тут дурного.
Здесь работает иная система, скорее, по принципу гитхаба.
Я все же не могу с вами согласиться. На гитхаб пишут в свободное от работы время и за свой счет. А статьи пишутся в рабочее время и за государственный. Если условный Вася работает в MS и его задача пилить open source за деньги MS, то в случае ошибки с него спросят и попросят переписать. С наукой такая же история.
Я не говорю, что за любую ошибку нужно линчевать и лишать званий. Но если обнаружена существенная ошибка, опровергающая заявленные нетривиальные результаты, то задачей и научного сообщества, и ведущих журналов, и гос. органов (в лице грантовых агентств) я вижу отзыв такого исследования. В первую очередь, конечно, Nature должен следить за статьями у себя и требовать отзыва.
Но я понимаю, что в реальности это работает совсем по-другому. Чтобы опубликовать статью в Nature/Science, нужно иметь «кликбейтный» заголовок и содержимое. Что вынуждает авторов совершать громкие заявления. А сами журналы, конечно, не заинтересованы в отзыве статей. Вот это мне и не нравится.
Во-вторых, это не первая статья в топовых журналах от «Манчестерской группы», в которой они не брезгуют определенными манипуляциями для получения красивого результата. Почему так происходит, всем понятно, но я против такой практики.
Учёный всего лишь генерирует в мир некий комплекс идей, и дальше уже работа других отсечь оттуда мусор.
Хех, тогда на каком основании не принимают к публикации работы по вечному двигателю, энергии вакуума, архиватору Бабушкина? Это ж тоже комплекс идей, а если кому не нравится, пусть публикует опровержение. Зато красота какая будет, у каждого хирш до 200 вырастет на таких работах.
любая работа, скажем, 200-летней давности содержит ту или иную дичь
Ну так о том и речь, что на свое время это были передовые работы. А ошибочность выявили спустя 200 лет. А тут в течение года, есть ведь разница?
На месте автора, у которого нашли ошибку,
Мы с вами расходимся в понимании ключевого момента. Ошибки есть в каждой работе. Но если ошибка полностью опровергает всю работу (а именно это имеет место в описанном случае), то такая работа должна быть отозвана.
то в случае ошибки с него спросят и попросят переписать. С наукой такая же история.Верно. Просто в данном случае «просят» какие-то невнятные комментаторы. А просить должен либо журнал Nature, либо непосредственный работодатель.
В первую очередь, конечно, Nature должен следить за статьями у себя и требовать отзыва.Да, согласен.
Хех, тогда на каком основании не принимают к публикации работы по вечному двигателю, энергии вакуума, архиватору Бабушкина?Ну так я ж говорю — «а работа прочих — отсечь мусор». Я ни слова не скажу против, если статью не пропускает рецензент или отзывает журнал Nature. А тут вы хотите от Бабушкина, чтобы он не придумывал свои архиваторы. Да пусть придумывает! На то и рецензент, чтобы это дело фильтровать.
А тут в течение года, есть ведь разница?Да, есть. Вот я и спрашиваю: где внятные правила игры? В течение года можно? Или двух? Или десяти? Когда можно считать, что всё, статья «в корпусе», и её уже не вычеркнут задним числом по научным или политическим основаниям, например? Десять лет всё хорошо было, а потом внезапно оказалось, что всё плохо?..
Мы с вами расходимся в понимании ключевого моментаНе знаю, думаете? Я вполне согласен, что такую работу, вероятно, можно и отозвать. Но не стоит заставлять делать это автора — пусть это делает журнал, причём по чётким и прозрачным процедурам. А то, опять же, велик соблазн в случае чего и политически надавить: получили взрывоопасные результаты, опубликовали, а потом автор «сам захотел», и статья пропала, можно такое тоже вообразить себе.
Если основные вывода статьи ставятся под сомнение и у авторов нет аргументов что бы отстоять свою позицию, то стандартный подход в таком случае — это отзыв статьи.
Если статья содержит ошибку которая опять же компрометирует один из основных выводов статьи — статья опять же отзывается.
Это стандартная практика, за примером далеко идти не надо — вот два свежих отзыва, один из-за неоднозначности, другой из-за ошибки: retractionwatch.com/2020/07/22/a-big-nature-study-on-a-tiny-dinosaur-is-being-retracted
Для мелких и незначительных огрешностей и сомнений есть схема сomment + reply.
Проблема в том, что в этот механизм иногда влазит бюрократия и политика. На примере теж же журналов Nature (да и почти всех других) формально статью отзывает не журнал, а авторы. Если авторы, или их организации, начинают сопротивляться, то начинаются неоднозначности. Тут отозвали, там не отозвали, там рыбу завернули. В квантовом контроле есть широко известный пример не отозванной статьи в высокопрофильном журнале, которая однозначно не верна. При этом автора-руководителя давно за это выперли, несколько других работ в других журналах отозвали, а эта одна осталась потому что универ стал в позу. ЕМНИП (детали уже не помню точно) потому что в случае отзыва пришлось бы отбирать PhD первого автора, а он невиноватый, пообещал физикой не заниматься, наукой тоже, и вообще пожалейте его.
Если статья содержит ошибку которая опять же компрометирует один из основных выводов статьи — статья опять же отзывается.
Это стандартная практика, за примером далеко идти не надо — вот два свежих отзыва, один из-за неоднозначности, другой из-за ошибки: retractionwatch.com/2020/07/22/a-big-nature-study-on-a-tiny-dinosaur-is-being-retracted
Для мелких и незначительных огрешностей и сомнений есть схема сomment + reply.
Проблема в том, что в этот механизм иногда влазит бюрократия и политика. На примере теж же журналов Nature (да и почти всех других) формально статью отзывает не журнал, а авторы. Если авторы, или их организации, начинают сопротивляться, то начинаются неоднозначности. Тут отозвали, там не отозвали, там рыбу завернули. В квантовом контроле есть широко известный пример не отозванной статьи в высокопрофильном журнале, которая однозначно не верна. При этом автора-руководителя давно за это выперли, несколько других работ в других журналах отозвали, а эта одна осталась потому что универ стал в позу. ЕМНИП (детали уже не помню точно) потому что в случае отзыва пришлось бы отбирать PhD первого автора, а он невиноватый, пообещал физикой не заниматься, наукой тоже, и вообще пожалейте его.
Если основные вывода статьи ставятся под сомнение и у авторов нет аргументов что бы отстоять свою позицию, то стандартный подход в таком случае — это отзыв статьи.
Смотрите, я жму руку тем, кто проявляет высокие стандарты морали и нравственности и отзывает статью. Я всего лишь говорю, что это исключительно вопрос доброй воли. Подали статью, только-только приняли, нашли баг, пошли на попятный, молодцы.
Но в целом так далеко не уйдёшь, потому что ошибку можно найти через десять лет, и через двадцать, и через пятьдесят; авторы могут уже давно быть на пенсии или на том свете, на статью может быть over 10500 ссылок, в том числе и с критикой статьи, поэтому хорошо бы ей оставаться в доступе, чтобы было ясно, что вообще критикуется.
Ну и сам подход, когда автор читает какие-то там комменты на сайте — тоже исключительно добрая воля автора. Хочешь написать опровержение — ну так опубликуй, никто ж не мешает. Мне вон выше пишет, что сроков давности в этом деле нет, но это же совершенно нереалистично — начать читать корпус статей 50-летней давности, выкидывать те, где есть ошибки, а заодно и всех, кто на их ссылается. А если не 50 лет, то давайте и вправду устанавливать — когда уже поздно отзывать, а когда ещё нет.
P.S. Есть прекрасная страничка «P-versus-NP», на которой приводится длинный список (в основном опубликованных) статей, где в половине случаев доказывается, что P=NP, а в оставшейся половине, что P!=NP. Но мы же понимаем, что половина этих статей заведомо неверна, просто ошибку не нашли ещё. Ну что с этим поделать, надо относиться философски, я думаю.
Я всего лишь говорю, что это исключительно вопрос доброй воли.
Увы, это не так. Научная литература немного отличается от обыкновенных статей. Даже если опустить вопрос профессиональной этики, соблюдать которую — это обязанность ученого, а не добровольный выбор.
В идеальном мире, статьи с ошибками, или неоднозначными выводами не должны пройти рецензирование. Я думаю, с этим пунктом разногласий нет? Увы, процесс рецензирования не идеален и какой-то процент «брака» проходит в печать. При этом стоит различать ошибку в статье (или вывод, который неоднозначен уже во время выхода статьи или спустя короткое время) и появление новых фактов и наблюдений которые не входят в рамки старых теорий. Второе — Ньютон и прогресс науки, первое — не научная литература изначально.
Для отфильтровывания этих статей есть стандартная процедура: читатель пишет в редакцию «У вас там чушь». Редактор смотрит, консультируется, предлагает авторам ответить (а не «автор читает какие-то там комменты на сайте»), и/или же инициирует процесс отзыва статьи. Процесс иногда неоднозначный потому что политика и бюрократия.
Все это расписано, иногда вскользь, иногда детально, на соответствующих сайтах издательств:
authorservices.wiley.com/ethics-guidelines/retractions-and-expressions-of-concern.html ( Articles may be retracted if there is major scientific error which would invalidate the conclusions of the article… as a result of… honest error )
journals.aps.org/pra/authors/editorial-policies-practices (Possible reasons for this include, among others, presentation of invalid results ..)
Вот например текст о «доброй воле»: Retractions are sometimes published by the authors when they have discovered substantial scientific errors; in other cases, the editors conclude that Retraction is appropriate. Тот-же автор мини-динозавра сильно не согласен с отзывом, но иных вариантов (читай сил и ресурсов воевать с журналом) у него нет, вот и согласились отозвать.
Возвращаясь к вопросам этики, которую обязан соблюдать автор, тот же Nature Springer следует инструкциям COPE, который открытым текстом пишет publicationethics.org/node/19896
Editors should consider retracting a publication if: They have clear evidence that the findings are unreliable.
В данном случае речь идёт о следовании политике конкретного журнала, и тут у меня никаких вопросов нет: подавая в журнал, я соглашаюсь с их правилами, которые могут включать в себя передачу копирайта, подписывание соглашения кровью или там да, отзыв статьи после принятия.
Однако мне не кажется, что из этого следует всеобщность данного правила. Ситуация вида «теория Ньютона вошла в науку как частный случай теории относительности» проста, чего её обсуждать. Но вот Дарвин таки да, написал, что приобретённые признаки могут наследоваться (сейчас на эту тему тоже есть интересные соображения, но это немного о другом всё же). Он «вбросил идею», и ошибки в таком случае неизбежны.
В целом мне кажется, что независимо от того, к какой этике мы склоняемся, вся эта история касается крайне небольшого количества работ и на общем фоне мало на что влияет, то есть особо не из-за чего копья ломать. Вернёмся к случаю P=NP. Вот редактору на стол кладут две работы: в одной доказано, что P=NP, в другой P!=NP. Он посылает обе на рецензии, рецензенты пишут, что ошибок не нашли. И что ему делать? Либо он вообще прекращает любой интеллектуальный диалог и решает отказать всем, либо публикует заведомо ошибочную статью.
Однако мне не кажется, что из этого следует всеобщность данного правила. Ситуация вида «теория Ньютона вошла в науку как частный случай теории относительности» проста, чего её обсуждать. Но вот Дарвин таки да, написал, что приобретённые признаки могут наследоваться (сейчас на эту тему тоже есть интересные соображения, но это немного о другом всё же). Он «вбросил идею», и ошибки в таком случае неизбежны.
В целом мне кажется, что независимо от того, к какой этике мы склоняемся, вся эта история касается крайне небольшого количества работ и на общем фоне мало на что влияет, то есть особо не из-за чего копья ломать. Вернёмся к случаю P=NP. Вот редактору на стол кладут две работы: в одной доказано, что P=NP, в другой P!=NP. Он посылает обе на рецензии, рецензенты пишут, что ошибок не нашли. И что ему делать? Либо он вообще прекращает любой интеллектуальный диалог и решает отказать всем, либо публикует заведомо ошибочную статью.
Однако мне не кажется, что из этого следует всеобщность данного правила.
Членами COPE авляются почти (+- какая-нибудь мурзилка) журналы. Я бы сказал — это правило одно из основополагающих, как и реферирование. Неидеальный фильтр требует дополнительных мер и механизмов.
Есть прекрасная страничка «P-versus-NP», на которой приводится длинный список (в основном опубликованных) статей
Большинство работ в списке — конференции, архивы, виксры и личные бложики. Лишь единицы действительно напечатаны в научных журналах и они как правило не доказывают ту или иную сторону.
Вот редактору на стол кладут две работы: в одной доказано, что P=NP, в другой P!=NP. Он посылает обе на рецензии, рецензенты пишут, что ошибок не нашли. И что ему делать?
Сама ситуация околофантастическая, но в таком случае как правило — шлет другим рецензентам, часто обе работы одним и тем-же людям. Потом еще, и еще, и еще, смотрит реакцию комьюнити (если работы в архиве), показывает на пятничном заседании редколлегии, совещаются. Возможно, если так и нет однозначного ответа, то публикует обе работы с редакторским комментарием, как исключение. Ситуации когда заведомо неверные работы были напечатаны существуют, например arxiv.org/abs/quant-ph/0205076, но это такая очень редкая редкость и в современной литературе не встречается.
Членами COPE авляются почти (+- какая-нибудь мурзилка) журналы. Я бы сказал — это правило одно из основополагающих, как и реферирование.
Тогда я вообще не вижу проблем. По этой логике нет никакого смысла пенять на низкую сознательность авторов Nature: получается, что Nature сам должен был отозвать статью в одностороннем порядке и дело с концом.
Большинство работ в списке — конференции, архивы, виксры и личные бложики.
Не уверен. Ссылки там на архив, конечно, но так сходу сложно сказать, сколько из них были реально опубликованы.
Ситуации когда заведомо неверные работы были напечатаны существуют,
Ну смотрите, любая, абсолютно любая статья, где сказано, что P=NP (или наоборот) с вероятность 1/2 является заведомо неверной. Получается, половина опубликованных (пусть даже их не так много по сумме) неверны.
И это, кстати, как раз больное место: я так понимаю, что многие журналы попросту откажутся публиковать подобную статью лишь потому, что рецензировать её сложно (поди найди ошибку в доказательстве), а вероятность опубликовать дичь высока.
Так это же и есть главная проблема публикаций. То что сама публикация это какой-то законченный текст с ненужным введением, наполовину высосанным из пальца заключением и провокационным заголовком.
Если брать аналогию с гитхабом, то там когда находят ошибку не создают новый репозиторий и пишут проект с нуля, а исправляют её и получается новая версия софта. Даже у книг есть несколько изданий где исправляют ошибки.
А тут где-то внизу комментарий, который можно и не увидеть вообще. Т.е. информация о том в статье ошибка она остается только в головах у экспертов области, которые это обсуждают в кулуарах. Потому что, даже статью с опровержением вряд ли получится опубликовать в том же журнале, т.к. если эффекта нет — то это не интересно.
Я примерно эту мысль и пытался донести раньше в комментах, но не получилось сформулировать. Мне кажется довольно странным рассматривать публикацию как "выпуск в продакшен". С точки зрения того как работает гранты и соответствующий KPI на данный момент это логично. А с точки зрения того что в целом наука это такой итеративный процесс, то формат научной статьи, которая должна выглядеть как отдельный законченный проект — выглядит странно.
То что сама публикация это какой-то законченный текст с ненужным введением, наполовину высосанным из пальца заключением и провокационным заголовком.Вы не можете заставить людей писать хорошо, если они не умеют. Будете писать статью — не нужно вставлять туда «ненужное» введение (вставляйте только нужное), не высасывайте заключение и подумайте над заголовком. Неважно, как будет работать вся эта система, если люди хотят воткнуть в заголовок кликбейт, это будет сделано, как говорится, при любом режиме.
когда находят ошибку не создают новый репозиторий и пишут проект с нуля, а исправляют её иВопрос в том, кто эти "-ят", которые находят и "-ют", которые не создают. На гитхабе полно форков, а дальше уже как получится. Напишите авторам, они могут интегрировать ваши соображения в статью, а могут и не интегрировать.
Смотрите, я же не спорю с вами, я просто говорю, что это проблема не в технологии, а в голове, в людях. Убедите авторов исправить — исправят, нет — не исправят. Ну так везде так.
формат научной статьи, которая должна выглядеть как отдельный законченный проект — выглядит странноВ идеале статья должна содержать «один публон», то есть юнит публикуемой информации. Мы сейчас находимся в точке А, где имеем вот такую-то проблему. Мы разработали некую технологию, которая смогла решить проблему, и из точки А мы перешли в точку Б. Следующая статья уже переведёт нас из точки Б в точку В и так далее. Если не хочется воспринимать статью как «продакшен», воспринимайте её как отдельный «коммит», наверно, это правильнее.
Мы сейчас находимся в точке А, где имеем вот такую-то проблему. Мы разработали некую технологию, которая смогла решить проблему, и из точки А мы перешли в точку Б.
Возможно это больше проблема естественных наук, т.к. в математике переход из A в Б можно совершить абсолютно строго. Но никакой технологии (в моём понимании) всё равно не разрабатывается. Прорывы случаются в одном разе и тысячи. Я воспринимаю это скорее как некую идею, которой хочется поделится.
А как лучше всего делится идеями в 21 веке?
Я не знаю… Можно просто запостить abstract и всё, можно всё оформить красиво с картинками, можно прямо вообще описать всё с точностью до серийных номеров оборудования. Видимо зависит от аудитории. Можно реально написать в твиттер. С одной стороны хочется задокументировать достаточно хорошо для следующих поколений, хотя зачастую чем разбираться в чужих результатах — проще основываясь на ключевых моментах сделать самому.
Смотрите, я же не спорю с вами, я просто говорю, что это проблема не в технологии, а в голове, в людях.
Тут в том то и вопрос что такое этот публон, или другими словами какого размера должны быть коммиты. Т.е. если бы мы до сих пор отправляли дискеты через океан, то нету смысла слать по пять строчек кода. Точно так же мало смысла слать один абзац текста если журнал выходит на бумаге раз в месяц.
Т.е. технологии решают в обустройстве общества достаточно много. Я ни в коем случае не призываю переводить научные исследования в twitter. Просто стало интересно что люди на хабре думают по поводу идеального формата :) На данный момент, формат задаётся журналами, и есть несколько вариантов степеней подробности на выбор. Все остальные варианты коммуникации они как бы off-records.
Тут в том то и вопрос что такое этот публон, или другими словами какого размера должны быть коммиты
Вот на этот вопрос нет единого ответа, т.к. «всё зависит от области». В физике (насколько знаю) конференции не котируются вообще, в computer science лучшие конференции стоят на уровне очень хороших журналов; где-то попадаются журнальные статьи на 30-60 страниц, где-то и 10 вполне себе норма.
Похоже, что культура складывается как-то стихийно, и сходу сложно понять, почему тут так, а там этак. Меня ситуация в computer science в целом устраивает, но тут, как говорится, не будем путать хорошее с привычным, не знаю.
В викиформате статью по кардиологии с одинаковыми правами редактируют картиолог и таксист у которого бабушка от инфаркта умерла. Если кардиологу война правок надоест первому — будет статья целиком от таксиста. И это мы ещё не опустили в бездну менее однозначных вещей, чем медицина.
UFO just landed and posted this here
Если в какой-то области такой адский перегруз деталями и разветвлениями исследований, что вики формат этого не выдержит (хотя я думаю, что выдержит), как тогда люди изучающие эту область должны строить ментальное представление?) Ведь в голове это еще сложнее, чем на бумаге. И, кстати, это очень неэффективно, когда каждый новичок должен каким-то образом вычленить все релевантные старые статьи (что вообще говоря почти невозможно адекватно сделать), понять какие исследования были перекрыты новыми разработками, составить общую терминологию и приводить нестандартную терминологию каждой старой статьи к этой общей, и т. д.
посмотрите ещё раз на нлаб по ссылке выше — он уже есть, но почему-то учёные всё равно предпочитают публиковать статьи, а не идти править и создавать там странички.
Очевидно, почему: потому что ученым за эти странички не платят, им платят сейчас за классические статьи (грубо говоря).
Даже если бы платили, аккуратно вплести свою работу в общую вики-канву знания (расставить кросс-ссылки, поправить все существующие релевантные статьи, и т. д.) это существенно больше работы, чем написать классическую статью. Но это именно та работа, которая нужна для эффективной аккумуляции знания в масштабах сообщества. Сейчас же в науке существенная часть работы — холостая: переоткрытие того, что уже было давно открыто. И если ничего не изменить, доля холостой работы будет только расти.
UFO just landed and posted this here
Примерно так.
Читай: через большой перерасход ментальных усилий, потому что система вынуждает.
Поэтому периодически публикуются обзорные статьи
Феномен обзорных статей до сих пор не умер только из-за существующей системы поощрения ученых. Уж обзорные статьи сам бог велел вести в вики формате, чтобы они публиковались не переодически, с ментальными и персональными искажениями, упущениями, и ошибками конкретных авторов, а были постоянно в актуальном состоянии.
научный руководитель рекомендует посмотреть те или иные статьи, и так далее.
Инженерам переодически нужно разобраться в новой области. У них никаких научных руководителей нет. Научное знание создается в конечном счете для того, чтобы какие-то инженеры с ним ознакомились и воплотили в жизнь.
Научное знание создается в конечном счете для того, чтобы какие-то инженеры с ним ознакомились и воплотили в жизнь.
Пользы от науки в лучшем случае 1%. Т.е. из 100 проектов реально успешный один, и этот 1% уже документируется как надо.
Мне кажется, что основная ценность науки даже не в конкретных результатах. А в создании среды, которая будет воспитывать и поддерживать людей, который сделают этот хоть бы и 1 успешный проект из 100.
То есть нельзя просто закрыть 99 проектов, тот 1 без них тоже не получится.
Про документирование тоже не все так просто. Далеко не всегда успешный проект и хорошо документированная статья — это одно и то же.
То есть нельзя просто закрыть 99 проектов, тот 1 без них тоже не получится.
Про документирование тоже не все так просто. Далеко не всегда успешный проект и хорошо документированная статья — это одно и то же.
Тут всё проще. Никто заранее не знает какой именно 1 из 100 будет успешным. Поэтому приходится делать много.
Добавлено: я имел ввиду документируется для более широкого круга людей только конечный результат. А 99 рабочих версий так и остаются в статьях понятных только узкому кругу специалистов в области.
Хе-хе. Вообще-то с точностью до наоборот: как только проект становится монетизируемым, на него сразу пишется патент, под патент создается компания, в которой начинается нормальный промышленный R&D. Результаты R&D как правило навечно остаются за NDA.
При этом маркетинг конечного продукта ("наша новейшая технология с неонкой внутри и юзер-френдли API") часто похож на документированный результат. Но для воспроизведения результата эта "документация" как правило совершенно бесполезна.
Зависит от области. А все проблемы и решения которые мы обсуждаем в этом посте относятся к applied research и fundamental research примерно одинаково.
Вы что-то путаете. Нормальный обзор — это страниц 50, написанных коллективом из 10-20 авторов, из которых большинство — уже профессора. Какие "ментальные и персональные искажения" могут быть у коллектива лучших специалистов в области, мне непонятно. Плюс обзоры обычно обновляются раз в 5-7 лет, и это вполне своевременно для науки.
Идея с вики кажется неплохой до тех пор, пока речь не начинает идти об ответственности за ее содержимое и за администрирование.
UFO just landed and posted this here
Почему я его выложу на Хабр, а не на свой личный дневничок? Там нет НЛО, там не повесят левый рекламный баннер и т.п. Одна из причин — это потому, что я хочу, чтобы мою статью прочитало как можно больше людей из моей целевой аудитории. Это и есть мой собственный KPI для себя.
Вот вы затронули забавный диссонанс, который есть у меня. Весь этот процесс публикации, начиная от не самых удобных инструментов, двух колоночного пдф, специфического стиля изложения, полировки графиков и иллюстраций, каких-то прочих заморочек. Потом длительного ревью, вызывает долгую задержку (по времени и по силам) от того что я что сделал, до того как это кто-то оценил или не оценил. И с другой стороны открываю чужие статьи и там в свою очередь результаты запакованы за высокопарными словами, и читать их отдельный навык.
Другое дело например пулл реквест на гитхабе. Я допустим вижу некую проблему, делаю небольшой поиск по возможным решениям. Иду в чатик задаю свой вопрос/идею, где обычно оперативно отвечают. Потом пишу какой то пруф-оф-концепт на эту тему, тоже сразу его шарю. Мне пишут комментарии в тикете с отзывами. И уже потом я иду и делаю всё аккуратно и целиком, и более того все знают что это делаю я, а я знаю что это кому-то нужено. А если не нужно, то негативный ответ можно получить на начальной стадии. И на финальном ревью уже только какая-то полировка.
Я конечно, утрирывал две ситуации выше, но я надеюсь моя идея понятна. Вместо того чтобы хранить черновик у себя на столе и держать его в неком секрете, до момента когда он полностью отполируется в публикацию на широкий круг людей, можно было бы сразу вести блог про свой резерч, и подписываются только те кому интересно. Особенно во времена короновируса, когда общение во многом онлайн.
Может быть есть принципиальное различие в размере резерча и пулл реквеста на гитахаба, а может ещё какое-то отличие. Интересно узнать мнение хабравчан.
UFO just landed and posted this here
Я думаю, что написание статьи надо воспринимать как «выкатывание продакшена», то есть если вы садитесь писать статью, у вас уже всё готово, и по сути чатики или пулл-реквесты вам нужны только для общения с соавторами (и это естественным образом поддерживается, например, онлайн-система для написания статей Overleaf умеет синхронизироваться с гитахбом).
Если же вы ещё в процессе — ну так идёт «проект», а не «статья», и здесь, конечно, любые инструменты работы хороши — и блог, и гитхаб, и вообще что угодно, лишь бы это реально работало. Есть люди (в т.ч. учёные), которые чуть ли не каждый свой шаг протоколируют в твиттере. Я вообще в соцсетях не живу никак, но это же дело частное, если у них голова от этого лучше работает — да ради бога.
Если же вы ещё в процессе — ну так идёт «проект», а не «статья», и здесь, конечно, любые инструменты работы хороши — и блог, и гитхаб, и вообще что угодно, лишь бы это реально работало. Есть люди (в т.ч. учёные), которые чуть ли не каждый свой шаг протоколируют в твиттере. Я вообще в соцсетях не живу никак, но это же дело частное, если у них голова от этого лучше работает — да ради бога.
чуть ли не каждый свой шаг протоколируют в твиттере
Как это работает с точки зрения, что с одной стороны конкуренты могут подсмотреть, а с другой стороны наука это публичное занятие?
Вероятно, этих людей мало заботит проблема вида «конкуренты подсмотрят». Меня бы тоже в 99% случаев тоже это не заботило — все люди своими делами заняты, а не мониторят твиттер, чего ты там подсмотреть такого. Да и, наверно, в твиттере пишут о том, что уже сделано, а реально пишущий уже на шаг впереди.
реально пишущий уже на шаг впереди.
Тогда все равно вместо совместной работы, получается такая же публикация как в арксив — только по частям. В своем первом комментарии я имел ввиду именно организацию совместной работы. Т.е. если бы он через твитер находил каких-то новых единомышленников, как написали выше.
Выше вы пишете, как удобно устроено сотрудничество на гитхабе — пуллреквесты, вот это всё. Но ведь далеко не все выкладывают свои проекты на гитхаб, да и вообще особенно распространяются на тему текущей работы. Так и здесь, это же не вопрос технической возможности работать так или этак, это решение конкретной группы объявлять на весь мир чего они делают или там сотрудничать со всеми подряд, ну или наоборот, молчать, пока срок не подошёл.
Согласен, мой вопрос, он глубже чем тема про статьи или их замену. Дело в том что я недопонимаю бизнес модель науки в целом )))
Да какая у неё бизнес-модель… нам дают гранты, мы их осваиваем :) У нас же нет цели генерировать прибыль.
Да но есть цель получать эти цитирования...
Вообще есть какие-то исследования, которые говорят, что лучшее для повышения цитируемости — это тупо упоминание в меинстримных медиа (типа «британские учёные доказали...»)
В хороших университетах есть целые пиар-отделы, которые этим и занимаются — спрашивают своих сотрудников, чего они там наисследовали, а потом пытаются трубить это на широкую аудиторию. А с точки зрения учёного как раз публикация в престижном журнале и есть повышенный шанс на цитирование, потому что такие журналы более активно читаются и более охотно цитируются.
В хороших университетах есть целые пиар-отделы, которые этим и занимаются — спрашивают своих сотрудников, чего они там наисследовали, а потом пытаются трубить это на широкую аудиторию. А с точки зрения учёного как раз публикация в престижном журнале и есть повышенный шанс на цитирование, потому что такие журналы более активно читаются и более охотно цитируются.
Почему я его выложу на Хабр, а не на свой личный дневничок?
Второй вариант тоже имеет право на существование, я его указал в скобках. Поэтому непонятен второй абзац вообще. Если нужно выдать текст на широкую аудиторию — выкладывают там где читает широкая, и что с того? Речь то не об этом была, а о том, каким образом учёные могут поделиться с желающими результатами своего труда. И в этом плане журналы, на мой взгляд — инструмент мало того что не самый удачный финансово, так ещё тянущий кучу легаси с позапрошлого века (например имитация бумажного форматирования и ежедневных/недельных/месячных выпусков, хотя всё это давно никому не нужно).
Есть более современные, удобные и быстрые инструменты для того, чтобы один человек что-то переслал группе других. Когда-то давно, когда для этого было неизбежно нужно верстать статью на бумаге, затем физически её распечатывать и доставлять домой читателям, журналы эту функцию научились выполнять оптимальным способом. А заодно (думаю, главным образом по причине того, что надо экономить бумагу и не тратить её на невостребованные тексты) приобрели побочную функцию цензоров, которую кто-то, в свою очередь, решил использовать для оценки качества статей (раз попала в этот журнал, славящийся высоким конкурсом на свои страницы, то видимо она хорошая).
Так вот, тут устарела сама основа — бумагу больше экономить (как и тратить) не нужно, организовывать печать и доставку тоже не нужно. Верстать под бумажный формат тоже не нужно, а вообще вёрстку уже давно делают сами авторы.
А механизм оценки качества статьи можно и другой использовать. Повторюсь, в журналах он получился таким как есть не от того, что это лучший способ, а от того, что в этом была финансовая необходимость по экономии бумаги. На хабре есть свой, ну а если кому-то нужен именно экспертный совет — никто не мешает составлять каталоги статей (быть их публикатором для этого не нужно), одобренных советом рецензентов (им же, судя по данной статье, за это и так и так не платят? в чём тогда проблема?). Однако вокруг имеющегося способа уже выросла целая система различных активностей, в которой задействовано множество людей, которые к ней как минимум просто привыкли и не захотят менять на что-то другое вне зависимости от эффективности, а кто-то так и вообще заинтересован в её побочных незапланированных эффектах т.к. он ими пользуется.
Есть более современные, удобные и быстрые инструменты для того, чтобы один человек что-то переслал группе других.
Ну вот вы и отвечаете на вопрос: данные критерии (быстрый и удобный способ распространить результаты на группу) не являются основными.
Вы в некотором смысле боретесь с соломенным чучелом: существуют журналы, которые публикуют статьи по мере выхода (т.е. никаких «помесячных» выпусков нет); существуют журналы, публикующие непосредственно в HTML без постраничного форматирования и т.п. Но как мы видим, они не «победили всех», потому что данная опция, хоть и приятная, всё же не является основной.
Иными словами, нет никаких технических проблем организовать вот это всё. Если вы организуете сайт, куда можно загрузить свой текст, который с помощью механизма рецензирования некоторым образом будет опубликован — всё, поздравляю, у вас нормальный научный журнал. Можно прикрутить кнопки соцсетей, комментирование, что угодно. Главная проблема будет в раскрутке, в это всё упирается. Как и с любым «убийцей фейсбука».
Дополню: есть журналы, которые публикуют статьи ещё до рецензирования, после достаточно формального просмотра работ редактором по данной тематике.
Таковы, например, журналы, издаваемые Copernicus
И в данном случае видно что послали авторы в журнал, что им написали рецензенты, что авторы ответили на замечания и какая статья в итоге была принята к печати.
Выглядит это так: se.copernicus.org/articles/10/1/2019/se-10-1-2019-discussion.html
Некоторые журналы выкладывают отзывы и ответы на них параллельно с финальной версией статьи (недавно в этом было замечено Лондонское королевское общество), а недавно наткнулся на оригинальный вариант, когда к статье на сайте журнала была добавлена ссылка на все рецензии и ответы на них, загруженные на publons
Таковы, например, журналы, издаваемые Copernicus
И в данном случае видно что послали авторы в журнал, что им написали рецензенты, что авторы ответили на замечания и какая статья в итоге была принята к печати.
Выглядит это так: se.copernicus.org/articles/10/1/2019/se-10-1-2019-discussion.html
Некоторые журналы выкладывают отзывы и ответы на них параллельно с финальной версией статьи (недавно в этом было замечено Лондонское королевское общество), а недавно наткнулся на оригинальный вариант, когда к статье на сайте журнала была добавлена ссылка на все рецензии и ответы на них, загруженные на publons
Наверное, это будет более подробно освещено во второй части, но стоит отметить, что физики и математики довольно давно решили проблему с paywall и задержкой распространения результатов: для этого и был создан упомянутый в тексте arxiv.org. Я лично почти всегда просто читаю версию нужной мне статьи в виде препринта с arXiv, и тот же sci-hub мне почти не нужен (разве что для старых статей, из тех времен, когда arXiv еще не покрывал 99% процентов статей по физике и математике). Да, препринты не проходят рецензирование, но как раз сам факт того, была принята статья в какой-то журнал, или нет, можно проверить бесплатно. А если в процессе рецензирования оказываются найдены какие-то ошибки в тексте, то почти всегда авторы вносят соответствующие исправления и в версию статьи, выложенную на arXiv. В других областях науки, вроде бы, тоже постепенно такая схема получает всё большее распространение.
И еще хотелось бы прокомментировать фразу «Чем же занимаются авторы, пока идет рецензия? А ничем, они ждут отзывы.» Это не совсем справедливо, поскольку (во всяком случае, в случае физики и математики) прежде, чем послать статью в журнал на рецензию, её выкладывают на arXiv. После этого все, кому она покажется интересной, её читают, и достаточно часто присылают свои комментарии авторам по email.
Конечно, было бы здорово, если бы к arXiv-у была прикручена какая-то возможность анонимного комментирования со строгой модерацией. Вопрос, правда, в том, как это организовать правильно, чтобы избежать каких-нибудь нежелательных побочных эффектов.
И еще хотелось бы прокомментировать фразу «Чем же занимаются авторы, пока идет рецензия? А ничем, они ждут отзывы.» Это не совсем справедливо, поскольку (во всяком случае, в случае физики и математики) прежде, чем послать статью в журнал на рецензию, её выкладывают на arXiv. После этого все, кому она покажется интересной, её читают, и достаточно часто присылают свои комментарии авторам по email.
Конечно, было бы здорово, если бы к arXiv-у была прикручена какая-то возможность анонимного комментирования со строгой модерацией. Вопрос, правда, в том, как это организовать правильно, чтобы избежать каких-нибудь нежелательных побочных эффектов.
На счет препринтов я пишу во второй части, это очень полезный инструмент. Но вот на мой взгляд, такое разделение функций на архив препринтов и журнал — ненужно и не упрощает жизнь, ни авторам, ни читателям.
Есть интересный журнал F1000Research, он публикует текст в открытом доступе еще до окончания ревизии, только отмечает его меткой «препринт». На мой взгляд, очень перспективный подход.
Есть интересный журнал F1000Research, он публикует текст в открытом доступе еще до окончания ревизии, только отмечает его меткой «препринт». На мой взгляд, очень перспективный подход.
Но вот на мой взгляд, такое разделение функций на архив препринтов и журнал — ненужно и не упрощает жизнь, ни авторам, ни читателям.
В некоторой степени упрощает. Вот, допустим, меня интересует комбинаторика, и я хочу быть в курсе всех свежих результатов. Я просто подписываюсь на math.CO-раздел arXiv-а, и каждый день пролистываю названия (или названия и аннотации) всех новопоявившихся там статей. При этом я могу быть уверен, что не пропущу 99% (или около того) всех появляющихся статей в этой области. И это не какой-то оторванный от жизни пример: я знаю, что существенная часть моих коллег именно так и делает (каждый день просматривают новые поступления в интересующие их разделы arXiv-а).
Если бы arXiv-а не было (или не было бы устоявшейся к текущему моменту традиции у всех математиков обязательно класть туда препринт), то решить подобную задачу было бы гораздо сложнее, даже если бы все журналы выкладывали присланные им работы у себя на сайте в виде препринтов. По понятным причинам: журналов много, появляются новые журналы, разные журналы по-разному сортируют статьи и т.п.
Поэтому в определенной степени удобно распространение научных знаний закрепить за одним централизованным архивом препринтов, а верификацию оставить за журналами. Другое дело, что, как и написано в Вашей статье, с верификацией журналы справляются плоховато, и берут за это невероятно завышенную плату, особенно с учетом того, что труд самих рецензентов не оплачивается. И с этой двоякой проблемой, конечно, неплохо бы что-то делать. Ну и отдельная связанная проблема с наукометрикой и тем, как труд ученых оценивается их работодателями и грантодателями, что тоже освещено в Вашей статье.
Я просто хотел отметить, что именно проблем с доступностью научных знаний и со скоростью их распространения, по крайней мере, в отдельных областях науки, нет.
не согласен
когда публикуется текст принятой к печати статьи, у нее есть выходные данные (как минимум, DOI) и ее можно процитировать. В случае публикации непринятых к печати статей возникает проблема — ее может кто-то успеть процитировать, а в итоге статью не опубликуют. И что делать с этими мертвыми цитатами?
когда публикуется текст принятой к печати статьи, у нее есть выходные данные (как минимум, DOI) и ее можно процитировать. В случае публикации непринятых к печати статей возникает проблема — ее может кто-то успеть процитировать, а в итоге статью не опубликуют. И что делать с этими мертвыми цитатами?
Это важная деталь, спасибо. Не задумывался об этом. Надо посмотреть, как это в F1000 реализовано.
У этих препринтов (неважно — речь о работах, размещённых в репозитории или на сайте журнала, который вывешивает статью ещё до рецензирования) обычно есть DOI, поэтому ссылаться можно без проблем.
Даже если потом работа была существенно переработана, поменяли название, половину текста и т.д. — как на неё сослаться вопросов нет.
Разве что остаётся отследить когда препринт превратится в статью.
Вот пример одной и той же статьи, которая сначала вывешена журналом до рецензирования, потом переработана авторами и получила новое название:
препринт
финал
Можно обратить внимание, что DOI у препринта и финального варианта работы тоже разные
Даже если потом работа была существенно переработана, поменяли название, половину текста и т.д. — как на неё сослаться вопросов нет.
Разве что остаётся отследить когда препринт превратится в статью.
Вот пример одной и той же статьи, которая сначала вывешена журналом до рецензирования, потом переработана авторами и получила новое название:
препринт
финал
Можно обратить внимание, что DOI у препринта и финального варианта работы тоже разные
Препринт можно связать через метаданные в doi с финальной версией статьи
www.crossref.org/education/content-registration/structural-metadata/relationships
www.crossref.org/education/content-registration/structural-metadata/relationships
Думаю, что тут нет особой проблемы. Наверное, в этом случае (если статью не опубликуют) всё равно препринт не удаляют, и у него есть идентификатор, на который и можно ссылаться.
Очень часто в статьях можно в библиографии встретить ссылки на препринты со, скажем, arxiv.org. Эти ссылки не становятся мертвыми, если статью опубликуют или не опубликуют, всё равно текст по ссылке на него на arxiv.org можно найти.
Очень часто в статьях можно в библиографии встретить ссылки на препринты со, скажем, arxiv.org. Эти ссылки не становятся мертвыми, если статью опубликуют или не опубликуют, всё равно текст по ссылке на него на arxiv.org можно найти.
В случае публикации непринятых к печати статей возникает проблема — ее может кто-то успеть процитировать, а в итоге статью не опубликуют.
Я видел статьи на архиве, у которых больше 1000 цитирований, но в журналы они так и не были приняты.
И что делать с этими мертвыми цитатами?
Менять правила игры. Ссылки на нерецнзируемые источники должны стать полноценными ссылками.
Ссылки на нерецнзируемые источники должны стать полноценными ссылками.
Ну так они и сейчас полноценные. Вам же никто не запрещает сослаться на газету, например, если вы хотите указать на событие (такого-то числа в таком-то городе произошло то-то). Но да, это будет ссылка на нерецензируемый источник; читатель предупреждён.
Я имею в виду наукометрию. Один человек написал крутую статью, опубликовал на архиве, каждый год вносит в неё исправления, имеет больше тысячи цитирований. А вес такой публикации в отчётностях — нулевой. Для отчётов приходится делать журнальные публикации.
Ну а в чём проблема подать эту статью в журнал? Он не «опубликовал» на архиве, а «выложил» на архив, ну так пусть зашлёт теперь куда полагается, дело нехитрое.
Проблема в том, что журнал работу не публикует из-за токсичности процесса рецензирования. Статья подана в журнал в 2015 году, широко признана научным сообществом, но мнения рецензентов и редакторов имеют гораздо больший вес.
Погодите, это «журнал» или «Журнал» с большой буквы «Ж» как «Партия»? Их же тысячи. Подайте в другой журнал и спите спокойно.
Нет, журналов из Q1 по нужной тематике — обычно 2-3 штуки, если брать Q2 — до десятка. Плюс везде действует правило, что нельзя посылать одну и ту же работу в несколько журналов.
Если статья подана в 2015 году, значит, давно пора отозвать оттуда и подать в другой журнал. Если в Q1 2-3 штуки, значит, 1-2 ещё есть. Кроме того, если авторы сами себе уже всё доказали, и им нужно только отчитаться, можно и в Q2 подавать, вряд ли прямо рядом с пистолетом стоят и Q1 требуют.
Если статья не принята в течение года или около того, я уже начинаю резко дёргаться, потому что шансы на её публикацию падают. За это время что-то новое появляется, и рецензент в другом журнале может резонно заметить, что за год уже и новые результаты подтянулись, на фоне которых я могу уже не столь свежо смотреться, так что лучше не тянуть…
Если статья не принята в течение года или около того, я уже начинаю резко дёргаться, потому что шансы на её публикацию падают. За это время что-то новое появляется, и рецензент в другом журнале может резонно заметить, что за год уже и новые результаты подтянулись, на фоне которых я могу уже не столь свежо смотреться, так что лучше не тянуть…
Мне кажется, вы забыли важный аспект журналов и исследователей-- это репутация. Основная ценность публикации в Nature для читателя--это то, что у них высокая репутация и обычно сильное рецензирование, и люди обычно внимательно относятся к статьям в Nature, потому что знают, что там обычно инновационные и качественные результаты.
На счет качества — и да, и нет. Многие согласны, что рецензия в Nature более серьезная, чем в журналах низкого уровня. С другой стороны, рецензия определяется во многом лишь уровнем рецензентов. А одни и те же ученые могут рецензировать и для Nature, и для журналов "попроще".
А про инновационные тоже не все однозначно. Немало случаев, когда престижные журналы отказывали в публикации прорывным статьям, так как на тот момент вообще не было известно ничего похожего.
Мой же основной посыл в том, чтобы отойти от престижа журнала и заменить его оценкой качества самой статьи.
Проблема в том, что в мире публикуется нереальное количество статей ежедневно, и этот поток надо как-то фильтровать. Сейчас у меня есть некий шорт-лист журналов и конференций, и я периодически смотрю, что там интересного появляется для меня. Соответственно, репутация журнала — это ровно то, что отличает Хабр от ЖЖ, где тоже огромное количество хороших статей, но я не могу физически просматривать весь ЖЖ в поисках интересного.
Если пофантазировать, то какие альтернативы в принципе возможны? Допустим, каждый человек печатается где угодно, т.е. в своего рода ЖЖ (на локальных конференциях, на сайтах, в местных журналах и т.п.). Первое, с чем я сталкиваюсь — это как всё это найти. Допустим, будет существовать вселенская база данных, где я смогу точно фильтровать по тегам (а это уже крайне нетривиально).
Если мои интересы предельно узки («автоматический морфологический анализ шведского языка»), я смогу фильтровать поток сам, если же интересно хоть что-то пошире, уже публикаций слишком много для чтения, и их надо как-то ранжировать по качеству.
Сейчас у меня есть факт, что статья прошла жёсткое (хороший журнал) или менее жёсткое (журнал похуже) рецензирование. Если есть «просто статья», то уже непонятно, как её оценивать. Допустим, её прочли какие-то рецензенты и допустили её к публикации, подтверждая, что там не какая-то дичь, и на этом всё. Дальше уже непонятно, на что ориентироваться. Много лайков? Ну, тема широкая, хайповая, многим интересна — вот и лайки. А если статья замечательная, но по очень узкой теме? Уже лайков не будет. Короче говоря, дьявол в деталях, и всё это очень сложно.
Если пофантазировать, то какие альтернативы в принципе возможны? Допустим, каждый человек печатается где угодно, т.е. в своего рода ЖЖ (на локальных конференциях, на сайтах, в местных журналах и т.п.). Первое, с чем я сталкиваюсь — это как всё это найти. Допустим, будет существовать вселенская база данных, где я смогу точно фильтровать по тегам (а это уже крайне нетривиально).
Если мои интересы предельно узки («автоматический морфологический анализ шведского языка»), я смогу фильтровать поток сам, если же интересно хоть что-то пошире, уже публикаций слишком много для чтения, и их надо как-то ранжировать по качеству.
Сейчас у меня есть факт, что статья прошла жёсткое (хороший журнал) или менее жёсткое (журнал похуже) рецензирование. Если есть «просто статья», то уже непонятно, как её оценивать. Допустим, её прочли какие-то рецензенты и допустили её к публикации, подтверждая, что там не какая-то дичь, и на этом всё. Дальше уже непонятно, на что ориентироваться. Много лайков? Ну, тема широкая, хайповая, многим интересна — вот и лайки. А если статья замечательная, но по очень узкой теме? Уже лайков не будет. Короче говоря, дьявол в деталях, и всё это очень сложно.
Два самых простых способа, по моему мнению:
1. Рецензенты ставят оценку. По набору критериев оценивают напрямую статью.
2. Научные сообщество оценивает статью (как, например, фильмы на Кинопоиске). Здесь надо учитывать только тех, кто работает в смежных областях.
Для поиска статей использовать поиск по тексту, ключевые слова и граф интересов (как рекомендации на Netflix).
Вы, конечно, правы, это совсем непросто. Но мне кажется, что это задачу надо решать, как это делают в IT-компаниях, например. А не просто полагаться на традиционную систему. Я согласен, что нельзя так просто взять и предложить идеальную систему. Но в науке и IT работает много очень умных людей, они точно придумают, если такая задача возникнет.
1. Рецензенты ставят оценку. По набору критериев оценивают напрямую статью.
2. Научные сообщество оценивает статью (как, например, фильмы на Кинопоиске). Здесь надо учитывать только тех, кто работает в смежных областях.
Для поиска статей использовать поиск по тексту, ключевые слова и граф интересов (как рекомендации на Netflix).
Вы, конечно, правы, это совсем непросто. Но мне кажется, что это задачу надо решать, как это делают в IT-компаниях, например. А не просто полагаться на традиционную систему. Я согласен, что нельзя так просто взять и предложить идеальную систему. Но в науке и IT работает много очень умных людей, они точно придумают, если такая задача возникнет.
Мне очень не хочется говорить тут, что, мол, не получится потому-то и потому-то. Я понимаю, что критиковать легко, а предлагать сложно. Но в том и прикол, что люди в науке и в IT уже придумали, и пользуются, и хотя многие недовольны, но других многих всё устраивает.
Основные отличия от Кинопоиска я вижу в следующем:
— статья может быть хорошей, но очень узкопрофильной, полезной крайне узкому кругу людей (мало лайков, мало потенциальных рецензентов);
— статья может быть полезной, но малоимпактной (авторы берут готовые куски и склеивают в какой-то алгоритм — научный вес такой статьи очень мал, но практическая польза для определённой аудитории важна);
— статья может быть с научной точки зрения не очень существенной, но крайне популярной (например, хороший обзор методов решения какой-то задачи), на неё все будут ссылаться.
Я не говорю, что нынешняя система хорошо справляется со всеми этими тонкостями. Но из данных вида «количество лайков + рецензии» очень сложно вычленить оценку работы учёного и пользу статьи для конкретного читателя.
Основные отличия от Кинопоиска я вижу в следующем:
— статья может быть хорошей, но очень узкопрофильной, полезной крайне узкому кругу людей (мало лайков, мало потенциальных рецензентов);
— статья может быть полезной, но малоимпактной (авторы берут готовые куски и склеивают в какой-то алгоритм — научный вес такой статьи очень мал, но практическая польза для определённой аудитории важна);
— статья может быть с научной точки зрения не очень существенной, но крайне популярной (например, хороший обзор методов решения какой-то задачи), на неё все будут ссылаться.
Я не говорю, что нынешняя система хорошо справляется со всеми этими тонкостями. Но из данных вида «количество лайков + рецензии» очень сложно вычленить оценку работы учёного и пользу статьи для конкретного читателя.
Ну вот нынешняя система, и правда, не очень справляется с такими случаями.
Все три перечисленных вами случая и сейчас очень сильно влияют на восприятие статей. Я слышал, что математики жалуются, что у них никогда не может быть таких импактов, как в биологии или медицине, например. Ну и в более близких областях может быть похожая ситуация.
В крайнем случае можно поручить видным ученым вручную делать подборки — «самые актуальные статьи определенной области за неделю/месяц».
Все три перечисленных вами случая и сейчас очень сильно влияют на восприятие статей. Я слышал, что математики жалуются, что у них никогда не может быть таких импактов, как в биологии или медицине, например. Ну и в более близких областях может быть похожая ситуация.
В крайнем случае можно поручить видным ученым вручную делать подборки — «самые актуальные статьи определенной области за неделю/месяц».
Да, в разных областях импакт разный, но когда мы подаём заявки на грант, понятно, что мы соревнуемся в своей категории, а не так, чтобы математики против биологов.
Ага… журналы так и работают, по сути :)
В крайнем случае можно поручить видным ученым вручную делать подборки — «самые актуальные статьи определенной области за неделю/месяц».
Ага… журналы так и работают, по сути :)
разница в том, что для Nature он почитает манускрипт сам и попросит еще пару уважаемых коллег помотреть, а для журнала попроще — скинет на аспиранта
Ну это же тоже неправильно, разве нет? Я только за то, чтобы аспиранты рецензировали статьи. Но если редактор думает, что рецензия от профессора, а она на самом деле от аспиранта, это ведь не логично.
Вообще проблема качества рецензий легко решаема открытием процесса рецензирования (постфактум, после завершения рассмотрения). Т.е. если статью приняли/отшили, можно просто выложить всю переписку между тройкой авторы-редактор-рецензенты в открытый доступ. Жёсткая оценка не только самих статей, но и качества работы редакторов/рецензентов должно бы повысить качество последних.
С другой стороны это чревато увеличением количества отказов от рассмотрения/рецензирования статей, так что и тут всё очень сложно.
С другой стороны это чревато увеличением количества отказов от рассмотрения/рецензирования статей, так что и тут всё очень сложно.
Так переписку автора с рецензентами кое-где и так выкладывают. Вроде уже лет пять как. Полет нормальный, отказов не замечено.
Ну у Nature/Science как раз отказов и не будет, там и до этого статьи разбирали по косточкам. Да и если открыть рецензентов, то все станут только счастливее, т.к. подтверждение факта рецензирования статей в этих журналах будет очевидным плюсом к CV каждого рецензента, какой бы крупной шишкой тот не был.
там и до этого статьи разбирали по косточкам
Отнюдь.
Часто потому, что прорывные работы находятся на стыке областей, и рецензенты редко специализируются во всех (иначе бы сами сделали прорывную работу). Еще чаще по банальным причинам — времени нет, рецензенты в отпусках, еще что-нибудь.
подтверждение факта рецензирования статей в этих журналах будет очевидным плюсом к CV
Вообще ни разу. В этом бизнесе все понимают кто есть кто, и уровень журналов, которые ты рецензируешь, растет вместе с твоей карьерой. Рецензенты самых топовых журналов — они уже давно профессора, им никому ничего доказывать не надо.
Отнюдь.
Часто потому, что прорывные работы находятся на стыке областей, и рецензенты редко специализируются во всех (иначе бы сами сделали прорывную работу).
Это попахивает конспирологией (наша работа слишком
Поиск нескольких рецензентов, способных оценить разные куски междисциплинарной задачи — это не настолько сложная задача, а отпуска не проблема, т.к. в случае отказа можно рекоммендовать кого-то ещё, кто может.
Вообще ни разу. В этом бизнесе все понимают кто есть кто, и уровень журналов, которые ты рецензируешь, растет вместе с твоей карьерой. Рецензенты самых топовых журналов — они уже давно профессора, им никому ничего доказывать не надо.
Как ни странно, надо. Как минимум потому что гранты не вечны. И даже без проблем, рецензирование позволяет видеть какие-то интересные работы до их публикации (Nature и Science препринты в ArXiv, ChemRxiv, BioRxiv, Researchgate и т.д.) не любят, что позволяет видеть новые идеи и веяния раньше других.
Вы что-то очень странное говорите.
Nature уже много лет плевать на препринты.
А попытка при рецензировании "увидеть новые идеи и веяния" в свою пользу может закончиться быстрым и печальным окончанием карьеры.
Nature уже много лет плевать на препринты.
Вы правы, статьи там есть с препринтами, выложенными до подачи. Я об этом не знал, извините.
Но среди обычных обывателей (из моего окружения по-крайней мере) всё ещё стараются не рисковать, публикуя препринты уже после принятия статей.
А попытка при рецензировании «увидеть новые идеи и веяния» в свою пользу может закончиться быстрым и печальным окончанием карьеры.
Так никто о том, что Вы тут усмотрели, никто не говорил. Дело в том, что модификации приборов/кодов делаются долго, писать/получать гранты тоже долго, поэтому идеи можно начинать разрабатывать ещё до официального опубликования статей.
А попытка при рецензировании "увидеть новые идеи и веяния" в свою пользу может закончиться быстрым и печальным окончанием карьеры.
Поясните. Никто же не говорил про "зарубить и опубликовать быстро самому".
Нет, хорошие работы отсев обычно проходят. Проблема в том, что слабые статьи его тоже нередко проходят (особенно этим Science грешит). И на вопрос "Почему?" тут, к сожалению, больше одного ответа.
Как ни странно, надо. Как минимум потому что гранты не вечны.
Вы много знаете рецензентов Nature, которым этот факт их биографии помогает получать гранты? Среди моих знакомых — ни одному.
Это не говоря о том, что там вообще говоря и возрастной ценз есть.
С междисциплинарными статьями действительно есть нюанс. У меня был опыт, когда в наша статья по структурной биологии было раскритикована рецензентом Nature с формулировкой примерно «я в это не верю, так быть не может». При этом никаких конкретных ошибок или недостатков рецензент не приводил. В статье шла речь о изменении структуры белка при комнатной температуре. Эксперимент был сделан по относительно новой не мейнстримной методике. А рецензент был специалистом по давно устоявшейся методике структурного анализа, которая работает при температуре жидкого азота, а потому не изучает процессы при комнатной температуре и описывает замороженное состояние. Он настолько привык к замороженному состоянию, что не поверил в то, что мы описывали в статье, а аргументированно критиковать не стал, возможно просто не захотел разбираться в незнаком ему методе.
В этом всём нет ничего катастрофического, статья всё же была опубликована спустя пару лет в Nature Communications, но это потребовало переработки, оспаривания, затем resubmission в «сестринский» журнал, новое ревью, затем revisions и т.д.
В этом всём нет ничего катастрофического, статья всё же была опубликована спустя пару лет в Nature Communications, но это потребовало переработки, оспаривания, затем resubmission в «сестринский» журнал, новое ревью, затем revisions и т.д.
А как быть с проблемой, особенно хорошо заметной в медицинских исследованиях, когда в публикации не попадают (или попадают крайне редко) результаты исследований с отрицательным результатом? Что сильно искажает реальность
Я уверен, что надо публиковать и отрицательные результаты, и повторения уже опубликованных экспериментов.
Здесь важно будут ли на это давать гранты и будут ли это публиковать. Чтобы бороться за более высокую воспроизводимость, я считаю, это обязательно надо делать.
Подробнее собираюсь рассказать об этом во второй части.
Здесь важно будут ли на это давать гранты и будут ли это публиковать. Чтобы бороться за более высокую воспроизводимость, я считаю, это обязательно надо делать.
Подробнее собираюсь рассказать об этом во второй части.
Вообще это проблема, безусловно. И она тоже распадается на ряд отдельных аспектов. Я бы сосредоточился вот на чём. Если просто написать статью в стиле «мы провели эксперимент, ничего не вышло», это действительно вряд ли опубликуют. С точки зрения автора это будет «искажение реальности», но с точки зрения среднего редактора и/или рецензента вопрос стоит иначе: какая тут новизна и какова польза от статьи для читателя? Понятно, что рецензент всегда может отписаться в стиле «ну так очевидно, что ваш подход с самого начала был обречён, и писать об этом незачем».
Соответственно, я бы сказал, что в таких обстоятельствах надо подойти к написанию статьи более ответственно. Что читатель вынесет из вашего опыта? Метод А и метод Б дают примерно одинаковые результаты (это сравнение, от него есть польза). Лекарство А статистически лечит не лучше лекарства Б (но может быть разница в цене или в побочках). И так далее. То есть почти всегда можно изложить результат так, что в нём будет и новая/положительная составляющая, но это надо уметь. Но тут тоже ничего нового: недостаточно быть хорошим учёным, надо уметь донести свои мысли до аудитории.
Соответственно, я бы сказал, что в таких обстоятельствах надо подойти к написанию статьи более ответственно. Что читатель вынесет из вашего опыта? Метод А и метод Б дают примерно одинаковые результаты (это сравнение, от него есть польза). Лекарство А статистически лечит не лучше лекарства Б (но может быть разница в цене или в побочках). И так далее. То есть почти всегда можно изложить результат так, что в нём будет и новая/положительная составляющая, но это надо уметь. Но тут тоже ничего нового: недостаточно быть хорошим учёным, надо уметь донести свои мысли до аудитории.
Тут кстати появляется механизм под названием pre-acceptance (вроде он уже где-то юзается, но я не нашел где):
https://www.tandfonline.com/doi/pdf/10.1080/23761199.2018.1522796
В этом случае исследователи регистрируют протокол исследования, который они посылают в журнал. Он проходит рецензирование, и если всё норм, публикацию пре-принимают. Журнал оказывается обязанным опубликовать результат последующего исследования, даже если результат будет отрицательным.
Естественно, такая модель сработает не везде. Допустим, я решил написать игру, где можно грабить корованы, её согласился выложить по такой модели Steam, а в игре грабить корованы окажется нельзя, это будет не потому что такова Природа, а просто у меня руки произрастают на уровне таза.
https://www.tandfonline.com/doi/pdf/10.1080/23761199.2018.1522796
В этом случае исследователи регистрируют протокол исследования, который они посылают в журнал. Он проходит рецензирование, и если всё норм, публикацию пре-принимают. Журнал оказывается обязанным опубликовать результат последующего исследования, даже если результат будет отрицательным.
Естественно, такая модель сработает не везде. Допустим, я решил написать игру, где можно грабить корованы, её согласился выложить по такой модели Steam, а в игре грабить корованы окажется нельзя, это будет не потому что такова Природа, а просто у меня руки произрастают на уровне таза.
Можно ли читать статьи Elsevier лежа на диване? Можно: зависит от того как это организовано в вашей организации. Даже без VPN. В ковидное время — все упростилось.
Как достать статью? Надо потешить авторское самолюбие: пишем e-mail автору с просьбой прислать ее. 90% присылает. В 90е годы я по обычной почте получал оттиски всех нужных мне статей, даже несколько штук диссертаций (бумажных!). И никаких обращений к сайту девушки :-). Только подождать… Попросить знакомых с доступом к статье, пойти в библиотеку или воспользоваться МБА.
О рецензиях.Если в рецензии мало замечаний, сразу возникает вопрос? А ее по диагонали читали? Или статья хороша? Я стараюсь в рецензии сделать много (по делу) замечаний, тогда статья будет лучше.
Как достать статью? Надо потешить авторское самолюбие: пишем e-mail автору с просьбой прислать ее. 90% присылает. В 90е годы я по обычной почте получал оттиски всех нужных мне статей, даже несколько штук диссертаций (бумажных!). И никаких обращений к сайту девушки :-). Только подождать… Попросить знакомых с доступом к статье, пойти в библиотеку или воспользоваться МБА.
О рецензиях.Если в рецензии мало замечаний, сразу возникает вопрос? А ее по диагонали читали? Или статья хороша? Я стараюсь в рецензии сделать много (по делу) замечаний, тогда статья будет лучше.
Бумажные статьи по обычной почте?! — Это круто!
Вариантов много, это правда. Есть #ICanHazPDF в Twitter, говорят, быстро присылают.
Но согласитесь, это не так удобно, как все тексты в открытом доступе. Да и все эти приемы надо знать, а молодой студент или школьник уткнется в paywall и не будет знать, что делать.
Вариантов много, это правда. Есть #ICanHazPDF в Twitter, говорят, быстро присылают.
Но согласитесь, это не так удобно, как все тексты в открытом доступе. Да и все эти приемы надо знать, а молодой студент или школьник уткнется в paywall и не будет знать, что делать.
Сейчас можно и через researchgate попросить в полуавтоматическом режиме. А много статьи уже там и так выложены авторами.
Research Gate — удобный ресурс, но он однозначно говорит, что выкладывать можно только те статьи, на которые у автора есть такие права. Иначе автор несет ответственность. То есть статьи за paywall по официальным правилам выкладывать нельзя.
Раз на arxiv можно выкладывать опубликованные статьи, то казалось бы и на researchgate тоже разрешено. Или не так?
Когда загружаете текст на Research Gate, он показывает вот такое сообщение.
То есть все под ответственность автора.
Загрузка на Research Gate
То есть все под ответственность автора.
На архиве примерно то же самое — требуют такого:
И всё нормально: проблем у них с журналами нет, при том, что открыто выложено почти два миллиона статей.
I grant arXiv.org a perpetual, non-exclusive license to distribute this article.
I certify that I have the right to grant this license.
I understand that submissions cannot be completely removed once accepted.
I understand that arXiv.org reserves the right to reclassify or reject any submission.
И всё нормально: проблем у них с журналами нет, при том, что открыто выложено почти два миллиона статей.
рецензент не связан никакими формальными обещаниями, поэтому и последствий для него не будет
эм… не знаю, как в отечественных журналах, но в зарубежных если ты соглашаешься взять статью на рецензию, у тебя есть четкий срок, за который ты должен это сделать (обычно от двух недель до месяца, в Open Access журналах могут попросить и за неделю). Если не сделал — вместо тебя ищут другого рецензента, а ты получаешь по шее от редактора. А если это не первый раз, то могут и отлучить от рецензирования в данном журнале либо издательстве
Обычно так и должно быть. Но регулярно происходят задержки и очень значительные.
У меня совсем недавно статья была на ревизии больше двух с половиной месяцев. A у моих коллег за последние полгода был очень неприятный опыт, когда рецензента не могли найти несколько месяцев или рецензент пропадал уже в процессе.
У меня совсем недавно статья была на ревизии больше двух с половиной месяцев. A у моих коллег за последние полгода был очень неприятный опыт, когда рецензента не могли найти несколько месяцев или рецензент пропадал уже в процессе.
У меня хуже было: забыли прислать рецензию, только после письма в редакцию прислали ее.
Это неуникальный случай, к сожалению.
Мы как-то написали апелляцию на отказ в публикации (были причины).
Редактор ее отклонил с формулировой, по которой было ясно, что текст апелляции он не читал.
После нашего письма в духе "вы там не охренели?" редактор извинился и сказал, что файл с апелляцией у него почему-то не открылся, и не могли бы мы прислать его еще раз.
P.S. Редактор не простой, а главный, да и журнал более чем известный.
Есть такая проблема. Журнал даёт 2 месяца на рецензирование. Рецензент благополучно об этом забывает и вспоминает только после напоминания о рецензии за день до дедлайна. А иногда не вспоминает, потому что коронавирус, например.
Проблемы показаны, а каким должно быть решение?
Понятно, что проблемы выглядят сложными, что в ответ на одно предложение тут же появляется десять замечаний о возможном вреде от него, но сама постановка вопроса о решении в результате умирает, так и не родившись. Хорошо ли это?
Комментарии выше в основном как раз либо подтверждают недостатки, либо указывают на недостатки каких-то простых улучшающих шагов. Но нигде нет системного конструктива. Предложения сводятся к каким-то мелочам, типа «а если в формате википедии?». Да какая разница, в каком формате, если вообще непонятно — зачем вся эта затея?
Кому нужен весь этот «научный» процесс?
Отвечаем на этот вопрос честно и получаем большую часть решения всех проблем.
Я бы ответил так — олигополии готовят для себя базу на будущее. Всё, более ничего в этом нет. Ну и исходите из этого. Зачем мечтать о каких-то форматах википедии, если главный выгодоприобретатель не вы? Хотя да, вы с этого зарплату имеете, но тем не менее, опять не отдаёте себе отчёта в простом факте — вы наёмный работник. И кому в этом мире интересны наёмники? Да никому. Поэтому, честно глядя в лицо фактам, нужно признать, что всяческие удобства наёмников есть исключительно личная проблема наёмников. Ну и за одно можно отметить, что у наёмников очень плохо получается себя продать, а потому их влияние на ту среду, комфорта которой они требуют, минимально.
Отсюда вывод — может стоит как-то переоценить своё место в мире? Например, перестать ожидать улучшений с публикациями. Да, это неприятно, но вы же даже предложения дать не смогли, ну за исключениемперекрасим в другой цвет подключим википедию. А если говорить «о большом», то когда мы учтём реального выгодоприобретателя, сразу возникает вопрос — кому нужны эти указания на науку и прочее стремление к истине? Кто на них серьёзно заработает?
Кстати, в тексте статьи замечена цифра в 8 миллионов экономии, если в Англии откажутся от платных статей. Немного подскажу автору — цель не в экономии, а в максимальном раздувании бюджета. Тогда можно будет давать значительно больше денег своим людям, потому что на фоне миллиардов доли процента никому не заметны. Это было к вопросу о понимании своего места в системе.
А если кто-то (ну вдруг) думал о пользе обществу, то для такой пользы есть лишь один вариант — устранить посредника в виде олигополий и коррумпированных правительств. Иначе — только перекрашивать в другой цвет. И почаще, что бы навар на попиле был побольше.
Понятно, что проблемы выглядят сложными, что в ответ на одно предложение тут же появляется десять замечаний о возможном вреде от него, но сама постановка вопроса о решении в результате умирает, так и не родившись. Хорошо ли это?
Комментарии выше в основном как раз либо подтверждают недостатки, либо указывают на недостатки каких-то простых улучшающих шагов. Но нигде нет системного конструктива. Предложения сводятся к каким-то мелочам, типа «а если в формате википедии?». Да какая разница, в каком формате, если вообще непонятно — зачем вся эта затея?
Кому нужен весь этот «научный» процесс?
Отвечаем на этот вопрос честно и получаем большую часть решения всех проблем.
Я бы ответил так — олигополии готовят для себя базу на будущее. Всё, более ничего в этом нет. Ну и исходите из этого. Зачем мечтать о каких-то форматах википедии, если главный выгодоприобретатель не вы? Хотя да, вы с этого зарплату имеете, но тем не менее, опять не отдаёте себе отчёта в простом факте — вы наёмный работник. И кому в этом мире интересны наёмники? Да никому. Поэтому, честно глядя в лицо фактам, нужно признать, что всяческие удобства наёмников есть исключительно личная проблема наёмников. Ну и за одно можно отметить, что у наёмников очень плохо получается себя продать, а потому их влияние на ту среду, комфорта которой они требуют, минимально.
Отсюда вывод — может стоит как-то переоценить своё место в мире? Например, перестать ожидать улучшений с публикациями. Да, это неприятно, но вы же даже предложения дать не смогли, ну за исключением
Кстати, в тексте статьи замечена цифра в 8 миллионов экономии, если в Англии откажутся от платных статей. Немного подскажу автору — цель не в экономии, а в максимальном раздувании бюджета. Тогда можно будет давать значительно больше денег своим людям, потому что на фоне миллиардов доли процента никому не заметны. Это было к вопросу о понимании своего места в системе.
А если кто-то (ну вдруг) думал о пользе обществу, то для такой пользы есть лишь один вариант — устранить посредника в виде олигополий и коррумпированных правительств. Иначе — только перекрашивать в другой цвет. И почаще, что бы навар на попиле был побольше.
Свои идеи и концепции, которые уже работают, я расскажу в следующей части. В чем-то я с вами согласен, идея устранения посредника мне тоже близка.
Мне кажется, вы разводите какую-то помесь теории заговора с глобальными идеями. Нынешняя система в том или ином виде существует, по крайней мере, лет двести. Если совсем не ударяться в историю, то журналы и рецензирование в обозримом прошлом существовали при самых разных системах и в самых различных условиях.
Ситуация по сути простая. Имеется статус-кво, который сложился в результате сложного исторического процесса. Молодой специалист, ныряя в него, соглашается с правилами игры: он вообще не думает «о своём месте в мире», он просто делает карьеру в том мире, который есть, ровно так же как строитель, программист или врач.
Если же некто претендует на смену парадигмы (потому не улыбается тратить 8 миллионов ежедневно), ему придётся выстроить свою, да ещё каким-то образом убедить людей по всему миру играть в эту новую игру.
Ситуация по сути простая. Имеется статус-кво, который сложился в результате сложного исторического процесса. Молодой специалист, ныряя в него, соглашается с правилами игры: он вообще не думает «о своём месте в мире», он просто делает карьеру в том мире, который есть, ровно так же как строитель, программист или врач.
Если же некто претендует на смену парадигмы (потому не улыбается тратить 8 миллионов ежедневно), ему придётся выстроить свою, да ещё каким-то образом убедить людей по всему миру играть в эту новую игру.
Основная проблема сейчас — это сроки публикации и деньги. И эти проблемы взаимосвязаны. Теперь несколько моментов (актуальных для естественных наук, в других областях могут быть свои особенности).
1. В отечественных журналах катастрофическая проблема со сроками рецензирования и публикации. Статьи могут лежать на рецензии месяцами, а после принятия еще полгода-год лежать в столе у редактора, ожидая своего номера.
2. За рубежом с этим научились бороться, публикуя статью практически сразу после принятия к печати — сначала в авторской редакции, а уже потом заменяя ее на отформатированную по шаблону журнала статью. При этом у статьи сначала не будет части выходных данных — года, тома журнала и страниц — но будет DOI, по которому ее можно успешно цитировать. Недостающие данные появятся позднее, после верстки полноценного журнального тома. К этому моменту интересная статья (которая в отечественном журнале все еще лежала бы у редактора под сукном) уже обрастает цитированиями.
3. Open Access журналы, как правило, очень быстро (обычно за 2-3 недели) проводящ рецензирование, и при быстрой доработке можно получить опуликованную статью за месяц.
4. Все бы хорошо в Open Access, но в российских реалиях плату за OA (а это обычно эквивалент 1,5-3 тысяч USD) приходится фактически отрывать от своей зарплаты, обычно и так не настолько щедрой. Поэтому на развилке «быстро, но дорого» и «медленно, но бесплатно» чаще выбирают второй вариант. Первый подходит когда у института есть бюджет на это дело, либо когда в гранте есть максимальные лимиты на другие группы расходов, и они уже выбраны, а деньги остались. Ну или когда сроки горят, а нужна статья в журнале с приличным импактом.
5. Среди российских журналов есть Open Access, не берущие плату с авторов — как правило, они аффилированы (официально или неофициально) с каким либо ВУЗом или НИИ. У таких журналов есть своя проблема — статьи «со стороны» они могут публиковать долго, а «свои» статьи публиковать фактически без рецензирования
Ну вот как-то так, что сходу вспомнил.
1. В отечественных журналах катастрофическая проблема со сроками рецензирования и публикации. Статьи могут лежать на рецензии месяцами, а после принятия еще полгода-год лежать в столе у редактора, ожидая своего номера.
2. За рубежом с этим научились бороться, публикуя статью практически сразу после принятия к печати — сначала в авторской редакции, а уже потом заменяя ее на отформатированную по шаблону журнала статью. При этом у статьи сначала не будет части выходных данных — года, тома журнала и страниц — но будет DOI, по которому ее можно успешно цитировать. Недостающие данные появятся позднее, после верстки полноценного журнального тома. К этому моменту интересная статья (которая в отечественном журнале все еще лежала бы у редактора под сукном) уже обрастает цитированиями.
3. Open Access журналы, как правило, очень быстро (обычно за 2-3 недели) проводящ рецензирование, и при быстрой доработке можно получить опуликованную статью за месяц.
4. Все бы хорошо в Open Access, но в российских реалиях плату за OA (а это обычно эквивалент 1,5-3 тысяч USD) приходится фактически отрывать от своей зарплаты, обычно и так не настолько щедрой. Поэтому на развилке «быстро, но дорого» и «медленно, но бесплатно» чаще выбирают второй вариант. Первый подходит когда у института есть бюджет на это дело, либо когда в гранте есть максимальные лимиты на другие группы расходов, и они уже выбраны, а деньги остались. Ну или когда сроки горят, а нужна статья в журнале с приличным импактом.
5. Среди российских журналов есть Open Access, не берущие плату с авторов — как правило, они аффилированы (официально или неофициально) с каким либо ВУЗом или НИИ. У таких журналов есть своя проблема — статьи «со стороны» они могут публиковать долго, а «свои» статьи публиковать фактически без рецензирования
Ну вот как-то так, что сходу вспомнил.
Стоит также добавить, что плата за опубликование не гарантирует публикацию вашей статьи. Более того, при отказе в некоторых журналах плату не возвращают.
Попадаются такие рецензенты, которые заворачивают статью из-за идей, противоположных их мнению.
Про плату за публикацию статьи есть неплохой документальный фильм «Paywall: The Business of Scholarship»
Попадаются такие рецензенты, которые заворачивают статью из-за идей, противоположных их мнению.
Про плату за публикацию статьи есть неплохой документальный фильм «Paywall: The Business of Scholarship»
Про оплату при отклонении статьи я не слышал, если честно. Можете привести примеры, мне очень интересно. Я собираю такие истории.
К сожалению, история не очень информативна т.к. я не знаю точного названия журнала и главного героя этой истории, услышал от своего научного руководителя.
В стране моего проживания было очень популярно для международных публикаций отправлять статьи в индийские хищнические журналы с условием «оплата сейчас — публикация в журнале потом» (в нормальные журналы их статьи бы не прошли). В основном, такие журналы сразу вывешивают статьи на своем веб-сайте. Герою истории не повезло связаться с недобросовестным «редактором», который брал предоплату и отправлял затем сообщения вроде «Ваша публикация не проходит требования, оплата пошла на рецензентов». И ничего не предъявишь, т.к. адрес у таких «журналов» часто фиктивный.
Вообще в Индии таких хищнических «журналов» валом, нередко со звучными названиями и фиктивными адресами. В Сети много интересной информации по запросу «хищнические журналы». Надеюсь, они попадут во вторую часть вашей статьи
В стране моего проживания было очень популярно для международных публикаций отправлять статьи в индийские хищнические журналы с условием «оплата сейчас — публикация в журнале потом» (в нормальные журналы их статьи бы не прошли). В основном, такие журналы сразу вывешивают статьи на своем веб-сайте. Герою истории не повезло связаться с недобросовестным «редактором», который брал предоплату и отправлял затем сообщения вроде «Ваша публикация не проходит требования, оплата пошла на рецензентов». И ничего не предъявишь, т.к. адрес у таких «журналов» часто фиктивный.
Вообще в Индии таких хищнических «журналов» валом, нередко со звучными названиями и фиктивными адресами. В Сети много интересной информации по запросу «хищнические журналы». Надеюсь, они попадут во вторую часть вашей статьи
Более того, при отказе в некоторых журналах плату не возвращают.
простите, но это — хищнические журналы
все нормальные издания выставляют счет строго после принятия статьи к публикации
Про разные стандарты в разных журналах выглядит натянуто: в латехе никакой проблемы нет заменить стилевик одного журнала на другой, разве что хедер подправить немного.
Объём статьи и количество иллюстраций так просто не поменяешь. Это надо статью переписывать по сути.
В каких-то сферах требования между журналами в этом сильно различаются? Я только за астрофизику знаю: у нас по сути есть тип «letter» (короткие статьи), и обычные статьи. На «обычные» статьи особых ограничений на количество картинок/объём нет, на letter отличаются между журналами в деталях.
У нас в биологии могут очень сильно отличаться. В некоторых журналах даже для больших статей есть ограничение по размеру. В других на число картинок. Где-то нет никаких ограничений.
И поменять статью для другого журнала бывает довольно сложно. Если надо сильно сократить текст или поменять структуру.
Я был соавтором нескольких статей в области image processing и neuroscience. В одной статье мне пришлось два раза переписывать свой кусок текста (сжимать), потому что менялся журнал и менялись требования к размеру статьи. В neuroscience (в итоге опубликовали в журнале NeuroImage) соавторы несколько раз изменяли текст, чтобы удовлетворить требования рецензентов.
Структура: где-то можно с подразделами, где-то нельзя, где-то подразделы прописаны журналом. Тут асбтракт 300 слов, там 150, тут его вообще нету, а есть первый параграф со ссылками. В некоторых журналах есть обязательный раздел methods куда сбрасываются все детали, которые обычно сидят где-то в середине статьи, в итоге вся структура плывет, надо переписывать.
Длина (самое неприятное): там письмо 1500 слов, тут статья 2500 слов, там статья 5000 слов, или еще что.
Оформление иллюстраций: максимальное количество картинок и таблиц. Потом тут фонт такого размера подавай и что бы sans-serif, тут times new roman, там отдельную часть картинки пронумеруй заглавной буквой, там не заглавной, там только со скобочками, там цыферками. Мелочи, но время жрет. Этот этап можно, конечно, пропустить для первого раза, но редактора не любят видеть стиль очевидно другого журнала потому что в этом случае «статью послали туда — там не приняли, шлем теперь к вам», что уже плохой сигнал.
Длина (самое неприятное): там письмо 1500 слов, тут статья 2500 слов, там статья 5000 слов, или еще что.
Оформление иллюстраций: максимальное количество картинок и таблиц. Потом тут фонт такого размера подавай и что бы sans-serif, тут times new roman, там отдельную часть картинки пронумеруй заглавной буквой, там не заглавной, там только со скобочками, там цыферками. Мелочи, но время жрет. Этот этап можно, конечно, пропустить для первого раза, но редактора не любят видеть стиль очевидно другого журнала потому что в этом случае «статью послали туда — там не приняли, шлем теперь к вам», что уже плохой сигнал.
Тем, кто жалуется на отсутствие доступа к статьям из дома при наличии подписки на работе стоит глянуть в сторону Campus Activated Subscriber Access (CASA) Through Google Scholar. Если оно опознало вас как заходящего из авторизованных организаций, то доступ к статье из Гугл сколара у вас будет и вне пределов кампуса. Корпорация добра заботится о вас!
Время ожидания
…
Почему это может быть проблемой?… иногда у автора статьи скоро меняется место работы — часто есть тот или иной срок, к которому надо опубликовать исследование.
В чём проблема, если меняется место работы? Часто вижу, что знакомые коллеги публикуются со старой аффилиацией после перехода на новое место, причём переход мог быть и до отправки статьи в журнал: просто его работа над этой статьёй проиводилась в прошлой организации.
Как вы уже знаете, решение о публикации в журнале (или отказе) принимается единственным человеком — редактором. И если он сочтет статью неинтересной, недостаточно хайповой или неподходящей по любому другому параметру — в публикации будет отказано. А значит, статью подадут в другой журнал с импакт-фактором пониже. То есть содержание работы не изменилось, а ее оценка понизилась, и не из-за качества исследования.
Это применимо к любому процессу, в котором есть субъективность. Оценка на всех экзаменах, приём на работу, диагностика болезни, и т.д. — результат/балл/зарплата/здоровье зависит от того, к какому человеку попадёшь.
UPD: Если же имелась в виду не субъективность, а текущая «популярность» некоторого направления — то вроде всё логично, работы которые потенциально интересны бОльшему кругу чаще публикуются в более рейтинговых журналах.
По поводу смены места работы — после рецензии надо часто доделывать дополнительные эксперименты, а если ученый уехал в другой город или страну — это сделать гораздо сложнее.
По поводу оценки, я понимаю, что она будет в какой-то мере субъективной, этого не избежать. Но импакт-фактор — это даже не оценка статьи, это ее прокси с помощью оценки журнала.
Хорошая статья. Тут в том числе шла речь о финансовой составляющей и именно о ней надо говорить в первую очередь. Проблема в том, что если электронная бумага, на которой печатается журнал, действительно стоит не дорого, то вот экспертная работа стоит очень дорого. В настоящее время журналы играют роль экспертов. Факт публикации в том или ином журнале вроде как говорит об уровне качества работы. И на самом деле в этом ничего плохого нет. Проблема начинается, когда в качестве критерия начинают брать не наличие публикации в хорошем журнале, а их качество. Вот тут и начинается. К примеру, в физике частиц есть проблема коллективных подвалов — статей с 3000 авторов. Как только человек оказывается включен в коллаборацию, он получает очень высокий рейтинг даже если вообще ничего в коллаборации не делает. ВУЗы и фонды используют журналы как бесплатных экспертов и вместо того, чтобы поставить экспертизу, просто считают публикации. Никакими манипуляциями с журналами и KPI эту проблему не решить. Решить ее можно только созданием хорошей системы экспертной оценки.
В обществе научных работников (http://onr-russia.ru/) было довольно много дискуссий на эту тему.
В обществе научных работников (http://onr-russia.ru/) было довольно много дискуссий на эту тему.
Почти во всём согласен со статьёй. Действительно, система сложилась очень неторопливая. Сам правил статьи и переводы спустя несколько лет после того, как ушел из науки. Такое вот наследство оставил после себя :)
Насчет рецензентов, не имеющих «конфликта интересов» есть ещё один тонкий момент. Допустим, статью публикует академик, который лично знает всех специалистов в своей области. Понятное дело, что почти наверняка у него есть совместные публикации почти со всеми специалистами. По крайней мере, в границах России такое бывало. И рецензент часто обсуждает статью с автором буквально за чашечкой кофе. Никакой анонимности. (Притом, бывало, что вот на мой кандидатский взгляд, статья-то была, максимум так себе с точки зрения новизны, главной её целью, скорее, была возможность, дать заработать рейтинговые очки соавтору/ам).
Что делает ученый, пока его статья на рецензировании? Могу сказать от имени экспериментаторов (физика космических лучей). Пишет ряд других статей (или его коллеги пишут, включая весь коллектив эксперимента в «братскую могилу» авторов, числом иногда более сотни). Выступает на конференциях и публикует фрагменты исследований в журналах помельче. Возможно, пишет научпоп или заметки в «Троицкий вариант». Ковыряется в установке или программе, обрабатывающей сырые данные. Придумывает новый физический смысл в имеющихся данных и пытается его проанализировать, для чего заново перерабатывает массив сырых данных за много лет, исходя из новых ограничений по сигналу и шуму, спектру события и т.п.
Пьёт :)
Насчет рецензентов, не имеющих «конфликта интересов» есть ещё один тонкий момент. Допустим, статью публикует академик, который лично знает всех специалистов в своей области. Понятное дело, что почти наверняка у него есть совместные публикации почти со всеми специалистами. По крайней мере, в границах России такое бывало. И рецензент часто обсуждает статью с автором буквально за чашечкой кофе. Никакой анонимности. (Притом, бывало, что вот на мой кандидатский взгляд, статья-то была, максимум так себе с точки зрения новизны, главной её целью, скорее, была возможность, дать заработать рейтинговые очки соавтору/ам).
Что делает ученый, пока его статья на рецензировании? Могу сказать от имени экспериментаторов (физика космических лучей). Пишет ряд других статей (или его коллеги пишут, включая весь коллектив эксперимента в «братскую могилу» авторов, числом иногда более сотни). Выступает на конференциях и публикует фрагменты исследований в журналах помельче. Возможно, пишет научпоп или заметки в «Троицкий вариант». Ковыряется в установке или программе, обрабатывающей сырые данные. Придумывает новый физический смысл в имеющихся данных и пытается его проанализировать, для чего заново перерабатывает массив сырых данных за много лет, исходя из новых ограничений по сигналу и шуму, спектру события и т.п.
Пьёт :)
UFO just landed and posted this here
Это проблема, но в конечном итоге последнее слово за редактором журнала/руководителями конференции. Когда я вижу неадекват в рецензии, то просто её игнорирую. Это не всегда получается, но мы стараемся.
Да, на конференциях ещё веселее, где действует система peer-review, т.е. к рецензированию привлекаются сами участники конференции, без какой-либо проверки на квалификацию. Одна и да же статья может получить как восторженные отзывы, так и негатив. Чистый рандом — смотря на какого рецензента попадёт работа. Да и в журналах ситуация похожая.
Могу поделиться своей историей. Отправил статью в скопусовский журнал «Aerospace Science & Technology». Её не приняли без возможности исправлений, то есть с первой же попытки отбили. А где-то через год на почту упало письмо с предложением отрецензировать для этого журнала статью)))) Причём начиналось оно словами: «Given your expertise in this area...»))) Как же я с этого поржал) Естественно, письмо проигнорировал. Но до сих пор интересно, сколько у них таких рецензентов: чьи статьи они сами же не приняли в тот же самый журнал.
По поводу отклонения статьи редактором… Это странное событие, т.е. статья должна быть или очень плоха или не по теме, что само по себе странно, если люди нормально работают в науке.
У меня была единственная ситуация когда статья не прошла редколлегию. Некая конференция по условной физике договорилась с неким околофизическим журналом о публикации статей по мотивам конференции, дальше с этим журналом что-то не сложилось, и организаторы договорились о публикации… в чисто математическом журнале. (Ну а что там — сплошная среда это ж математика, да?). Мои друзья-соавторы (специалисты по математической физике) настояли на отправке статьи в этот журнал хотя я был настроен весьма скептически. Результат закономерен.
Еще забавность — мы как-то послали статью в журнал где редактор сам имеет публикации по близкой теме. В результате в нашей статье магическим образом появился десяток ссылок на его работы.
У меня была единственная ситуация когда статья не прошла редколлегию. Некая конференция по условной физике договорилась с неким околофизическим журналом о публикации статей по мотивам конференции, дальше с этим журналом что-то не сложилось, и организаторы договорились о публикации… в чисто математическом журнале. (Ну а что там — сплошная среда это ж математика, да?). Мои друзья-соавторы (специалисты по математической физике) настояли на отправке статьи в этот журнал хотя я был настроен весьма скептически. Результат закономерен.
Еще забавность — мы как-то послали статью в журнал где редактор сам имеет публикации по близкой теме. В результате в нашей статье магическим образом появился десяток ссылок на его работы.
Могу сказать про биологию. Самые престижные журналы принимают меньше 10% статей. Большая часть отказов именно на уровне редактора. Так, моя коллега совсем недавно подавала в 3 или 4 журнала, и редакторы отказывали в публикации, так как статья по их мнению недостаточно инновационная.
Отклонение редактором — это вполне нормально, т.к. в любой более-менее приличный журнал присылают рукописей в разы больше, чем они могут опубликовать, поэтому первичный отсев на уровне редакторов (которые обычно тоже вполне себе ученые) просто необходим
Не очень понятно, что сейчас ограничивает журнал. Печатать статьи не надо, подготовка тоже минимальная. Вот именно такой редакторский отсев мне не понятен больше всего.
Как приглашённый редактор могу сказать, что иной раз реально присылают какой-то треш. Ну такой треш, что стыдно даже отвлекать рецензентов ради чтения. Читая чужие рецензии тоже периодически натыкался на фразы типа «даже непонятно, зачем меня редакция напрягает чтением такого треша».
эм… в большинство журналов пока еще не перешли в полностью электронный вид, а издаются одновременно в бумажном и электронном вариантах
Вот вам пара вырванных из контекста идей от человека из мира разработки и не знакомого с научным миров (поэтому вероятно идей бредовых).
Каким должен быть новый научный хаб? В первую очередь открытым, все что происходит на ресурсе (публикация, история, процесс ревью, результаты экспериментов) свободно доступно всем жителям земли. Это главный постулат.
Для авторов (ученых) необходима регистрация, с заполнением подробного bio (для того, чтобы избежать конфликта интересов при выборе ревьюверов)
Лучшие из лучших, воротилы мира публикации и в то же время открытые к новым веяниям собираются и выбирают новый формат для публикаций: верстка, шрифты, расположение элементов, abstract и прочее. Без исторического легаси. Дизайнят, так, как должен выглядеть материал в интернете в 2020. На выходе получается SciMarkdown. Язык разметки на котором можно написать любую статью, и ее можно будет срендерить и удобно читать.
Все правки по публикации попадают в систему контроля версий без возможности перезаписи истории. Можно заюзать гит, так как у нас есть markdown, я не против :)
У публикации есть статусы. Типа черновик, на ревью, одобрена, отозвана и так далее. Любой участник может проверять воспроизводимость, чем выше рейтинг проверяющего, тем больше общего рейтинга получает публикация.
Администраторы ресурса (кормятся с банерной рекламы или донатов) выбирают ревьюверов (изучая био и избегая конфликта интересов). Чтобы статью одобрили, нужно получить одобрение у (анонимных?) ревьюверов. В то же время комментировать статью может любой участник на любом этапе. Комментарий ни к чему не обязывает авторов публикации.
Вводим новую сущность: эксперимент. Эксперименты существуют не зависимо от публикаций. Публикации содержат в себе эксперименты а также могут наследовать другие публикации. Каждый участник может инициировать проверку воспроизводимости эксперимента, и если он ее не проходит — все связанные с экспериментом публикации и дочерние от них — отзываются.
Ну и так далее, накидать идей можно еще вагон, станет удобно проводить масштабные исследования, в которой участвуют сотни команд, отслеживать воспроизводимость, вводить сложные рейтинги ученых, публикаций и т/д. Думаю такая система дала бы сильный прирост к производительности научной деятельности.
Каким должен быть новый научный хаб? В первую очередь открытым, все что происходит на ресурсе (публикация, история, процесс ревью, результаты экспериментов) свободно доступно всем жителям земли. Это главный постулат.
Для авторов (ученых) необходима регистрация, с заполнением подробного bio (для того, чтобы избежать конфликта интересов при выборе ревьюверов)
Лучшие из лучших, воротилы мира публикации и в то же время открытые к новым веяниям собираются и выбирают новый формат для публикаций: верстка, шрифты, расположение элементов, abstract и прочее. Без исторического легаси. Дизайнят, так, как должен выглядеть материал в интернете в 2020. На выходе получается SciMarkdown. Язык разметки на котором можно написать любую статью, и ее можно будет срендерить и удобно читать.
Все правки по публикации попадают в систему контроля версий без возможности перезаписи истории. Можно заюзать гит, так как у нас есть markdown, я не против :)
У публикации есть статусы. Типа черновик, на ревью, одобрена, отозвана и так далее. Любой участник может проверять воспроизводимость, чем выше рейтинг проверяющего, тем больше общего рейтинга получает публикация.
Администраторы ресурса (кормятся с банерной рекламы или донатов) выбирают ревьюверов (изучая био и избегая конфликта интересов). Чтобы статью одобрили, нужно получить одобрение у (анонимных?) ревьюверов. В то же время комментировать статью может любой участник на любом этапе. Комментарий ни к чему не обязывает авторов публикации.
Вводим новую сущность: эксперимент. Эксперименты существуют не зависимо от публикаций. Публикации содержат в себе эксперименты а также могут наследовать другие публикации. Каждый участник может инициировать проверку воспроизводимости эксперимента, и если он ее не проходит — все связанные с экспериментом публикации и дочерние от них — отзываются.
Ну и так далее, накидать идей можно еще вагон, станет удобно проводить масштабные исследования, в которой участвуют сотни команд, отслеживать воспроизводимость, вводить сложные рейтинги ученых, публикаций и т/д. Думаю такая система дала бы сильный прирост к производительности научной деятельности.
свободно доступно всем жителям земли
У нас есть, условно, американский грантодатель, который вовсе не жаждет вкладывать деньги в работу, доступную «всем жителям земли». Пусть тогда все жители земли в это и вкладываются.
Дизайнят, так, как должен выглядеть материал в интернете в 2020.
Ну, собственно, любой журнал вправе выбрать тот формат, который хочет, никакого «легаси» нет. Это упрощение, но не будем вдаваться в подробности. Скажем так, если вы открываете статью, а там вырвиглаз с точки зрения форматирования — это значит, что у журнала вот такой художественный вкус, да.
Любой участник может проверять воспроизводимость
Это не всегда возможно. Допустим, у меня есть датасет, но я не имею права его выкладывать. Это плохо, такое не любят, но такова жизнь: либо никакого исследования не будет вообще, либо придётся смириться с ограничениями.
все связанные с экспериментом публикации и дочерние от них — отзываются.
Ну тогда я просто ничего наследовать не буду, зачем мне такой риск? Я проведу свой как бы независимый эксперимент, взяв за основу чужой (т.е. copy&paste, а не наследование).
Кстати, вы не думайте, что люди вот так рванутся что-то там воспроизводить, рецензировать и комментировать. Вау, выложили новый эксперимент, а ну давай воспроизведу!!11 Мы же практически все full-time заняты своей работой. Чужое читаем только по мере необходимости (когда это нужно для нас самих и наших возникших вот вчера или сегодня нужд). Рецензируем только когда очень попросят и т.п.
У нас есть, условно, американский грантодатель, который вовсе не жаждет вкладывать деньги в работу, доступную «всем жителям земли». Пусть тогда все жители земли в это и вкладываются.
С американскими грантодателями все очень хорошо, на самом деле. Могу сказать про биологию, в этой области американский National Institutes of Health (NIH) не только финансирует науку в америке, но и поддерживает крупную базу биоинформатических и библиометрических программ, свободно доступную всем.
Так, например, они поддерживают PubMed — программу для поиска статей по ключевым словам (как Scopus, только бесплатная и не требует регистрации). А еще у них есть PubMed Central (PMC) — архив полных текстов статей, выпущенных при поддержке их грантов. Иногда это единственное место, где можно бесплатно скачать полный текст статьи без подписки.
То есть они предоставляют полный доступ ко всем своим ресурсам и текстам, оплаченным налогами США. В Европе тоже так делают, например, EMBL и EMBO, но в меньшем масштабе.
UFO just landed and posted this here
А на чьи деньги банкет?
Сейчас рынок научных публикаций составляет несколько миллиардов долларов. При этом прибыль самых крупных издательств оценивают в 20-30%. Значительная часть этих денег — государственные, выделяемые либо в виде грантов (для журналов открытого доступа), либо в виде оплаты подписки (гранты библиотекам и научным организациям). Если интересен этот вопрос, рекомендую документальный фильм «Paywall: The Business of Scholarship».
То есть деньги в системе есть и немало. Необходима лишь грамотная организация.
«Немало» — это как? Вы же сами сказали, маржинальность 20-30%. Это не очень много.
UFO just landed and posted this here
Не совсем понял, что вы имеет в виду под «региональными журналами». А про спонсирование ученых из других стран вот в этом комментарии я упомянул случай NIH, который обеспечивает свободный доступ ко всей своей информации для всех. А это очень крупная организация в США, то есть в каком-то смысле они тратят свои деньги, чтобы доступ работал по всему миру.
На самом деле, это очень близко к тому, что я хочу предложить. Расскажу об этом во второй части.
Единственно, с проверкой воспроизводимости все не так просто. Она требует времени, компетенций, денег и часто немало. То есть никто не побежит просто так повторять свои или чужие эксперименты. Для этого нужен дополнительный стимул.
Все правки по публикации попадают в систему контроля версий без возможности перезаписи истории.
Абсолюнтно непонятно, зачем всем видеть (а авторам — выкладывать) кучу правок, пока статья в активной работе. А для публичных версий статьи это и так уже есть: в arxiv нельзя удалить/изменить то, что уже выложил, можно только загрузить новую версию.
Я программист, не ученый. Думаю, автору нужно объединиться в компанию с несколькими учеными — энтузиастами и выкатить нечто наподобие технического задания. Тогда мы — программисты, те из нас, кто может и хочет помочь, смогли бы накидать (новую, или модификацию существующей) платформу, которая этому заданию соответствует. Что такая платформа должна уметь делать, как я себе представляю?
- Автоматически форматируемые научные публикации (на языке разметки наподобие latex, markdown, etc), со стандартизованными гиперссылками (внутренними, двусторонними — в рамках платформы, и внешними, односторонними — на ресурсы извне платформы), формулами, иллюстрациями, медиа (аудио, видео).
- Коллективная работа при написании статьи (до публикации) — разделение доступа, история правок, удобное комментирование, планирование работ, утверждение правок, ветвление и слияние
- Развернутая система обсуждения, рецензирования и многоступенчатого подтверждения статуса публикации.
- Система регулирования доступа с полуавтоматическим изменением статуса по совокупности заслуг, голосованию, рекомендациям, репутации и пр.
- Автоматический контроль цитирования, формирование ссылки, оформление цитат, сбор библиографии, антиплагиат
- Тегирование и структурная классификация статей, смешанный поиск с богатым языком запросов, формирование тематических дайджестов, лент событий и пр.
- Инструменты автоматического, полуавтоматического и ручного перевода текста статей с поддержкой связи с источником
- Хорошо определенная структура хранилища, с поддержкой миграции данных, архивирования снимков, распределенного хранения с резервированием, дублированием и прочими механизмами поддержки целостности
Первоначально, система может поддерживаться некоторым количеством ученых-энтузиастов. Основной их задачей будет привлечение коллег к участию в системе на разных ролях, в т.ч. в качестве рецензентов и рекомендателей. После набора критического количества участников, система сможет стать самодостаточной.
Основным стимулом наполнения системы может стать удобство использования, в т.ч. для подготовки публикации в научных журналах.
Источник финансирования — краудфандинг, гранты, оплата публикации
Спасибо за ваш комментарий.
Во второй части я как раз планирую описать уже имеющиеся способы улучшения системы и свое видение решения. Это конечно не техзадание, но я надеюсь, отправная точка для дискуссии.
Оснавная проблема, на мой взгляд, не в идее и даже не в реализации. Научное сообщество очень консервативно. Поэтому привлечь пользователей новой платформе будет сложно, даже если она будет сильно превосходить другие по удобству. У меня есть несколько идей на эту тему, но вопрос все равно очень серьезный и одним махом его не решить.
Буду ждать ваших комментариев во второй части статьи!
Во второй части я как раз планирую описать уже имеющиеся способы улучшения системы и свое видение решения. Это конечно не техзадание, но я надеюсь, отправная точка для дискуссии.
Оснавная проблема, на мой взгляд, не в идее и даже не в реализации. Научное сообщество очень консервативно. Поэтому привлечь пользователей новой платформе будет сложно, даже если она будет сильно превосходить другие по удобству. У меня есть несколько идей на эту тему, но вопрос все равно очень серьезный и одним махом его не решить.
Буду ждать ваших комментариев во второй части статьи!
Я даже когда-то написал эссе на эту тему.
osf.io/preprints/lissa/9sq7t
Очень интересная история. Основная проблема — это обратная совместимость. Все уже заточено под старые лекалы и переход на новый порядок должен быть плавным. Я попытался в своем тексте придумать как это провернуть так, чтобы нам всем не начинать новую жизнь со следующего понедельника (что никогда не работает). Может вам будет интересно.
osf.io/preprints/lissa/9sq7t
Очень интересная история. Основная проблема — это обратная совместимость. Все уже заточено под старые лекалы и переход на новый порядок должен быть плавным. Я попытался в своем тексте придумать как это провернуть так, чтобы нам всем не начинать новую жизнь со следующего понедельника (что никогда не работает). Может вам будет интересно.
Да, я думаю, что революция тут невозможна (да и нежелательна), вы должны встроить свои идеи в существующий процесс, заинтересовав всех участников. И такие истории успеха же есть, например, PeerJ — с нуля построили журнал на достаточно нетрадиционных принципах. С одной стороны, завлекают быстрым рецензированием и «человеческим», клиенто-ориентированным подходом, с другой — «подсаживают» с помощью системы членства, благодаря которому можно публиковаться бесплатно. И что, постепенно раскрутили, уже находятся в индексе SCI-E (а вот PeerJ Computer Science ещё год назад был в Emerging Sources, а теперь тоже в SCI-E, молодцы).
Основная проблема все-таки не консерватизм. Это система непрерывной верификации материалов. Мы довольно много думали на эту тему и некоторые решения выработали. Единственный вариант, в котором оно может полететь хорошо и быстро я вижу следующим образом: сама платформа представляет собой препринт сервер, на который можно загрузить работы с минимальной фильтрацией. При этом в отличие от arxiv должна быть система публичных и приватных комментариев с модерацией. Нужно продумать сложную систему правил и градаций прав пользователей таким образом, чтобы видны были только адекватные комментарии адекватных пользователей. Также пользователи с определенными правами могут оставлять анонимные и публичные оценки работа. Работа, набравшая определенный рейтинг (или работа автора с некоторым рейтингом) может быть подана на peer review, который делается в той же системе и пользователями этой же системы. При этом должны быть соблюдены все правила (отсутствие конфликта интересов, квалификация и т. д.). После прохождения ревью, статья может получить статус опубликованной и попасть в систему индексации типа Scopus. Вероятно нужен еще один статус между препринтом и публикацией — верифицированная статья. То есть некоторый документ, который не содержит глупости и является научным, но при этом все еще не готовая публикация.
В общем много про это думали и готовы поделиться наработками. Не готов читать все комментарии на хабре, так что пишите лично, если интересно.
В общем много про это думали и готовы поделиться наработками. Не готов читать все комментарии на хабре, так что пишите лично, если интересно.
Ваша концепция звучит интересно. Но для меня основной вопрос заключается в том, как что-нибудь подобное внедрить?
Именно как препринт архив. Их сейчас очень не много. На основе архива препринтов можно делать формальных журнал. Делать свой журнал с нуля не реально. А вот делать журнал на основе готовой базы публикаций вполне реально. Но я повторюсь: балансировка прав и репутаций, а также прозрачная организация peer review — это самые сложные моменты.
Научное сообщество консервативно в вопросе выбора журналов, потому что это имеет смысл.
Первая предпосылка--хватает людей, которые ради славы или известности и/или денег или из-за честолюбия готовы публиковать ложные, ошибочные или непроверенные результаты. Вспомним Петрика, хотя бы (это случай наживы, когда на псевдонауке можно заработать).
Вторая предпосылка--люди не готовы перепроверять каждый результат. В идеале вы хотите доверять результатам. Проверка результатов, особенно в естественных науках--это долго, дорого, и не принесет вам новых грантов. Конечно, есть области, в которых сразу можно легко сказать, что результаты выглядят очень подозрительными, но далеко не везде.
Третья предпосылка: у новых журналов, наоборот, есть большой соблазн публиковать недобросовестные исследования, чтобы завоевать аудиторию и заработать денег. Почитайте про это швейцарское издательство, к примеру: MDPI
Поэтому люди настороженно относятся к новым журналам. С большой вероятностью, в них будет публиковаться мусор. И разоблачение мусора займет большое время. Поэтому сообщество консервативно и опирается на репутацию журналов и исследователей, и это, мне кажется, очень, очень правильно и хорошо.
Я согласен, что публикации должны проверяться рецензентами, иначе нельзя будет доверять статьям.
Однако, мне кажется, что многие новые журналы ответственны, и новый совершенно не означает — плохой. В этом вопросе консервативность я считаю неполезной, так как журналы политику которых я поддерживаю (например, eLife) имеют более низкий импакт-фактор (чем, например, журналы Cell press). Поэтому с точки зрения CV я не могу подать статью в eLife, если есть возможно подать ее выше. То есть такая консервативность тормозит развитие системы, и не сильно замедляет и без того небыстрый прогресс.
С вашим тезисом номер два я тоже согласен. Но только по состоянию на текущий момент. Если мы не хотим усугубления кризиса воспроизводимости, нам необходимо выдавать гранты и публиковать воспроизведение опубликованных работ.
Однако, мне кажется, что многие новые журналы ответственны, и новый совершенно не означает — плохой. В этом вопросе консервативность я считаю неполезной, так как журналы политику которых я поддерживаю (например, eLife) имеют более низкий импакт-фактор (чем, например, журналы Cell press). Поэтому с точки зрения CV я не могу подать статью в eLife, если есть возможно подать ее выше. То есть такая консервативность тормозит развитие системы, и не сильно замедляет и без того небыстрый прогресс.
С вашим тезисом номер два я тоже согласен. Но только по состоянию на текущий момент. Если мы не хотим усугубления кризиса воспроизводимости, нам необходимо выдавать гранты и публиковать воспроизведение опубликованных работ.
Кстати, я работаю с MDPI и считаю, что они в целом большие молодцы (не в этих конкретно случаях, конечно). Да, они срезают углы периодически, но, вообще говоря, они показывают, как решить проблему курицы и яйца. Хорошие учёные печатаются в хороших журналах, и стало быть, совершенно непонятно, как можно раскрутить журнал с нуля. Вот благодаря разным способам «на грани фола» они это успешно делают, и ряд их журналов уже очень даже неплохо выглядит.
Можете рассказать подробнее?
И как они решили проблему входа, и что за приемы на грани фола.
Читаю про них статью в Википедии, но пока не очень понял, о чем идет речь.
И как они решили проблему входа, и что за приемы на грани фола.
Читаю про них статью в Википедии, но пока не очень понял, о чем идет речь.
По вики — самые обыкновенные дрязги: где-то пропустили бредовую статью, где-то неаккуратно отрецензировали и т.п.
По факту. Для начала, они не швейцарцы, а китайцы. То есть они работали над своим брендом, всячески подчёркивая, что они «швейцарское издательство». Ну да, на грани, но они же не виноваты, что китайцам не доверяют.
Далее, у них стандартная практика — спамить людям, чей h-индекс лучше среднего индекса публикуемых в конкретном журнале. Им предлагают сделать special issue, обещают скидки, бесплатную публикацию и т.п. Работают над соцсетью: публикуешься у нас, приведи товарища. Приведи товарища с высоким h-индексом — опубликуем бесплатно, а тебе ещё купон дадим. Ты наш рецензент/редактор/автор? Напиши об этом у себя в фейсбуке, дай знать друзьям. Ты был наш рецензент? Посоветуй коллегу, который мог бы быть рецензентом вот по такой-то теме. Не можешь написать в наш журнал статью сегодня? Не проблема, мы тебя пинганём через пару месяцев.
Иными словами, ничего хитрого, обычная социальная инженерия (не сказать, что слишком агрессивная, но настойчивая) + гибкая система скидок. Быстро рецензируют (хотя всякое бывает). Индекс журнала растёт — тут же повышают цены, а доходы, видимо, направляют на более слабые свои журналы.
По факту. Для начала, они не швейцарцы, а китайцы. То есть они работали над своим брендом, всячески подчёркивая, что они «швейцарское издательство». Ну да, на грани, но они же не виноваты, что китайцам не доверяют.
Далее, у них стандартная практика — спамить людям, чей h-индекс лучше среднего индекса публикуемых в конкретном журнале. Им предлагают сделать special issue, обещают скидки, бесплатную публикацию и т.п. Работают над соцсетью: публикуешься у нас, приведи товарища. Приведи товарища с высоким h-индексом — опубликуем бесплатно, а тебе ещё купон дадим. Ты наш рецензент/редактор/автор? Напиши об этом у себя в фейсбуке, дай знать друзьям. Ты был наш рецензент? Посоветуй коллегу, который мог бы быть рецензентом вот по такой-то теме. Не можешь написать в наш журнал статью сегодня? Не проблема, мы тебя пинганём через пару месяцев.
Иными словами, ничего хитрого, обычная социальная инженерия (не сказать, что слишком агрессивная, но настойчивая) + гибкая система скидок. Быстро рецензируют (хотя всякое бывает). Индекс журнала растёт — тут же повышают цены, а доходы, видимо, направляют на более слабые свои журналы.
Не можешь написать в наш журнал статью сегодня? Не проблема, мы тебя пинганём через пару месяцев.
да, мне регулярно приходит от них подобные предложения
Быстро рецензируют
в нынешних условиях это огромный плюс — твоя статья может у них выйти за 2-3 недели с момента подачи, пока в «обычных» журналах на это уйдет от нескольких месяцев до года
Индекс журнала растёт — тут же повышают цены, а доходы, видимо, направляют на более слабые свои журналы.
подозреваю, что примерно так оно и есть
по их журналам в моей предметной области можно выделить 3 группы:
1. Недавно созданные, не входят никуда — бесплатны
2. Журнал входит в WoS/Scopus — ценник в 1000 CHF
3. Журнал входит в WoS/Scopus, имеет нормальный импакт и квартиль — ценник 1800-2000 CHF
Мне кажется, что проблема качества статей в общем виде никак не решается. И источником этой проблемы мне видится отсутствие заказчика статьи, который напрямую заинтересован в результатах.
Как работает большинство университетов: государство собирает налоги, какой-то процент из них решает выделить "науке". Эти деньги нельзя не потратить, поэтому на них содержится армия генераторов научных статей, единственная цель которых — отчитаться за трату грантов, а сделать это можно только путем публикации статьи. Статья выходит, грант обоснован, все счастливы, а статья никому не нужна (за редких исключением от талантливых авторов).
В успешных с точки зрения науки странах есть система регуляции, которая препятствует описанному эффекту.
1) Есть конкурентный отбор учёных на постоянные позиции. Профессорами в основном становятся те, кто показал, что они по убеждениям будут заниматься «хорошей» наукой. Даже без дополнительный стимулов, это их способ самореализации, либо они тщеславны — жаждут научного призвания, славы. Понятно, что это далеко не идеально работает, но всё же работает.
2) Гранты дают не за любые статьи а за те, которые кому-то интересны. Интересность оценивается цитированием. Цитирование можно накручивать, но не сильно или недолго — это распознают и учёный утратит репутацию. Испорченная репутация — это конец карьеры учёного.
3) Если учёный не опубликовал ничего, что интересует других учёных (начинающий или разленился) — в следующий раз получить грант намного труднее.
1) Есть конкурентный отбор учёных на постоянные позиции. Профессорами в основном становятся те, кто показал, что они по убеждениям будут заниматься «хорошей» наукой. Даже без дополнительный стимулов, это их способ самореализации, либо они тщеславны — жаждут научного призвания, славы. Понятно, что это далеко не идеально работает, но всё же работает.
2) Гранты дают не за любые статьи а за те, которые кому-то интересны. Интересность оценивается цитированием. Цитирование можно накручивать, но не сильно или недолго — это распознают и учёный утратит репутацию. Испорченная репутация — это конец карьеры учёного.
3) Если учёный не опубликовал ничего, что интересует других учёных (начинающий или разленился) — в следующий раз получить грант намного труднее.
2) Конкретно в России — не цитированием, а уровнем публикации. Никого не волнуют твои опусы на архиве, имеющие по 10к цитирований. А вот статья в халявном переводном сборнике с одними самоцитированиями — это WoS, это круто.
arxiv без публикации в журнале и тысячи цитирований — это всё-таки редкие исключения (можете, кстати, ссылку скинуть?). А «халявный переводной сборник» в Q1 не будет входить, и за статью в нём даётся существенно меньше баллов по сравнению с хорошим журналом.
Ну вот пример:
https://scholar.google.com/citations?user=xegzhJcAAAAJ
Интересно, почему таки не опубликовали ни в каком журнале эти статьи. Возможно, они работают в индустрии, а не академии — и тогда формальная публикация может иметь не так много смысла.
Возможно, они работают в индустрии, а не академии — и тогда формальная публикация может иметь не так много смысла.
Да, он работает в Google. Просто вот такой интересный момент: учёный, не связанный обязательствами, просто распространяет знания, а не публикуется ради факта публикации.
учёный, не связанный обязательствами, просто распространяет знания, а не публикуется ради факта публикации.
Одно другому не мешает. Просто для публикации в журнале нужно проделать ещё некоторые действия после её выкладывания на архив, и если у человека нет никакой мотивации получить статью в журнале, то он это делать и не будет — всё логично.
Но повторюсь, что это редкие случаи. Даже по вашей ссылке две первые (топовые) статьи опубликованы в журналах.
Даже по вашей ссылке две первые (топовые) статьи опубликованы в журналах.
Нет. Advances in neural information processing systems — труды конференции. А вот Journal of Machine Learning Research — довольно необычный журнал из Q1, именно такими и должны стать современные журналы (свободный доступ, авторское право не переходит издательству, а сохраняется за авторами).
Проблемы научных публикаций