Comments 29
Сегодня научное сообщество оценивает учёных не по результатам работы, а исключительно по количеству публикаций, и желательно, чтобы публикации были в известных мировых журналах. Вот и получается, что ученые работают не надо теми темами, которые им интересны, а над теми, которые проще опубликовать. В результате, 90% данных в научных работах не воспроизводится и часто результаты подгоняются.
"-В результате, 90% данных в научных работах не воспроизводится"
90% — вы сами насчитали?
«часто результаты подгоняются»
противоречите сами себе, — если они не воспроизводятся, то зачем их подгонять?
90% — вы сами насчитали?
«часто результаты подгоняются»
противоречите сами себе, — если они не воспроизводятся, то зачем их подгонять?
Про 90% — это из журнала Nature. http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970
А про подгон и воспроизводимость приведу пример: допустим, эксперимент был проведён при повышенной температуре, чтобы улучшить какие-то параметры, и это не было указано в описании эксперимента. В результате при комнатной температуре данные не воспроизводятся.
А про подгон и воспроизводимость приведу пример: допустим, эксперимент был проведён при повышенной температуре, чтобы улучшить какие-то параметры, и это не было указано в описании эксперимента. В результате при комнатной температуре данные не воспроизводятся.
«это из журнала Nature. http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970»
по указанной ссылке при поиске CTRL+F величина 90% встречается всего один раз, причем в контексте, абсолютно не связанном с Вашим утверждением, так что с аргументацией у Вас совсем никак…
а по поводу примера «подгона», то тут Вы путаете воспроизводимость и подгон результатов измерений
по указанной ссылке при поиске CTRL+F величина 90% встречается всего один раз, причем в контексте, абсолютно не связанном с Вашим утверждением, так что с аргументацией у Вас совсем никак…
а по поводу примера «подгона», то тут Вы путаете воспроизводимость и подгон результатов измерений
«В исследованиях по онко-биологии воспроизвести смогли лишь 10 % данных»
но исследования в онко-биологии — это же не ВСЕ в совокупности научные исследования, вы же пишете — «90% данных в научных работах не воспроизводится», не упоминая, что это относится к онко-биологии.
Из наших учёных кто-то писал, что ПО, алгоритмы обработки результатов, вспомогательные решения часто в статьях не упоминаются и частенько даже при личном обращениии не сообщаются, или за отдельную плату.
Ну, пока лучше существующей системы нет. На перспективные темы легче публиковать, потому что они интересны сообществу. Учёные стремятся отправлять статьи в рейтинговые журналы, потому что публикация там означает, что работа выполнена на уровне и актуальна. Кроме того, в хорошем журнале она с бОльшей вероятностью будет прочитана и развита. «Оценивать учёных по результатам работы»? А это как? Поясните.
тут самое главное, что к оценке результатов работы допускаются не только узкий круг экспертов, а возможность оценки результатов со стороны любого специалиста, хотя тут также возникает опсность «троллинга» и «сведения счетов», впрочем как и при исользовании экспертов
Отрицательный результат многолетнего исследования (например, «синтезировать X методом Y невозможно») — результат работы, который помог бы многим учёным избежать потери времени на ненужные исследования. Но подобные результаты публикуются очень и очень редко (по моему субъективному мнению, так как в своей области таких статей не видела ни разу, хотя такие статьи могли бы помочь даже гораздо больше, чем феноменальные результаты).
Это известная проблема. Вот тут есть перевод любопытной статьи на эту тему.
Отрывок
Всего в статье анализируется 7 основных проблем современного научного сообщества с попытками найти выход из каждого тупика.2. Слишком много исследований неверно задуманы с самого начала. Причина этому — дурные побуждения
В конечном счете работу ученых оценивают по тому, что они публикуют. И такого рода давление заставляет их придумывать ошеломляющие результаты — такие, которые обеспечат им страницу в престижных журналах. «Волнительные, инновационные результаты публикуются чаще всех остальных», — поясняет Брайан Носек, один из основателей Центра открытой науки в Университете Вирджинии.
Проблема заключается в том, что по-настоящему революционные открытия происходят редко, а это означает, что на ученых давит задача перекроить свои исследования так, чтобы они получались немного более «революционными». (Примечание: многие из ученых, отметивших именно эту проблему, работают в области биомедицины и социальных наук).
Многие респонденты отметили, что извращенные стимулы также могут толкать ученых на откровенную халтуру в процессе анализа результатов исследований.
«Я постоянно испытываю невероятный стресс, когда представляю, что после анализа результатов они не будут выглядеть достаточно значимыми для сильной публикации. А если я продолжаю работать с заурядными результатами, я буду чувствовать невероятное давление, потому что должен буду представить это как хороший результат, чтобы исследование было востребованным. Сейчас, со всеми этими мыслями в голове, я начинаю задумываться, смогу ли я выполнить честную и трезвую оценку своего исследования», — делится своими переживаниями Джесс Кауц, аспирант в Университете Аризоны.
В конечном счете работу ученых оценивают по тому, что они публикуют. И такого рода давление заставляет их придумывать ошеломляющие результаты — такие, которые обеспечат им страницу в престижных журналах. «Волнительные, инновационные результаты публикуются чаще всех остальных», — поясняет Брайан Носек, один из основателей Центра открытой науки в Университете Вирджинии.
Проблема заключается в том, что по-настоящему революционные открытия происходят редко, а это означает, что на ученых давит задача перекроить свои исследования так, чтобы они получались немного более «революционными». (Примечание: многие из ученых, отметивших именно эту проблему, работают в области биомедицины и социальных наук).
Многие респонденты отметили, что извращенные стимулы также могут толкать ученых на откровенную халтуру в процессе анализа результатов исследований.
«Я постоянно испытываю невероятный стресс, когда представляю, что после анализа результатов они не будут выглядеть достаточно значимыми для сильной публикации. А если я продолжаю работать с заурядными результатами, я буду чувствовать невероятное давление, потому что должен буду представить это как хороший результат, чтобы исследование было востребованным. Сейчас, со всеми этими мыслями в голове, я начинаю задумываться, смогу ли я выполнить честную и трезвую оценку своего исследования», — делится своими переживаниями Джесс Кауц, аспирант в Университете Аризоны.
Оригинал для тех, кто предпочитает английский язык русскому.
Вообще проблема сложная.
С одной стороны, графики фотошопят, чтобы более лучше выглядели. И это факт.
С другой стороны, «аноним», кричащий «график зафотошоплен», может реально угробить карьеру, даже если криминала на самом деле не было. «Тут-то мне карта и пошла», ага. Как сегодня с отзывами в яндекс-маркете.
Я бы на месте пабпирсов не стал бы упираться и явно внёс юлу пункт про то, что вы можете писать анонимно, но будете деанонимизированы по запросу суда. Т.е. анонимность даёт иммунитет против внутринаучных разборок, но не против общегражданских.
С одной стороны, графики фотошопят, чтобы более лучше выглядели. И это факт.
С другой стороны, «аноним», кричащий «график зафотошоплен», может реально угробить карьеру, даже если криминала на самом деле не было. «Тут-то мне карта и пошла», ага. Как сегодня с отзывами в яндекс-маркете.
Я бы на месте пабпирсов не стал бы упираться и явно внёс юлу пункт про то, что вы можете писать анонимно, но будете деанонимизированы по запросу суда. Т.е. анонимность даёт иммунитет против внутринаучных разборок, но не против общегражданских.
Хмм, мне почему-то кажется, что как только человек начал мухлевать в своей научной работе, то жалеть его не стоит. Не должны же «понять и простить», раз он ради карьеры то не щадил себя и свою совесть?
UFO just landed and posted this here
Ну представьте. Вот есть у учёного недоброжелатель. Ну, кто-то кого-то обошёл при получении гранта/работы или бабу там не поделили. И вот недоброжелатель под каждой статьёй пишет анонимные комментарии в духе «график выглядит отфотошопленным», «статистическая значимость не показана» и прочие формальные придирки даже не к содержанию, а к оформлению. По факту он ничего такого не видит на самом деле, просто троллит.
При этом нормальное опровержение таких выпадов по объёму может быть больше самой статьи. Потому что нужно выкладывать сырые данные, детально описывать принципы их отбора, делать многостраничные «арифметические» выкладки и т.д. При этом в медицине, например, «сырые данные» — это истории болезней, т.е. конфиденциальная информация, охраняемая врачебной тайной. И публиковать их нельзя.
Сравните усилия на бремя доказательства с усилиями тролля.
С другой стороны, «подгонщиков» ловить тоже как-то надо.
При этом нормальное опровержение таких выпадов по объёму может быть больше самой статьи. Потому что нужно выкладывать сырые данные, детально описывать принципы их отбора, делать многостраничные «арифметические» выкладки и т.д. При этом в медицине, например, «сырые данные» — это истории болезней, т.е. конфиденциальная информация, охраняемая врачебной тайной. И публиковать их нельзя.
Сравните усилия на бремя доказательства с усилиями тролля.
С другой стороны, «подгонщиков» ловить тоже как-то надо.
Вы считаете адекватным фотошопить графики в научных исследованиях?
> Трусы, размещающие анонимные обвинения, больше заслуживают защиты, потому что они боятся преследований – но они без сомнений уничтожают карьеры так, как это произошло с доктором Саркаром, действуя из засады. Это лицемерие.
Вообще то говоря — этот исследователь рака может попасть в ещё худшую ситуацию, чем карьерные проблемы: его «исследования» наверняка использовались в подготовке медицинских методик лечения рака, используемых в здравоохранении различных стран — как только кому нибудь придёт в голову прикинуть, скольких человек он мог угробить по всему миру, а затем и найти конкретных родственников людей, умерших от такого «лечения» — вопрос будет стоять уже только о том, сколько лет тюрьмы ему выдать по «заслугам» в деле здравоохранения — 15, 25 или 40?
Любые решения принимаемые врачом фиксируются в истории болезни, но врач работает именно по разработанным методикам а не наобум, поэтому, если будут найдены решения врачей, принятые на основании положений методик лечения, в свою очередь, основанных на работах этого человека, приведшие к смерти онкопациентов — можно закрывать дискуссию о научной совести и открывать уголовный процесс.
Вот и получается, что лучше действительно иметь и защищать лицемерных, действующих из засады трусов.
Вообще то говоря — этот исследователь рака может попасть в ещё худшую ситуацию, чем карьерные проблемы: его «исследования» наверняка использовались в подготовке медицинских методик лечения рака, используемых в здравоохранении различных стран — как только кому нибудь придёт в голову прикинуть, скольких человек он мог угробить по всему миру, а затем и найти конкретных родственников людей, умерших от такого «лечения» — вопрос будет стоять уже только о том, сколько лет тюрьмы ему выдать по «заслугам» в деле здравоохранения — 15, 25 или 40?
Любые решения принимаемые врачом фиксируются в истории болезни, но врач работает именно по разработанным методикам а не наобум, поэтому, если будут найдены решения врачей, принятые на основании положений методик лечения, в свою очередь, основанных на работах этого человека, приведшие к смерти онкопациентов — можно закрывать дискуссию о научной совести и открывать уголовный процесс.
Вот и получается, что лучше действительно иметь и защищать лицемерных, действующих из засады трусов.
Цитата беспрестрастного ученого, стремящегося к истине, однозначно…
По мне, так настоящее лицемерие — это гнать халтуру в журналы, а потом обвинять тех, кто пытается указать на проблемы. Я вообще не понимаю, какая разница, кто написал критический комментарий, если его можно проверить?
Всю свою историю наука стремилась уйти от субъективных оценок в пользу объективных фактов. А теперь начинают говорить о трусости. Давайте еще приплетем веру и скрепы, чтобы наверняка.
Ну и то что вы пишете тоже верно, конечно.
По мне, так настоящее лицемерие — это гнать халтуру в журналы, а потом обвинять тех, кто пытается указать на проблемы. Я вообще не понимаю, какая разница, кто написал критический комментарий, если его можно проверить?
Всю свою историю наука стремилась уйти от субъективных оценок в пользу объективных фактов. А теперь начинают говорить о трусости. Давайте еще приплетем веру и скрепы, чтобы наверняка.
Ну и то что вы пишете тоже верно, конечно.
«В октябре 2014 года Стенфордский центр по долголетию и Институт Макса Планка по человеческому развитию опубликовали открытое письмо, подписанное международной группой из более 70 психологов и неврологов. Оно оспаривает заявление о том, что курсы и игры для развития мозга представляют научно обоснованное средство уменьшить или обратить снижение когнитивных способностей». В письме учёные обращают внимание, что на самом деле нет ни одного научного исследования, которые подтверждают положительный эффект от головоломок в реальной жизни. В ответ на это в декабре 2014 года группа из 133 учёных и терапевтов опубликовали другое открытое письмо, в котором утверждают прямо противоположное: что появляется всё большее количество исследований, подтверждающих, что определённые когнитивные задачи могут значительно улучшить когнитивные функции. Во втором письме, однако, учёные повторили тезис, что заявления о пользе головоломок для мозга «часто преувеличены и вводят в заблуждение».
Хотя две группы учёных в чём-то согласились между собой, но как вообще авторитетные специалисты, изучив одни и те же научные исследования, могли придти к противоположным выводам об эффективности упражнений для мозга?»
https://geektimes.ru/post/281316/
Похоже, проблемы есть не только с воспроизводимостью исследований, но и с осмыслением их результатов...:)
Хотя две группы учёных в чём-то согласились между собой, но как вообще авторитетные специалисты, изучив одни и те же научные исследования, могли придти к противоположным выводам об эффективности упражнений для мозга?»
https://geektimes.ru/post/281316/
Похоже, проблемы есть не только с воспроизводимостью исследований, но и с осмыслением их результатов...:)
Возможно, если бы критерием принятия на работу исследователей были бы не их публикации а подтверждения полученных результатов независимыми исследователями (например, проживающими в другой стране или на другом континенте) тогда бы:
А) не было бы проблем с методологией и воспроизводимостью — не смогли воспроизвести эксперименты — значит не подтвердили его;
Б) научные издания заняли бы подобающее им место простых распространителей информации;
В) это привело бы к тенденции автоматически концентрировать почти всех исследователей и почти все деньги на «участках прорыва» на научном фронте: грубо говоря, минимум только 150+ академиков мира на километр окопов на участке прорыва, не считая прочей «пехоты» и 90-95 % месячного мирового научного бюджета концентрируется на считанные месяцы на важном участке исследований, который вот вот даст важные достижения. Концентрация денег и спецов будет сопоставима со многими оборонными проектами.
А) не было бы проблем с методологией и воспроизводимостью — не смогли воспроизвести эксперименты — значит не подтвердили его;
Б) научные издания заняли бы подобающее им место простых распространителей информации;
В) это привело бы к тенденции автоматически концентрировать почти всех исследователей и почти все деньги на «участках прорыва» на научном фронте: грубо говоря, минимум только 150+ академиков мира на километр окопов на участке прорыва, не считая прочей «пехоты» и 90-95 % месячного мирового научного бюджета концентрируется на считанные месяцы на важном участке исследований, который вот вот даст важные достижения. Концентрация денег и спецов будет сопоставима со многими оборонными проектами.
В перспективе такой механизм качественного и независимого рецензирования может заменить дорогие научные журналы и сделать ненужными гигантов индустрии вроде Elsevier. А тогда доступ к свежим научным публикациям станет проще, быстрее и дешевле.
Тэги порадовали
https://www.youtube.com/watch?v=R0DnnPjxr6Y Veritasium: большинство опубликованных исследований ошибочны?
Sign up to leave a comment.
PubPeer как инструмент анонимной экспертной оценки