Комментарии 18
Интересно — это исследование воспроизводимо? ;)
Выглядит как легковоспроизводимым. Хоть конечно для точного ответа нужно читать оригинальную статью. Проблема может быть в их определении воспроизводимости статей
Если ошибок нет — то сколько не смотри на те же исследования, другой результат не получишь.
Это качественно другая проблема — можно собрать воспроизводимые данные, а потом на их основе сделать неверные выводы. И такие ошибки тоже случаются, и они тоже опасные, конечно.
Чтобы сразу было видно, например, что некая научная работа ссылается на 50 других научных работ, из которых у 29 результаты пытались воспроизвести, но не получилось, а у 20 никто и не пытался.
А то у них там явно бардак какой-то, идущий ещё со времён эпохи возрождения. Информатизация науку затронула только в том смысле, что учёные начали пользоваться интернетом, как огромной библиотекой. Смешно, но товары в интернет-магазинах упорядочены и каталогизированы куда лучше, чем научные статьи.
Это было бы неплохо. Но упорядочить товары в интернет-магазине гораздо проще. Систематизация научной информации - это очень сложная задача, которую пока никто не знает, как решить.
Но соглашусь с вами, консервативность научного сообщества играет здесь немалую роль.
Древовидный поиск неудобен. Современные системы поиска прекрасно ищут работы по ключевым словам. А вот чего научным работам не хватает, так это возможности комментирования и диалога с автором. Вот на Хабре, например, комментарии зачастую полезнее самой статьи выходят.
Разумеется, если я налажал, — это будет видно.
Если сильно налажали, и рецензенты сильно в теме — то они среагируют. Если сильно налажали, но кажется, что методически всё ОК — вот она — статья с новым эффектом и невоспроизводимым результатом. Налажали, но несильно — никто не узнает. Увы — истина неизвестна никому!
А если эксперимент был проведён в единичном экземпляре, то даже если он был удачен — то это ещё неподтверждённая истина.
Тот же бозон Хиггса станет окончательно истинным не при постройке второго БАКа, а когда его начнут использовать для получения и изучения новых свойств известных частиц или хотя бы для подтверждения/уточнения существующих.
Соответственно, все они могут, в той или иной степени, оценить результаты вашего труда (в той области, в которой они компетентны)Я понимаю, о чем Вы говорите. И все это так. Но ведь, как я понял, речь идет не о «понимании», а о «воспроизводимости». Понять мои работы специалисту не так сложно. А воспроизвести результаты — теоретически можно, а вот практически — нет. Я просто привел пример, не вдаваясь в некую околонаучную философию. По моему скромному мнению, наука по необходимости устроена так, что многое держится, как это ни странно, на репутации и доверии. Если мы сейчас бросимся друг друга проверять, будет свалка. Я давно работаю в своей области, и в этой узкой области имею пусть скромное, но имя. С какого перепуга я начну лажать? Разумеется, никто не идеален. Поэтому приходится 10 раз проверять и перепроверять. Существуют семинары, ученые советы, аттестации и подобные институты, где я должен время от времени выступать, излагать и отчитываться. Это отвлекает, но оно необходимо. Гарантирует ли это все что-то? Конечно, нет. Но и воспроизводить мою работу никто не станет.
А зачем новый коллайдер? И что на нынешнем вам не дадут проверить? Откуда вы знаете, что никто(ученые из разных стран) не перепроверял на нем же?
Напишу про свою область (обработка изображений).
Хорошо написанная статья иногда имеет меньшие шансы пройти peer review, чем статья немного мутная. Рецензирование делается на добровольных началах. Если статья рецензенту понятна, то у рецензентов будет много замечаний, автор задолбается их исправлять, и статью не примут. Если же статью понять довольно сложно, то у рецензента просто не будет времени, чтобы вникнуть в неё, и он оценит её по формальным признакам, а не по содержанию. Рецензент не будет перепроверять результаты, а просто поверит указанным в работе цифрам.
В статьях зачастую скрываются нюансы алгоритмов и технические детали реализации из-за ограничений на размер статей. Потому что описать идею алгоритма можно красиво на полстраницы, а расписать нюансы его применения, чтобы он был воспроизводим — это куча деталей ещё на несколько страниц. В лучшем случае авторы просто прикладывают код без комментариев. В худшем (как пару раз делал я) — описывал один вариант алгоритма, а результаты прикладывал от более новой версии алгоритма, когда не оставалось времени, чтобы поправить текст в статье.
Распространение нейронных сетей подняло кризис воспроизводимости на новый уровень. Если раньше ценность представлял сам алгоритм, то сейчас — исходные данные и обученные модели. Сам процесс обучения включает в себя рандом, кучу настраиваемых параметров, из-за чего даже при наличии исходных данных получить похожий результат обучения является затруднительным.
Новый кризис воспроизводимости в науке: чем сомнительней результаты, тем чаще их цитируют