Результаты многих исследований по психологии и социологии не поддаются воспроизведению и могли быть подделаны

    Из сотни исследований воспроизвести результаты удалось только для половины



    imageГруппа исследователей проекта «Воспроизводимость» выбрала сотню из более двух тысяч социологических и психологических исследований и воспроизвела их. Схожие с оригинальными работами результаты удалось получить только в половине случаев, сообщает ТАСС.

    Таким образом, авторы оригинальных работ нарушили одно из основных требований, предъявляемых к научным исследованиям и публикациям — воспроизводимость результатов. В идеале, исследование должно быть проведено таким образом, чтобы при его полном воспроизведении, с использованием тех же исходных данных и методов, проверяющие получили бы точно такой же результат.

    Участники исследования по проверке результатов выбрали сотню из более чем двух тысяч научных работ, опубликованных в трех ведущих научных психологических журналах в 2008 году. Исследование проводилось с ноября 2011 по декабрь 2014 года.

    image
    Руководитель Брайн Нозек и другие участники проекта «Воспроизводимость»

    В результате проверки группа из 270 ученых (на фото выше не вся команда, а лишь малая часть) по всему миру пришла к выводу, что сложнее всего воспроизводятся статистически малозначимые, а так же неожиданные результаты. В ходе своей работы группа тесно сотрудничала с авторами оригинальных публикаций для того, чтобы с точностью повторить их исследования.

    В тоже время проверяющие пытаются оправдать коллег. По их словам, невоспроизводимость результата не означает того, что в работе содержится ошибка — психология очень тонкая в этом плане научная область и трудности в повторении исследования и получении таких же результатов имеют место быть.
    Поделиться публикацией
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 44

      +13
      А потом окажется, что исследование воспроизводимости исследований тоже не воспроизводится. «Ровно 83% статистических чисел берутся из головы».
        +1
        Опровергнуть получится, только если на проверке этих 100 тестов будет достигнут другой процент воспроизводимости.
          +4
          А вдруг просто менталитет изменился и потому результаты?
            –3
            Менталитет — индивидуальный термин, статистика — групповой.
          0
          Знаете, данные на полу не валяются!
          Приходится брать их с потолка.
          +4
          Для меня всегда подозрительны фотографии, когда все на них улыбаются…

          Вообще, жизнь меняется, и, думаю, люди тоже изменились. Насколько старые исследования они пытались повторить?
            +2
            Участники исследования по проверке результатов выбрали сотню из более чем двух тысяч научных работ, опубликованных в трех ведущих научных психологических журналах в 2008 году. Исследование проводилось с ноября 2011 по декабрь 2014 года.
              +4
              Для меня всегда подозрительны фотографии, когда все на них улыбаются…
              Дада! Статистически крайне маловероятно, что бы 100% присутствующих на фотографии людей одновременно улыбнулись, ведь по статистике человек улыбается не так уж и часто!
              Что-то тут не то с улыбками на фотографиях.
                +17
                Я вам больше скажу, что-то не так с наличием людей на фотографиях, ведь куда больше безлюдных мест, чем мест, где есть люди, значит, по статистике, шанс запечатлеть на фото человека очень мал!
                  0
                  И есть что-то подозрительное с тем, что на фотографии так много материи, ведь обычная концентрация материи во Вселенной гораздо меньше…
              +6
              Пусть попробуют воспроизвести ещё раз. Успешно прошедших оба испытания работ будет 25%.
                0
                Психология, социология, наука, воспроизводимость, закономерности, научный подход и другие слабо связанные ключевые фразы.

                Подождите, а разве не принято сначала ждать подтверждения какого-то явления, полученного от других коллективов, на другом оборудовании и т.п.?
                Как с этим дело обстоит в социологии и психологии?
                  +3
                  Очень просто там все обстоит.
                  Получил интересные результаты — беги писать статью про эту тему.
                  И не вздумай повторять эксперимент, интересные результаты могут не повториться.

                  Объективная повторимость приветствуется в технических дисциплинах.
                  • НЛО прилетело и опубликовало эту надпись здесь
                  0
                  Проблема надежности и валидности результатов является краеугольным камнем всех дисциплин, объектом исследования которых является человек. Проблема болезненная и широко известная. Если-бы ребята предложили варианты решения, то это было-бы дело, а с пустой критикой могут идти лесом
                    0
                    Ну может они и не критикуют, а просто пытаются понять масштаб проблемы.
                      +8
                      Проблема здесь во многом в том что вот такие вот «исследователи» не знают даже базового курса статистики, причем некоторые ошибки статистического анализа невозможно понять из результатов работы. Вот взяли выборку в 1000 человек — вроде по работе все сходится, 1000 человек для описанного фактора — достаточная выборка. Но на самом деле меряли на этой 1000 человек три сотни факторов а опубликовали только тот который оказался «статистически значимым» (на самом деле — нет, потому что «статистически значимый» он из-за непонимания того как надо проводить эксперимент). Или другой вариант — посчитали значимость по p-Value, потому что кроме p-Value других методов не знают в результате отловили сильно раздутый результат, о чем радостно и написали статью. Часто бывает что просто в принципе нету денег на нормальную выборку или выборка составлена не репрезентативно.

                      Физики наверное просто смеются над тем что кто то назыавет научными работами текст содержащий фразы типа «p-Value = 0.05 что подтверждает статистическую значимость эффекта алобалохреномалолазола при лечении борзецомы». У них то на научное открытие надо доверительный интервал шириной 99.99997%. Если бы физики оперировали p-Value < 0.05 — у нас бы было 50 разных бозонов Хиггса и 300 «стандартных моделей».
                        +1
                        Тихо-тихо, химики знают статистику не хуже физиков
                          +3
                          Не хотел обидеть, я не сомневаюсь в химиках, тут речь лишь об авторах изнасиловавших свои экспериментальные данные для получения нужного результата или просто делающих статистический анализ от балды.
                          +3
                          А что делать в ситуации дорогих уникальных экспериментов? Например, всего 2 крысы с экспериментальной пересадкой искусственных тканей? Ну не вариант 1000 сделать. Каждая как автомобиль стоит и месяцы труда. Совсем не публиковать?
                            0
                            А что вы будете делать с такими результатами?
                            Допустим, одна крыса умерла.
                            У вас есть технология пересадки, которая работает в 50% случаев, «но это не точно».
                            Или обе крысы выжили.
                            Теперь у вас технология, которая работает в 100% случаев, «но это опять-таки не точно».
                            Думаете, теперь можно сразу применять на людях?

                            И ещё — комментарий ниже от «Perez» относится к вам.
                            Представляете, сколько миллиардов ушло на большой адронный коллайдер?
                            А ведь те исследования даже не касались лечения человека.
                            Так что на лечение человека, таких крыс «как автомобиль» все равно придется потратить несколько тысяч.
                              +2
                              Тут есть нюанс. Мы экспериментируем и ищем новые методы. Соответственно на малых партиях можно нащупать верное направление и уже после отработки проблем сделать большую выборку. Иначе бюджета не хватит на 1000 крыс для каждой тупиковой ветки разработки.
                                0
                                Это безусловно верно. Главное не выдавать первое за второе. Есть задача определения наличия эффекта. Допустим у вас есть пациент на 4 стадии рака из которых умирает 100% в течение года. Если у вас есть сыворотка и вы на одном пациенте получили выздоровление — то эффект вы доказали очень неплохо. Теперь можно делать более широкое исследование чтобы понять насколько и когда ваша сыворотка эффективна. При этом конечно все равно надо учитывать изначально вероятность с которой вы можете обнаружить эффект, если это 1/1000000 (т.е. условно — «а давайте попробуем корень боярышника вколоть, вдруг выздоровеет) — то может и один эксперимент не надо проводить пока не сделан более адекватный анализ метода.
                                0
                                Сколько таких коллайдеров построили? Вообще странная у вас позиция, ставите одну науку выше другой. Попахивает элитизмом.
                                  –1
                                  Не совсем понял, что вам не понравилось.
                                  Просто считается, что жизнь человека дороже всего остального.
                                  И исследования, связанные с человеческими жизнями, нужно проводить наиболее тщательно.
                                  Если на БАК было потрачено N денег, то на исследования какого-то важного лечения можно потратить больше денег.
                                  Я про этот момент.
                                    0
                                    Ну мы пока людям это и не даем. Метод разработать надо с минимальным убийством животных, естественно. Массовые испытания только перед внедрением.
                                    +3
                                    Тут ещё вариант бюджета. Если выделили N денег, но этого мало на массовые исследования, то нужно бросать перспективное направление с интересными результатами? Мне кажется лучше хотя бы маленькими выборками, но найти нужный путь.
                                      0
                                      Если вам статистика говорит что при вашей выборке проехавший за окном поезд будет оказывать больше влияние на результат чем ваша таблетка — то это будет просто трата денег в пустую. 1000 маленьких экспериментов с такой выборкой дадут много меньше информации чем 1 эксперимент с в 1000 раз больше выборкой. Если же вопрос только в точности определения эффекта или в каких-то нюансах отбросив которые результат все равно представляет собой практическую ценность — то почему бы и не провести эксперимент.
                                        0
                                        Ну как-то так. Это разработка методик в совершенно новой области, по сути. Вас этический комитет расстреляет, если вы крыс будете кубометрами убивать. Это в России только можно. В той же Швеции наши коллеги там каждую крысу по месяцу практически согласовывают.
                                          0
                                          Ну я лично вообще удивлен что что-то называющееся «этический комитет» имеет какое-то влияние на постановку научных экспериментов. Вот истинно надо дармоедов каких-то кормить и придумывают им общественно-вредные работы.
                                          Крыски конечно дорогие в финансовом плане, но если эксперимент не может теоретически даже показать вразумительные цифры или может с вероятностью 1/10000 — то зачем деньги изводить на крыс и эксперимент в целом? Если же результаты получить можно — то и претензий нету.
                                            +1
                                            Этика — сложный вопрос. Животных жалко и валить их негуманно. Поэтому авторитетный журнал типа Nature не опубликует вашу работу, если решит, что вы использовали слишком болезненные иглы для инъекций и животным было дискомфортно. Им разве что массаж только по требованию не надо делать. В РФ проще, но все равно правила есть и довольно жесткие. Например, на высших приматах нельзя ставить эксперименты, если их можно заменить свиньей или кем-то попроще. А если и можно, то только нелетальные типа «поиграй с цветными кубиками». Собаки, кошки во всем мире тоже запрещены практически везде. Китайцы только традиционно плюют на это дело.
                                              0
                                              Я согласен. Но тут я имею ввиду что если ради получения лекарства от рака нужен милилон крыс — то лучше все же изобрести «лекарство от рака» (ой, и заплююте вы меня как доктор за эту фразу), т.к. это спасет гораздо больше жизней. Ну а высшие приматы — они стоят столько что там первыми на глотку инвесторы наступят и никакие комитеты по этике даже не получат задачи на рассмотрение.
                                                0
                                                Да, цена там тоже суровая. Обычный бабуин около миллиона стоит.
                                  +1
                                  Здесь вопрос в том на что направлен эксперимент, какова его статистическая сила и прочее. Например если ITER выстрелит — мы не будем говорить что вероятность успешного термоядерного синтеза 1/(количество неуспешных токомаков + 1). Мы будем говорить «технология есть, можем строить». Если вероятность доказать наличие эффекта на 2 крысах — 30% — оно стоит того. Если же вероятность обнаружения — 1/10000 — вероятно стоит подумать 10 раз, а стоит ли эксперимент денег (ведь 1 эксперимент с 20 000 крыс гораздо более статистически информативен чем 10 000 экспериментов с 2 крысами, а еще чаще и гораздо дешевле в сумме), или стоит объединиться и делать более широкое исследование. Пересадка тканей в данном примере — хороший образец proof of concept с достаточно низкой степенью неопределенности. В случае успешной пересадки мы конечно можем сказать что это только потому что «днк оказались редчайшим образом совместимы» или что то подобное, но скорее всего мы все же получили эффект и дальнейшая задача понять условия при которых он успешен.
                                  Кроме того проблема то не в публикации как таковой, а в том что статистика (с умыслом или без умысла) применена не верно и из этого сделаны необеспеченные выводы. Писать о проверяемых аспектах эксперимента — это нормально хоть у вас 2 крысы, делать же на основе ложных предпосылок или неверного использования статистического аппарата вывод что ваша условная таблетка работает в 50% случаев — не верно.
                                    0
                                    В данной ситуации мы обычно «осторожно предполагаем возможные причины и тенденции». Слишком область неразведана.
                                  –2
                                  Было бы круто, если бы «физики» знали правило написания слов «них-то», «как-то» и употребляли пунктуацию. ;)
                                    +4
                                    Правило демагога #20.
                                    Если тебе нечего ответить оппоненту, то следует тщательно проверить его сообщение на предмет орфографических и пунктуационных ошибок.
                                0
                                Да да, физики всё также продолжают хохотать — «как автомобиль» :_))
                                  0
                                  Для лаборатории ВУЗа это очень много тем не менее) не бросать же исследования.
                                    +1
                                    Но с другой стороны у физиков очень редко бывают ситуации, когда для каждого повтора эксперимента нужно строить установку с нуля с соответствующими затратами (обычно же стоимость повтора эксперимента в разы меньше первоначальных вложений), а крыски на каждый повтор новые нужны.
                                    0
                                    Психологи выяснили, что 51% учёных из проекта «Воспроизводимость» скучные зануды. Читайте в свежем номере «Psychologies».
                                      0
                                      Почему тут до сих пор не упомянут критерий Поппера? https://ru.wikipedia.org/wiki/Фальсифицируемость
                                        0
                                        «невоспроизводимость результата не означает того, что в работе содержится ошибка». А по-моему, это и говорит именно об ошибке.
                                          0
                                          Ошибка либо в одном из двух экспериментов, либо в интерпретации результатов

                                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                        Самое читаемое