Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 44
А потом окажется, что исследование воспроизводимости исследований тоже не воспроизводится. «Ровно 83% статистических чисел берутся из головы».
Для меня всегда подозрительны фотографии, когда все на них улыбаются…
Вообще, жизнь меняется, и, думаю, люди тоже изменились. Насколько старые исследования они пытались повторить?
Вообще, жизнь меняется, и, думаю, люди тоже изменились. Насколько старые исследования они пытались повторить?
Участники исследования по проверке результатов выбрали сотню из более чем двух тысяч научных работ, опубликованных в трех ведущих научных психологических журналах в 2008 году. Исследование проводилось с ноября 2011 по декабрь 2014 года.
Для меня всегда подозрительны фотографии, когда все на них улыбаются…Дада! Статистически крайне маловероятно, что бы 100% присутствующих на фотографии людей одновременно улыбнулись, ведь по статистике человек улыбается не так уж и часто!
Что-то тут не то с улыбками на фотографиях.
Пусть попробуют воспроизвести ещё раз. Успешно прошедших оба испытания работ будет 25%.
Психология, социология, наука, воспроизводимость, закономерности, научный подход и другие слабо связанные ключевые фразы.
Подождите, а разве не принято сначала ждать подтверждения какого-то явления, полученного от других коллективов, на другом оборудовании и т.п.?
Как с этим дело обстоит в социологии и психологии?
Подождите, а разве не принято сначала ждать подтверждения какого-то явления, полученного от других коллективов, на другом оборудовании и т.п.?
Как с этим дело обстоит в социологии и психологии?
Ну может они и не критикуют, а просто пытаются понять масштаб проблемы.
Проблема здесь во многом в том что вот такие вот «исследователи» не знают даже базового курса статистики, причем некоторые ошибки статистического анализа невозможно понять из результатов работы. Вот взяли выборку в 1000 человек — вроде по работе все сходится, 1000 человек для описанного фактора — достаточная выборка. Но на самом деле меряли на этой 1000 человек три сотни факторов а опубликовали только тот который оказался «статистически значимым» (на самом деле — нет, потому что «статистически значимый» он из-за непонимания того как надо проводить эксперимент). Или другой вариант — посчитали значимость по p-Value, потому что кроме p-Value других методов не знают в результате отловили сильно раздутый результат, о чем радостно и написали статью. Часто бывает что просто в принципе нету денег на нормальную выборку или выборка составлена не репрезентативно.
Физики наверное просто смеются над тем что кто то назыавет научными работами текст содержащий фразы типа «p-Value = 0.05 что подтверждает статистическую значимость эффекта алобалохреномалолазола при лечении борзецомы». У них то на научное открытие надо доверительный интервал шириной 99.99997%. Если бы физики оперировали p-Value < 0.05 — у нас бы было 50 разных бозонов Хиггса и 300 «стандартных моделей».
Физики наверное просто смеются над тем что кто то назыавет научными работами текст содержащий фразы типа «p-Value = 0.05 что подтверждает статистическую значимость эффекта алобалохреномалолазола при лечении борзецомы». У них то на научное открытие надо доверительный интервал шириной 99.99997%. Если бы физики оперировали p-Value < 0.05 — у нас бы было 50 разных бозонов Хиггса и 300 «стандартных моделей».
Тихо-тихо, химики знают статистику не хуже физиков
А что делать в ситуации дорогих уникальных экспериментов? Например, всего 2 крысы с экспериментальной пересадкой искусственных тканей? Ну не вариант 1000 сделать. Каждая как автомобиль стоит и месяцы труда. Совсем не публиковать?
А что вы будете делать с такими результатами?
Допустим, одна крыса умерла.
У вас есть технология пересадки, которая работает в 50% случаев, «но это не точно».
Или обе крысы выжили.
Теперь у вас технология, которая работает в 100% случаев, «но это опять-таки не точно».
Думаете, теперь можно сразу применять на людях?
И ещё — комментарий ниже от «Perez» относится к вам.
Представляете, сколько миллиардов ушло на большой адронный коллайдер?
А ведь те исследования даже не касались лечения человека.
Так что на лечение человека, таких крыс «как автомобиль» все равно придется потратить несколько тысяч.
Допустим, одна крыса умерла.
У вас есть технология пересадки, которая работает в 50% случаев, «но это не точно».
Или обе крысы выжили.
Теперь у вас технология, которая работает в 100% случаев, «но это опять-таки не точно».
Думаете, теперь можно сразу применять на людях?
И ещё — комментарий ниже от «Perez» относится к вам.
Представляете, сколько миллиардов ушло на большой адронный коллайдер?
А ведь те исследования даже не касались лечения человека.
Так что на лечение человека, таких крыс «как автомобиль» все равно придется потратить несколько тысяч.
Тут есть нюанс. Мы экспериментируем и ищем новые методы. Соответственно на малых партиях можно нащупать верное направление и уже после отработки проблем сделать большую выборку. Иначе бюджета не хватит на 1000 крыс для каждой тупиковой ветки разработки.
Это безусловно верно. Главное не выдавать первое за второе. Есть задача определения наличия эффекта. Допустим у вас есть пациент на 4 стадии рака из которых умирает 100% в течение года. Если у вас есть сыворотка и вы на одном пациенте получили выздоровление — то эффект вы доказали очень неплохо. Теперь можно делать более широкое исследование чтобы понять насколько и когда ваша сыворотка эффективна. При этом конечно все равно надо учитывать изначально вероятность с которой вы можете обнаружить эффект, если это 1/1000000 (т.е. условно — «а давайте попробуем корень боярышника вколоть, вдруг выздоровеет) — то может и один эксперимент не надо проводить пока не сделан более адекватный анализ метода.
Сколько таких коллайдеров построили? Вообще странная у вас позиция, ставите одну науку выше другой. Попахивает элитизмом.
Не совсем понял, что вам не понравилось.
Просто считается, что жизнь человека дороже всего остального.
И исследования, связанные с человеческими жизнями, нужно проводить наиболее тщательно.
Если на БАК было потрачено N денег, то на исследования какого-то важного лечения можно потратить больше денег.
Я про этот момент.
Просто считается, что жизнь человека дороже всего остального.
И исследования, связанные с человеческими жизнями, нужно проводить наиболее тщательно.
Если на БАК было потрачено N денег, то на исследования какого-то важного лечения можно потратить больше денег.
Я про этот момент.
Тут ещё вариант бюджета. Если выделили N денег, но этого мало на массовые исследования, то нужно бросать перспективное направление с интересными результатами? Мне кажется лучше хотя бы маленькими выборками, но найти нужный путь.
Если вам статистика говорит что при вашей выборке проехавший за окном поезд будет оказывать больше влияние на результат чем ваша таблетка — то это будет просто трата денег в пустую. 1000 маленьких экспериментов с такой выборкой дадут много меньше информации чем 1 эксперимент с в 1000 раз больше выборкой. Если же вопрос только в точности определения эффекта или в каких-то нюансах отбросив которые результат все равно представляет собой практическую ценность — то почему бы и не провести эксперимент.
Ну как-то так. Это разработка методик в совершенно новой области, по сути. Вас этический комитет расстреляет, если вы крыс будете кубометрами убивать. Это в России только можно. В той же Швеции наши коллеги там каждую крысу по месяцу практически согласовывают.
Ну я лично вообще удивлен что что-то называющееся «этический комитет» имеет какое-то влияние на постановку научных экспериментов. Вот истинно надо дармоедов каких-то кормить и придумывают им общественно-вредные работы.
Крыски конечно дорогие в финансовом плане, но если эксперимент не может теоретически даже показать вразумительные цифры или может с вероятностью 1/10000 — то зачем деньги изводить на крыс и эксперимент в целом? Если же результаты получить можно — то и претензий нету.
Крыски конечно дорогие в финансовом плане, но если эксперимент не может теоретически даже показать вразумительные цифры или может с вероятностью 1/10000 — то зачем деньги изводить на крыс и эксперимент в целом? Если же результаты получить можно — то и претензий нету.
Этика — сложный вопрос. Животных жалко и валить их негуманно. Поэтому авторитетный журнал типа Nature не опубликует вашу работу, если решит, что вы использовали слишком болезненные иглы для инъекций и животным было дискомфортно. Им разве что массаж только по требованию не надо делать. В РФ проще, но все равно правила есть и довольно жесткие. Например, на высших приматах нельзя ставить эксперименты, если их можно заменить свиньей или кем-то попроще. А если и можно, то только нелетальные типа «поиграй с цветными кубиками». Собаки, кошки во всем мире тоже запрещены практически везде. Китайцы только традиционно плюют на это дело.
Я согласен. Но тут я имею ввиду что если ради получения лекарства от рака нужен милилон крыс — то лучше все же изобрести «лекарство от рака» (ой, и заплююте вы меня как доктор за эту фразу), т.к. это спасет гораздо больше жизней. Ну а высшие приматы — они стоят столько что там первыми на глотку инвесторы наступят и никакие комитеты по этике даже не получат задачи на рассмотрение.
Здесь вопрос в том на что направлен эксперимент, какова его статистическая сила и прочее. Например если ITER выстрелит — мы не будем говорить что вероятность успешного термоядерного синтеза 1/(количество неуспешных токомаков + 1). Мы будем говорить «технология есть, можем строить». Если вероятность доказать наличие эффекта на 2 крысах — 30% — оно стоит того. Если же вероятность обнаружения — 1/10000 — вероятно стоит подумать 10 раз, а стоит ли эксперимент денег (ведь 1 эксперимент с 20 000 крыс гораздо более статистически информативен чем 10 000 экспериментов с 2 крысами, а еще чаще и гораздо дешевле в сумме), или стоит объединиться и делать более широкое исследование. Пересадка тканей в данном примере — хороший образец proof of concept с достаточно низкой степенью неопределенности. В случае успешной пересадки мы конечно можем сказать что это только потому что «днк оказались редчайшим образом совместимы» или что то подобное, но скорее всего мы все же получили эффект и дальнейшая задача понять условия при которых он успешен.
Кроме того проблема то не в публикации как таковой, а в том что статистика (с умыслом или без умысла) применена не верно и из этого сделаны необеспеченные выводы. Писать о проверяемых аспектах эксперимента — это нормально хоть у вас 2 крысы, делать же на основе ложных предпосылок или неверного использования статистического аппарата вывод что ваша условная таблетка работает в 50% случаев — не верно.
Кроме того проблема то не в публикации как таковой, а в том что статистика (с умыслом или без умысла) применена не верно и из этого сделаны необеспеченные выводы. Писать о проверяемых аспектах эксперимента — это нормально хоть у вас 2 крысы, делать же на основе ложных предпосылок или неверного использования статистического аппарата вывод что ваша условная таблетка работает в 50% случаев — не верно.
Правило демагога #20.
Если тебе нечего ответить оппоненту, то следует тщательно проверить его сообщение на предмет орфографических и пунктуационных ошибок.
Да да, физики всё также продолжают хохотать — «как автомобиль» :_))
Для лаборатории ВУЗа это очень много тем не менее) не бросать же исследования.
Но с другой стороны у физиков очень редко бывают ситуации, когда для каждого повтора эксперимента нужно строить установку с нуля с соответствующими затратами (обычно же стоимость повтора эксперимента в разы меньше первоначальных вложений), а крыски на каждый повтор новые нужны.
Психологи выяснили, что 51% учёных из проекта «Воспроизводимость» скучные зануды. Читайте в свежем номере «Psychologies».
«невоспроизводимость результата не означает того, что в работе содержится ошибка». А по-моему, это и говорит именно об ошибке.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Результаты многих исследований по психологии и социологии не поддаются воспроизведению и могли быть подделаны