Comments 9
Что-то я завис, пытаясь понять процитированный фрагмент ниже:
поменяется ли у вас дисперсия генеральной совокупности или нет из-за вашего тритмента. У выборок они и без того будут разными, но другое дело, что в случае предположения о неизменчивости дисперсии из-за тритмента обе выборочные дисперсии будут оценками одной и той же дисперсии генеральной, поэтому их "объединяют"* (pooled). В случае изменчивости разброса у генеральной, так сделать уже нельзя.
Не могли бы вы пояснить, что вы подразумеваете под "генеральной совокупностью"? Как ее дисперсия может зависеть от попыток ее численно оценить?
Привет!
Спасибо за вопрос!
Строго говоря, речь идет о распределении случайной величины. И ее дисперсия не зависит от числа попыток ее численно оценить (не совсем понял, где об этом говорилось в цитате)
Тут речь о тритменте, воздействии. У вас есть два предположения: либо ваше воздействие изменит ее дисперсию, либо нет.
Классический t-test предполагает, что этого не произойдет. Тогда если верна H0, то выборочные дисперсии будут оценками одной и той дисперсии, поэтому их объединяют, и вместо двух дисперсий в формуле у вас "pooled". Но если все-таки тритмент меняет дисперсию, но не меняет среднее, то этот шаг приведет в рамках большей ложноположительности для классического t-test'a.
Строго говоря, речь идет о распределении случайной величины. И ее дисперсия не зависит от числа попыток ее численно оценить (не совсем понял, где об этом говорилось в цитате)
1)
поменяется ли у вас дисперсия генеральной совокупности или нет из-за вашего тритмента.
2)
В случае изменчивости разброса у генеральной,
И в данном сообщении
Тут речь о тритменте, воздействии. У вас есть два предположения: либо ваше воздействие изменит ее дисперсию, либо нет.
Какое еще воздействие? Случайная выборка - это пассивная операция. Ну не о квантовой же механике речь идет.
Какое еще воздействие?
В рамках A/B теста. Мы проверяем на выборках нашу новую фичу, экстраполируя эффект на генеральную (отразится на генеральной)
Так это речь о 2 разных генеральных совокупностях.
Не совсем так. В группы мы набираем людей из одной совокупности, на группе B проводим эксперимент. Который может как-то повлиять на группу B, например, увеличить среднее по метрике или/и ее дисперсию, тем самым, если мы раскатим это воздействие на "всех", то предполагается, что сместим и саму генеральную.
Спасибо за интересную статью! Пара моментов хотелось бы прояснить
>> Во втором случае (2) t-распределение (жёлтое) имеет более широкие толстые хвосты, но так как мы думаем, что оперируем синим t-распределением (1) и его критическими значениями, мы и получаем больше ошибок 1-го рода, чем хотели бы
не могли бы вы сформулировать вот эту мысль другими словами? почему мы думаем, что оперируем каким-то распределением, если речь только про равенство средних? что значит фраза "чем хотели бы"?
само утверждение о том, что в примере (2) средние равны (а значит верна H0), но при большей дисперсии мы получаем больше p-value, кажется, очевидно следует из определения t-статистики
>> Возвращаемся к нашему выводу: так как у нас числитель и знаменатель независимы
пардон, вот тут упустил мысль - а как получается, что выборочная дисперсия от генеральной независима?
>> не использовать Welch's test по дефолту:
ну что ж, если наш тритмент настолько ядреный, что может вызвать существенное(!) изменение дисперсии, то кажется, что стат. тесты тут вообще излишни.
можно представить себе лекарство от облысения, которое не помогло "в некоторой степени", а одних прям покрыло волосами включая ладони, а у вторых - ресницы выпали.
получается доказать разницу дисперсий сложно, но интересно было бы какой бы MDE в ее изменении привел бы к тому, что нужен двувыборочный критерий.
Привет! Спасибо, что прочитали!
не могли бы вы сформулировать вот эту мысль другими словами?
Попробую. Применяя t-test, мы ожидаем, что наше t-значение при верности H0 будет распределено согласно t-распределению с некоторыми степенями свободы, d=k. Но при неравенстве дисперсий этого не будет, распределение t-статистики будет иным - c более толстыми хвостами. Но t-test-то проставляет границы значимости согласно тому, что он ожидает (он считает, что t-статистика приземляется на t-распределение c d=k), поэтому мы получаем больше ошибок 1-го рода, чем хотели бы. Тут имеется в виду, скажем, выставляем классическую alpha = 5%, а получим на деле 12-15%.
пардон, вот тут упустил мысль - а как получается, что выборочная дисперсия от генеральной независима?
А здесь как раз момент в другом: в числителе стоит параметры генеральной, конкретные фиксированные значения. Допустим, они нам известены и равен 1 и 2 соответственно. И если брать две выборки и обе размером 100, то числитель будет всегда (1/100 + 2/100). То есть эта сумма от выборки к выборке тех же размеров по 100 меняться не будет. А вот выборочные дисперсии в знаменателе как раз будут!
Выходит, будет множество пар (числитель, знаменатель), где числитель фиксированный, а знаменатель варьируется, отсюда нет никакой связи, ковариация будет нулевая.
ну что ж, если наш тритмент настолько ядреный, что может вызвать существенное(!) изменение дисперсии, то кажется, что стат. тесты тут вообще излишни.
Хорошее замечание! Действительно, когда эффект "на лицо", то стат. тесты будут подтверждать очевидное. Другое дело, что такие мощные эффекты, "инновации", чтоб на глаз, редко бывают, чтобы обходиться без тестов.
Еще раз спасибо за отвыз!
Welch's test: он вам не замена Т-test'a