Comments 4
Пермутационный тест даёт нам p-значение 0,053, а это подразумевает слабое отклонение нулевой гипотезы на уровне 5%.
В примере сгенерированы не все перестановки, а 1000 случайных. Полученное p-value является случайной величиной и гораздо разумнее смотреть на доверительные интервалы для него.
Во-первых, T-тест доказан только для выборок с одинаковой дисперсией. Чтобы в этом удостовериться сперва надо сделать тест Фишера, он для этого предназначен.
Если дисперсии неизвестные и отличаются, то точного значения статистики нет (проблема Беренса-Фишера). В этом случае можно лишь с оговорками полагаться на приближения.
Но для этого надо хотя бы убедиться, что выборка с бОльшей дисперсией по размеру превосходит «узкую» выборку (а т.к. контроль зачастую сильно превосходит пилот размером, то обычно это не так).
Надеюсь эти и другие тонкости рассказываются в рекламируемом курсе.
Манн - Витни не проверяет равенство медиан. Он проверяет равенство средних рангов по выборкам
А можете мне сказать что будет если разделить например нормальное распределение(Гаусс) вдоль оси Y на три равные части и каждое число относить соответственно к трем разным классам? Меня интересует значит количество точек(значений функции в этом распределении) при заданном шаге аргумента функции в каждом из классов. Это раз, потом значит делаем из этих точек (значений функций) вектор-массив и задаем равновероятностную функцию которая будет делать выбор с возвращением из него. При совпадении значений этого выбора, например тройки чисел [a,b,c] к одному и тому же классу происходит допустим увеличение счетчика этого класса counterclass1 на 1(изначально у всех 0). Далее мы делаем выборку из таких сгенерированных троек размером например 100,000 штук, step=100,000. Важно узнать значение счетчиков! Потом можно усложнить и делать выборку не из троек [a,b,c], а из девяток. Причем вначале сравнивать их как строки в матрице 3x3, сделать выборку опять например 100,000 штук. Опять посчитать, счетчики классов. Потом провернуть тоже самое но уже сравнивать по диагоналям и ломаным линиям в этой матрице, но поместно, то есть слева направо. И так получив несколько таких вот 100,000 выборок и счетчиков для каждого класса и каждой выборки, а дальше сам не знаю что делать. Что я описал?
Как сравнивать распределения. От визуализации до статистических тестов