[Часть 1] Математика в АБ-тестах. Что такое z-score и p-value?

[ChePeter]

Центральная предельная теорема гласит, что сумма большого количества
независимых случайных величин имеет распределение близкое к нормальному.

Тут небольшое лукавство. Нужно чтобы эти почти независимые случайные величины имели почти одинаковое! ожидание. Тогда да, ЦПТ доказана и действует.

А если в пруду два сорта рыбы - караси и карпы, и караси едят не то, что едят карпы.

Если пруд дикий и там особи разных лет, то применение ЦПТ весьма сомнительно.

Даже если пруд культивируется и там особи одного года, то все равно их размер не всегда подчиняется ЦПТ. И классический пример это размеры плотвы.

[RomTec]

Рассказывали бы так в наших институтах - "на рыбках", глядишь и подняли бы уровень образования. Спасибо за воспоминания!

[mlyss]

И если эта вероятность нас устраивает, то мы принимаем нулевую гипотезу, а если нет - отвергаем.

Если мы принимаем нулевую гипотезу, то это будет равносильно утверждению, что среднее выборки строго равно среднему генеральной совокупности. Но на основе p-value мы можем только сказать, есть ли значимые различия между средними. Если есть, (p-value достаточно мало), то H0 отвергается в пользу H1. В противном случае H0 отвергнуть нельзя, но это не означает, что средние равны, H0 ни в коем разе не принимаем. Либо отвергаем, либо не отвергаем и остаемся в рамках не подтвержденной, но и не отвергнутой H0.

[EllaVS]

Спасибо за интересное объяснение. Подскажите, каким инструментом нарисован первый график (про "Луну") в стиле "от руки"?

[anmendel]

В Python plt.xkcd()

Примеры: https://matplotlib.org/stable/gallery/showcase/xkcd.html#sphx-glr-gallery-showcase-xkcd-py

[Prostoiii]

Как z-score рассчитывается, написано понятно, а вот как рассчитывается p-value непонятно.

Автор, раскройте, пожалуйста, этот вопрос. В подавляющем большинстве литературы по статистике об этом ни гу-гу.

[anmendel]

Спасибо за комментарий. Более подробно простым языком можно ознакомиться с природой p-value в книге "Статистика для всех" Сары Бослаф.

[antonoldenberg]

Вопрос знатоку, как быть с простым АБ тестом на количество конверсий?

Правильно ли я понимаю, что это просто частный случай с выборкой из одного элемента?

То есть если мы тестируем, предположим, два разных рекламных поста, А - БЕЗ котика на картинке - Б - с котиком и считаем количество переходов с каждого при учете что показали пост одинаковому числу человек.

Это будет то же самое, как в примере выше мы бы выловили по одной рыбе на каждую удочку?

Изменятся ли как-то при этом формулы?

Заранее спасибо!