Комментарии / Закладки / Профиль Abyasov / Хабр

Ренат Абясов @Abyasov

Управляю проектами в ML/DL

Профиль Публикации 4Комментарии 219Закладки 388

Веб-аналитика: Не все цифры одинаково полезны

Dimchansky 3 авг 2011 в 19:27

Можно попробовать посмотреть на задачу сравнения двух рекламных объявлений со стороны Байесовской статистики и вероятностного вывода.

Конверсию можно рассматривать как случайную величину, имеющую распределение Бернулли и принимающую два значения: 1 (конверсия) и 0 (нет конверсии) с вероятностями p и q = 1 — p соответственно.

Рассмотрим задачу о нахождении распределения параметра p по имеющимся у нас наблюдениям конверсии с каждым визитом: x1,x2, ..., xN.

Сумма x1+x2+… +xN — это число конверсий при N визитах, она имеет биномиальное распредление с N степенями свободы и вероятностью конверсии p.

Как известно, для случайной величины, распредленной по закону Бернулли с неизвестным параметром p, в качестве сопряженного априорного распредления выступает бета-распредление (с параметрами альфа и бета). Параметры альфа и бета выбираются так, чтобы отразить имеющуюся априорную информацию — наше убеждение о распредлении параметра p перед размещением объявления.

Мы можем выбрать для параметра p альфа=бета=1 — это даст равномерное распределение. Это говорит о том, что наше убеждение относительно параметра p таково, что он равновероятно принимает значение в интервале от 0 до 1. Далее, в процессе поступления данных, мы будем обновлять бета-распределение для параметра p таким образом, что оно будет B(s+1, n-s+1), где s — число конверсий произошедших за последние n визитов.

Рассмотрим это на примере Ваших двух рекламых объявлений. По первому объявлению у нас имеется 143 визита и 3 конверсии, по второму — 184 визита и 5 конверсий.
Мы начали с полной неуверенности относительно параметра p — он подчиняется бета-распределению B(1,1), т.е. распределен равномерно в интервале от 0 до 1.

Для первого объявления после 143 визитов мы уточняем распредление вероятности p1 до B(4,141) (mean=0.02759), для второго объявления мы уточняем распредление вереоятности p2 до B(6, 180) (mean=0.03226). Если мы посмотрим на плотность распределения обоеих вероятностей p1 и p2, то увидим, что из равномерного они постепенно «превращаются» в нессиметричные колоколы (тот, что левее со средним 0.02759 соответствует распредлению B (4,141), тот, что правее соответствует распредлению B(6, 180) со средним 0.03226):

Итак, мы видим что оценка среднего значения вероятности для второго объявления выше. Исходя из оценок распредления вероятностей конверсии для обоих объявлений ответим на вопрос: с какой вероятностью процент конверсии второго объявления выше, чем процент конверсии первого объявления?
В лоб это вычисляется через интеграл:
N[Integrate[
PDF[BetaDistribution[6, 180], x]*
CDF[BetaDistribution[4, 141], x], {x, 0, 1}]]

В ответе получаем 0.6116. Т.е. с вероятностью 61.16% процент конверсии второго объявления выше, чем процент конверсии первого.

Предположим, что по прошествии какого-то времени, для первого объявления у нас имеется 500 визитов и 10 конверсий, для второго объявления у нас имеется 600 визитов и 16 конверсий. Тогда для процента конверсии по первому объявлению мы имеем распредление B(11,491) (mean=0.02191), а для второго B(17,585) (mean=0.02824).

А уверенность того, что процент конверсии второго объявления выше, чем первого возрастает до 75.50%.

Если продолжать наблюдения и дальше, то колокола будут сужаться и перемещаться, уточняя ожидаемое значение вероятности p, а «из колоколов» можно получить и доверительные интервалы, если нужно.

Также стоит обратить внимание, что ничего страшного не происходит в том случае, если конверсий не происходит. В этом случае колокол будет постепенно прижиматься к левому краю.
Если при 100 визитах не было конверсий, то имеем распредление Beta(1,101)[mean=0.009804]
Если при 100 визитах не было конверсий, то имеем распредление Beta(1,201)[mean=0.00495]
Ниже эти два случая на рисунке изображены.

Понятно, что если сравнивать такие случаи с другими объявлениями, где конверсии происходят, то уверенность в том, что в них конверсия выше, будет значительно больше.
Также никто не мешает нам начать не с равномерного распределение, а установить его, исходя из опыта прошлых рекламных кампаний.