Pull to refresh

Comments 10

Явление несомненно интересное, спасибо за статью. Прочитал до конца ожидая формального определения — но нет. Возьмите хоть с той же Википедии, окончательно прояснилось лишь когда там прочитал.

Добавил определение перед примерами, спасибо!
По поводу примера 2.
А каким образом может быть вызван такой дисбаланс по группам в разные дни? При условии, конечно, что мы не накосячили в самом начале и сделали однородные группы пользователей.
Во втором примере показывается сломанный в первый день сплиттер. Если с ним что-то не так, такие дни лучше выкидывать из эксперимента.
Помимо группировки разнородных данных к подобному эффекту может привести, наверное, еще наличие третьей переменной, значение которой мы не учли. Тогда разделить данные на когорты вообще невозможно, а аппроксимацию строить надо по двум переменным, вместо одной.
Добрый день,
по поводу конверсий теста А и Б: смутно помню как в школе объяснили, что надо складывать не цифры, а проценты.

если данные к одному знаменателю привести:

image

то все норм.

Кажется здесь нет парадокса, есть неверное понятое условие задачи. Если конверсию Б возможно проводить в тот момент, когда нет возможности для конверсии А (например по возрасту) тогда количество играет роль. В противном случае нужно считать только проценты.
Безусловно, при нормальном ходе эксперимента такой ситуации бы не возникло.

Несбалансированность когорт – одна из предпосылок возникновения описанного эффекта. Мне приходилось сталкиваться с поломанными экспериментами и коллегами, которые не понимали, почему нужно выкидывать несбалансированные дни, поэтому привел как один из примеров.

Кстати, утверждение про сложение процентов звучит довольно спорно.
dkondratiev, привет! Спасибо за статью и наглядные примеры. Советую посмотреть книжку The Book of Why: The New Science of Cause and Effect. В ней есть несколько интересных концептов, которые помогут раскладывать зависимости в мире и не попадаться в ловушки Симпсона. Расширение сознания гарантировано :)
Жду новых статей!
Классная статья, спасибо! Никогда об этом не задумывался. Жду кода на Python'e.
Sign up to leave a comment.