Комментарии 10
Явление несомненно интересное, спасибо за статью. Прочитал до конца ожидая формального определения — но нет. Возьмите хоть с той же Википедии, окончательно прояснилось лишь когда там прочитал.
По поводу примера 2.
А каким образом может быть вызван такой дисбаланс по группам в разные дни? При условии, конечно, что мы не накосячили в самом начале и сделали однородные группы пользователей.
А каким образом может быть вызван такой дисбаланс по группам в разные дни? При условии, конечно, что мы не накосячили в самом начале и сделали однородные группы пользователей.
ждем следующую статью
Помимо группировки разнородных данных к подобному эффекту может привести, наверное, еще наличие третьей переменной, значение которой мы не учли. Тогда разделить данные на когорты вообще невозможно, а аппроксимацию строить надо по двум переменным, вместо одной.
Добрый день,
по поводу конверсий теста А и Б: смутно помню как в школе объяснили, что надо складывать не цифры, а проценты.
если данные к одному знаменателю привести:
то все норм.
Кажется здесь нет парадокса, есть неверное понятое условие задачи. Если конверсию Б возможно проводить в тот момент, когда нет возможности для конверсии А (например по возрасту) тогда количество играет роль. В противном случае нужно считать только проценты.
по поводу конверсий теста А и Б: смутно помню как в школе объяснили, что надо складывать не цифры, а проценты.
если данные к одному знаменателю привести:
то все норм.
Кажется здесь нет парадокса, есть неверное понятое условие задачи. Если конверсию Б возможно проводить в тот момент, когда нет возможности для конверсии А (например по возрасту) тогда количество играет роль. В противном случае нужно считать только проценты.
Безусловно, при нормальном ходе эксперимента такой ситуации бы не возникло.
Несбалансированность когорт – одна из предпосылок возникновения описанного эффекта. Мне приходилось сталкиваться с поломанными экспериментами и коллегами, которые не понимали, почему нужно выкидывать несбалансированные дни, поэтому привел как один из примеров.
Кстати, утверждение про сложение процентов звучит довольно спорно.
Несбалансированность когорт – одна из предпосылок возникновения описанного эффекта. Мне приходилось сталкиваться с поломанными экспериментами и коллегами, которые не понимали, почему нужно выкидывать несбалансированные дни, поэтому привел как один из примеров.
Кстати, утверждение про сложение процентов звучит довольно спорно.
dkondratiev, привет! Спасибо за статью и наглядные примеры. Советую посмотреть книжку The Book of Why: The New Science of Cause and Effect. В ней есть несколько интересных концептов, которые помогут раскладывать зависимости в мире и не попадаться в ловушки Симпсона. Расширение сознания гарантировано :)
Жду новых статей!
Жду новых статей!
Классная статья, спасибо! Никогда об этом не задумывался. Жду кода на Python'e.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Данные всех стран, не объединяйтесь