Как оценить акцию без A/B-теста: от простых способов к сложным

[ErshoffPeter]

Интересная тема!

Но не раскрыт вопрос как считать выхлоп от акции на сезонно (или вообще) падающем рынке, особенно, если с предыдущего сезона у всс был рост количества клиентов с непонятным качеством. То есть акция в этом январе, сравнивать надо, по идее с прошлым январём, но тогда было сто тыщ клиентов, а сейчас уже мильён.

[Sigmoida]

Спасибо!

Для этого нам и нужна контрольная группа: целевая и контрольная группы подвергаются одинаковой сезонности, так как периоды одинаковы и рынок один и тот же. Вся проблема вашего примера в том, что вы рассматриваете всех клиентов в куче, без выделения целевой и контрольной группы (хотя бы синтетической).

На упрощённом примере, почему сезонность нам не мешает, если есть целевая группа и контрольная:

Пусть базовое состояние метрики будет равно B, коэффициент сезонного влияния будет обозначен как S, а коэффициент влияния акции пусть будет A. Тогда, условно, у целевой группы этот показатель будет равен BSA, а у контрольной группы (которая в акции не участвовала) показатель будет равен BS. Сокращаем BS у обеих групп, остаётся только влияние акции A.