Что касается уроков - да, вы правы. CJM устроен в основном так, что ученик покупает пакет уроков, и потом его расходует. И если у него урок не случился из-за инцидента, то он скорее всего его перенесет и пройдет условно на следующей неделе (в статье я об этом писать не стал, но если урок именно перенесен, то мы берем коэффициент для такой потери 0.5, так как это средняя вероятность того что перенесенный урок будет пройден с первого переноса).
Чтобы посчитать именно "потери-потери" - деньги, которые не получит компания, то нужно смотреть на то как повлиял инцидент на конечный LTV ученика. Так как из-за инцидента могла снизиться лояльность у пользователя и, соответственно, он не купит новый пакет уроков (или запросит возврат средств). Но здесь сложность в том, что инцидент инциденту - рознь, и влияние на LTV у каждого инцидента может быть разным. Нужна очень большая выборка по данным, чтобы научиться инциденты по такому признаку классифицировать и корректно оценивать их влияние на LTV. В эту историю мы пока не пошли.
Сейчас для бизнеса важнее понимать: а сколько в конкретную неделю мы недополучили выручки из-за инцидентов. Чтобы анализировать, что вот был план X по выручке на эту неделю, и мы его не достигли из-за потерь по инцидентам Y.
Нет, имелся в виду Casual Impact, можно здесь про него прочитать. Но в сторону Causal inference тоже подумать стоит. Сейчас в модели работает так, что если метрика просела, то мы списываем это на инцидент, хотя он может не иметь к этому отношения (Например, во время инцидента просела метрика, связанная с оплатами, из-за проблем на стороне платежных систем, а не нашего биллинга).
А альфу выбрали ту, которая показала наибольшую точность при оценке модели.
Спасибо за прочтение и комментарий!
Что касается уроков - да, вы правы. CJM устроен в основном так, что ученик покупает пакет уроков, и потом его расходует. И если у него урок не случился из-за инцидента, то он скорее всего его перенесет и пройдет условно на следующей неделе (в статье я об этом писать не стал, но если урок именно перенесен, то мы берем коэффициент для такой потери 0.5, так как это средняя вероятность того что перенесенный урок будет пройден с первого переноса).
Чтобы посчитать именно "потери-потери" - деньги, которые не получит компания, то нужно смотреть на то как повлиял инцидент на конечный LTV ученика. Так как из-за инцидента могла снизиться лояльность у пользователя и, соответственно, он не купит новый пакет уроков (или запросит возврат средств). Но здесь сложность в том, что инцидент инциденту - рознь, и влияние на LTV у каждого инцидента может быть разным. Нужна очень большая выборка по данным, чтобы научиться инциденты по такому признаку классифицировать и корректно оценивать их влияние на LTV. В эту историю мы пока не пошли.
Сейчас для бизнеса важнее понимать: а сколько в конкретную неделю мы недополучили выручки из-за инцидентов. Чтобы анализировать, что вот был план X по выручке на эту неделю, и мы его не достигли из-за потерь по инцидентам Y.
Нет, имелся в виду Casual Impact, можно здесь про него прочитать. Но в сторону Causal inference тоже подумать стоит. Сейчас в модели работает так, что если метрика просела, то мы списываем это на инцидент, хотя он может не иметь к этому отношения (Например, во время инцидента просела метрика, связанная с оплатами, из-за проблем на стороне платежных систем, а не нашего биллинга).
А альфу выбрали ту, которая показала наибольшую точность при оценке модели.