Рома Смирнов @koshkinoko
Пользователь
Информация
- В рейтинге
- Не участвует
- Откуда
- Санкт-Петербург, Санкт-Петербург и область, Россия
- Дата рождения
- Зарегистрирован
- Активность
Специализация
Продуктовый аналитик
Средний
Python
SQL
A/B тестирование
Пользователь
Привет!
Наблюдаемое значение 1.78 само по себе не означает, что реальный эффект меньше 2. В случае если реальный эффект равен 2, мы можем получать как значения, которые лежат справа от 2, так и слева. К чему приводит игнорирование левой половины распределения можно посмотреть на графиках в статье.
По поводу вопроса на который отвечает статья: статья отвечает на вопрос "Почему не следует сравнивать наблюдаемый аплифт с MDE?". Бизнес такими вопросами обычно не заадается, все верно
Привет! В чистом виде на квантили не смотрим, но смотрим на конверсии в NMV over X, где X - сумма выкупа. Кажется, что с такими метриками попроще работать, чем с квантилями