Привет) Спасибо большое за теплые слова, это очень мотивирует развивать продукт и делать его лучше и понятнее для пользователя :)
Уточните пжл правильно ли я понимаю представление результатов: если выборочные средние метрики распределены нормально, то я могу использовать значения t-теста, а если нет, то проверяю входит ли 0 в диапазон lift+-MoE?
В платформе оба указанных представления равнозначны. То есть если p-value соответствующий статистике t-теста ниже заданного уровня значимости, то и 0 не попадет в диапазон lift +- MoE. При этом мы также позволяем посмотреть на этот доверительный интервал и в динамике по дням по клику на ячейки в отчете эксперимента Если нарушаются предпосылки использования t-теста, то тут уже возникает вопрос выбора подходящего критерия для принятия решения, но это уже совсем другая история =)
Планируете добавлять в платформу методы снижения дисперсии?
Да, мы планируем добавлять хорошо показавшиеся себя на практике методы снижения дисперсии в платформу)
Однако, пожалуй, самый надежный и эффективный способ получить максимум полезных результатов из эксперимента - подбор подходящих прокси-метрик, можно использовать в полной мере уже сейчас за счет высокой гибкости инфраструктуры метрик
Привет) Спасибо большое за теплые слова, это очень мотивирует развивать продукт и делать его лучше и понятнее для пользователя :)
В платформе оба указанных представления равнозначны. То есть если p-value соответствующий статистике t-теста ниже заданного уровня значимости, то и 0 не попадет в диапазон lift +- MoE. При этом мы также позволяем посмотреть на этот доверительный интервал и в динамике по дням по клику на ячейки в отчете эксперимента
Если нарушаются предпосылки использования t-теста, то тут уже возникает вопрос выбора подходящего критерия для принятия решения, но это уже совсем другая история =)
Да, мы планируем добавлять хорошо показавшиеся себя на практике методы снижения дисперсии в платформу)
Однако, пожалуй, самый надежный и эффективный способ получить максимум полезных результатов из эксперимента - подбор подходящих прокси-метрик, можно использовать в полной мере уже сейчас за счет высокой гибкости инфраструктуры метрик
Спасибо еще раз вопросы и отношение к продукту)