Оптимизируем A/B-тесты: единый шаблон и DIY-инструментарий для аналитиков

[Mr_Costello]

Отличная статья, большое спасибо!

Остались непонятны некоторые моменты.

Видно, что у нулевого с первым lift и MDE под конец практически равны. Это заставляет сомневаться в статистической значимости результата, но пока вроде бы lift чуть пониже.

Объясните, пожалуйста, тут подробнее: почему заставляется сомневаться? Ведь если lift выше mde - это наоборот хорошо? Т.к. мы получили различие, которое выше минимального эффекта, который мы можем отследить? Тут я скорее всего чего-то не понял.

[MyM1k]

Добрый день! Это наша ошибка, поправили текст. Вы правы, что когда lift выше mde — это хорошо. Но когда они практически равны, нужно быть настороже и аккуратно оценивать дальнейшие результаты. Спасибо за внимательность!