Привет, Хабр! Сегодня поговорим о проверке гипотез и сложностях, которые могут возникнуть в процессе работы. В Сбере постоянно проводятся эксперименты по улучшению пользовательского опыта и ключевых метрик бизнеса. Это может быть улучшение приложений или оптимизация работы сети отделений. И конечно, мы должны видеть, где был реальный эффект, а где нет. Так как экспериментов много, нужно оперативно понимать, что улучшает результат, а что нет. Также нельзя руководствоваться экспертным мнением, решения нужно принимать исключительно на основе исходных данных. Под разные задачи могут требоваться разные подходы. Например, когда речь идёт о приложении, можно использовать стандартный А/Б-подход: сформировать группы; эффект, который хотим получить; сформулировать гипотезу; рассчитать длительность эксперимента. А после подсчитать результаты правильным статистическим тестом или ускорить проведение эксперимента с помощью разных техник, например CUPED.
Но что, если мы хотим изменить дизайн отделений Сбера или создать новый формат, или даже закрыть какую-то часть отделений и понять, как это влияет на поведение клиента и ключевые метрики? В таком случае мы имеем дело с офлайн-точками и не можем просто взять и разбить пользователей на две группы. Придётся изменить методологию оценки эффекта и пользоваться другими методами, которые позволяют получить p-value и оценить итоговый эффект. Давайте посмотрим, как всё это реализовать.
