в общем случае подобными экспериментами мы пытаемся оцениваеть то, что в литературе называется average treatment effect (ATE), т.е. средний эффект в целом, и да - он в приведенном примере будет 0
если у нас есть предположение о том, что пользователи по-разному реагируют на наше воздействие, мы имеем дело с необходимостью оценки conditional average treatment effect (CATE), т.е. эффекта, обусловленного какими-то признаками пользователя
как минимум, нам нужно понимать, что это могут быть за признаки - например, пол (условно женщины лучше отрегировали, чем мужчины)
простой случай - мы можем использовать данные эксперимента и смотреть на тот же ATE, но уже в разрезе конкретной группы (например, только среди мужчин или только среди женщин). при этом важно учитывать типичные проблемы такого подхода: например, доверительные интервалы растут из-за уменьшения размеров групп (-> снижается мощность), а также появляется проблема множественных сравнений
часто для решения такой задачи используется то, что называется meta-learners. один из вариантов - S-learner: обучаем на наших экспериментальных данных ml-модель для предсказания Y на основе D и X, а затем она же используется для предсказания Y у каждого наблюдения на основе его X в двух сценариях: с D = 1 и D = 0, и разница между этими сценариями - оценка индививидуального эффекта для наблюдения.
привет, спасибо за вопрос!
в общем случае подобными экспериментами мы пытаемся оцениваеть то, что в литературе называется average treatment effect (ATE), т.е. средний эффект в целом, и да - он в приведенном примере будет 0
если у нас есть предположение о том, что пользователи по-разному реагируют на наше воздействие, мы имеем дело с необходимостью оценки conditional average treatment effect (CATE), т.е. эффекта, обусловленного какими-то признаками пользователя
как минимум, нам нужно понимать, что это могут быть за признаки - например, пол (условно женщины лучше отрегировали, чем мужчины)
простой случай - мы можем использовать данные эксперимента и смотреть на тот же ATE, но уже в разрезе конкретной группы (например, только среди мужчин или только среди женщин). при этом важно учитывать типичные проблемы такого подхода: например, доверительные интервалы растут из-за уменьшения размеров групп (-> снижается мощность), а также появляется проблема множественных сравнений
часто для решения такой задачи используется то, что называется meta-learners. один из вариантов - S-learner: обучаем на наших экспериментальных данных ml-модель для предсказания Y на основе D и X, а затем она же используется для предсказания Y у каждого наблюдения на основе его X в двух сценариях: с D = 1 и D = 0, и разница между этими сценариями - оценка индививидуального эффекта для наблюдения.