Верно подмечено. Действительно, инкремент от подключения отеля на курортной линии и в спальном районе будет отличаться на порядки. Но в рамках этой задачи мы отвечали на другой вопрос - есть ли вообще смысл подключать новые отели, или весь их трафик будет отобран у уже подключенных отелей. Для определения оптимальных мест подключения новых отелей PSM не подходит, тут действительно нужно смотреть спрос пользователей в определенных гео
Да, при PSM некорректно смотреть именно на конкретные цифры эффекта (потому что считаем изначально по смещенной выборке пользователей, которых лучше знаем). Мы дополнительно это проверили, когда смотрели какой эффект в A/B-тестах при честных расчетах, и при выборке пользователей через PSM
Мы пришли к тому, что если эффект сильный (например, увеличение выручки / среднего чека / кол-ва заказов на несколько процентов) — тогда считаем, что и на генеральной совокупности будет сильный эффект.
Если эффект слабый (десятые доли процента) — тогда это может быть обусловлено особенностью выборки, для нас это аналог ‘серого’ эксперимента
Тут какие-то конкретные цифры давать будет неправильно, потому что это ведь зависит от размера сервиса / количества активных пользователей. Чтобы внутри Путешествий прийти к градации, описанной выше, мы прогнали ряд честных A/B-тестов через PSM, и сравнили размеры эффекта
А методы применяете как будто просмотры и заказы независимы и случайны.
Тут речь о том, что если у одних пользователей в выдаче будут отсутствовать отели, а у других присутствовать — пользователи могут это заметить и это сильно повлияет на их действия. Например, пользователи могут подумать, что сервис некорректно работает, и уйдут к конкурентам. Или начнут писать про это в соц.сетях. Условное изменение ранжирования выдачи отелей или небольшое изменение дизайна внешнего вида страницы пользователям будет не заметно.
Строго говоря, это верное замечание, что просмотры и заказы не являются независимыми и случайными. Однако, в данном случае влияние сетевого эффекта где-то на 1-2 порядка меньше mde, поэтому им можно пренебречь.
И еще, была в школе задача про бассейн - вода через N труб вливается и через М выливается. Так и тут:
добавляй отель в систему, не добавляй - туристов от этого не прибавится и не убавится. Люди путешествуют не потому, что есть Яндекс-путешествия.
Тоже верно подмечено, но у нас цель — увеличить число туристов, делающих заказ через Яндекс Путешествия. Не найдя нужный отель у нас, человек, скорее всего, не откажется от поездки, но закажет в другом месте, где будет нужный отель, и наш сервис потеряет в доле рынка
Верно подмечено. Действительно, инкремент от подключения отеля на курортной линии и в спальном районе будет отличаться на порядки. Но в рамках этой задачи мы отвечали на другой вопрос - есть ли вообще смысл подключать новые отели, или весь их трафик будет отобран у уже подключенных отелей. Для определения оптимальных мест подключения новых отелей PSM не подходит, тут действительно нужно смотреть спрос пользователей в определенных гео
Да, при PSM некорректно смотреть именно на конкретные цифры эффекта (потому что считаем изначально по смещенной выборке пользователей, которых лучше знаем). Мы дополнительно это проверили, когда смотрели какой эффект в A/B-тестах при честных расчетах, и при выборке пользователей через PSM
Мы пришли к тому, что если эффект сильный (например, увеличение выручки / среднего чека / кол-ва заказов на несколько процентов) — тогда считаем, что и на генеральной совокупности будет сильный эффект.
Если эффект слабый (десятые доли процента) — тогда это может быть обусловлено особенностью выборки, для нас это аналог ‘серого’ эксперимента
Тут какие-то конкретные цифры давать будет неправильно, потому что это ведь зависит от размера сервиса / количества активных пользователей. Чтобы внутри Путешествий прийти к градации, описанной выше, мы прогнали ряд честных A/B-тестов через PSM, и сравнили размеры эффекта
Тут речь о том, что если у одних пользователей в выдаче будут отсутствовать отели, а у других присутствовать — пользователи могут это заметить и это сильно повлияет на их действия. Например, пользователи могут подумать, что сервис некорректно работает, и уйдут к конкурентам. Или начнут писать про это в соц.сетях. Условное изменение ранжирования выдачи отелей или небольшое изменение дизайна внешнего вида страницы пользователям будет не заметно.
Строго говоря, это верное замечание, что просмотры и заказы не являются независимыми и случайными. Однако, в данном случае влияние сетевого эффекта где-то на 1-2 порядка меньше mde, поэтому им можно пренебречь.
Тоже верно подмечено, но у нас цель — увеличить число туристов, делающих заказ через Яндекс Путешествия. Не найдя нужный отель у нас, человек, скорее всего, не откажется от поездки, но закажет в другом месте, где будет нужный отель, и наш сервис потеряет в доле рынка