Comments 8
Странные вы, Яндексы
Сначала понимаете, что события зависимы
Например, отель посмотрел мужчина с одного аккаунта и скинул посмотреть жене, а она заходит с другого аккаунта и не видит этот объект.
А методы применяете как будто просмотры и заказы независимы и случайны.
И еще, была в школе задача про бассейн - вода через N труб вливается и через М выливается. Так и тут:
добавляй отель в систему, не добавляй - туристов от этого не прибавится и не убавится. Люди путешествуют не потому, что есть Яндекс-путешествия.
А методы применяете как будто просмотры и заказы независимы и случайны.
Тут речь о том, что если у одних пользователей в выдаче будут отсутствовать отели, а у других присутствовать — пользователи могут это заметить и это сильно повлияет на их действия. Например, пользователи могут подумать, что сервис некорректно работает, и уйдут к конкурентам. Или начнут писать про это в соц.сетях. Условное изменение ранжирования выдачи отелей или небольшое изменение дизайна внешнего вида страницы пользователям будет не заметно.
Строго говоря, это верное замечание, что просмотры и заказы не являются независимыми и случайными. Однако, в данном случае влияние сетевого эффекта где-то на 1-2 порядка меньше mde, поэтому им можно пренебречь.
И еще, была в школе задача про бассейн - вода через N труб вливается и через М выливается. Так и тут:
добавляй отель в систему, не добавляй - туристов от этого не прибавится и не убавится. Люди путешествуют не потому, что есть Яндекс-путешествия.
Тоже верно подмечено, но у нас цель — увеличить число туристов, делающих заказ через Яндекс Путешествия. Не найдя нужный отель у нас, человек, скорее всего, не откажется от поездки, но закажет в другом месте, где будет нужный отель, и наш сервис потеряет в доле рынка
Т.е. PSM мало говорит при модуль эффекта, но больше - про его знак? Как понять, что эффект значимый, если PSM что то показало?
Да, при PSM некорректно смотреть именно на конкретные цифры эффекта (потому что считаем изначально по смещенной выборке пользователей, которых лучше знаем). Мы дополнительно это проверили, когда смотрели какой эффект в A/B-тестах при честных расчетах, и при выборке пользователей через PSM
Мы пришли к тому, что если эффект сильный (например, увеличение выручки / среднего чека / кол-ва заказов на несколько процентов) — тогда считаем, что и на генеральной совокупности будет сильный эффект.
Если эффект слабый (десятые доли процента) — тогда это может быть обусловлено особенностью выборки, для нас это аналог ‘серого’ эксперимента
Тут какие-то конкретные цифры давать будет неправильно, потому что это ведь зависит от размера сервиса / количества активных пользователей. Чтобы внутри Путешествий прийти к градации, описанной выше, мы прогнали ряд честных A/B-тестов через PSM, и сравнили размеры эффекта
Удивительно но факт
Статистически устойчивые и практически значимые результаты выше проведённого автором анализа прекрасны с точки зрения анализа поведения тысяч и тысяч юзеров. Но их корректность упирается в тот факт, что они выбирают среди отелей, их вроде также тысячи и тысячи. Но вот незадача, даже в тех локациях, где объектов размещения очень много, люди выбирают не весь регион, а конкретный район города. Еду я в Сочи и каждая сотня метров от моря это очень важно для курортника. Еду я в Москву в командировку и мне важны локации отеля, вокзала и работы, удобство перемещения между ними, я не выбираю по всему городу. Поэтому появление новых отелей или их исчезновение из поисковой выдачи ЯП дает очень разный эффект. Появился новый отель в курортной зоне (новый - только открытый или новый для ЯП), но далеко от моря (или от источника минеральной воды, или от горнолыжного подъемника), и его вклад минимален в силу не притягательности отеля для путешественников. А если появился отель в зоне притяжения путешественников, то число бронирований на ЯП в данной локации поднимется.
Усилия под подбору юзеров, путешествующих в конкретные регионы, интересны с точки зрения методологии, но обобщение их интересов на весь регион ведет к отрыву от реальности.
Предлагаю автору рассмотреть задачу с другой стороны, зайти со стороны отелей. То есть надо оценивать актуальность подключения отелей к ЯП в зонах высокого потребительского спроса. Так делают и отельеры. Надо ли расширять номерной фонд или строить новую гостиницу? Они смотрят загрузку отелей и операционные показатели деятельности отелей данной локации. При таком анализе ЯП имеют преимущество в виде исходных данных по множеству отелей региона. Необходимо искать локации перегретого потребительского спроса, там будут точки роста как для самих отелей, так и для агрегатора. Аналогично делают аналитики в Яндекс.Такси, на основе их данных водители, начинающие поездки в определенных районах и локациях имеют прибавку к вознаграждению. Тепловые карты спроса дают наглядное представление в пространственном и временном разрезах. Для ЯП можно сформировать аналогичные пространственно-временные карты-диаграммы. И предоставлять некоторые бонусы новым подключаемым отелям из зон высокого спроса, а отелям из невостребованных локаций ресурсы на подключение выделять по остаточному принципу.
Верно подмечено. Действительно, инкремент от подключения отеля на курортной линии и в спальном районе будет отличаться на порядки. Но в рамках этой задачи мы отвечали на другой вопрос - есть ли вообще смысл подключать новые отели, или весь их трафик будет отобран у уже подключенных отелей. Для определения оптимальных мест подключения новых отелей PSM не подходит, тут действительно нужно смотреть спрос пользователей в определенных гео
Именно я про это и написал: есть смысл подключать новые отели именно в тех локациях, где есть повышенный спрос. там будет сосредоточен практически весь инкремент по выручке. В остальных локациях спрос будет удовлетворяться практически полностью имеющимися отелями.
Само применение метода PSM замечательно идеей, что в статистическом смысле можно заменить юзера на его двойника и сформировать группы таких двойников, проводя эксперименты и анализ над ними, считая что поведенческие паттерны схожих юзеров будут приводить к похожим действиям на сервисе.
Propensity Score Matching: как строить аналоги A/B-тестов, когда эксперименты невозможны