Кстати, эффективность рекламной активности, мы, как и прежде в классическом подходе, оценивали именно через привлечение трафика. На средний чек в данном случае ориентира не было, так как считается, что на поведение покупателя в магазине, и, соответственно, сумму, которую он там оставит, влияет много дополнительных факторов (система скидок, реклама внутри самих магазинов). Поэтому пытаться связывать средний чек с объёмами рекламы на внешних носителях было бы сложно и не очень корректно.
Но ведь трафик может быть абсолютно разный? То есть мы же можем привести целевую аудиторию или не целевую да и вообще есть подозрение что с увеличением трафика, его качество естественным образом падает. Что ты сам лично думаешь по поводу того, имеет ли смысл отслеживтаь средний чек? Может пришли люди, которые накупили только товаров, продающихся ниже маржи (Сахара например)
Традиционно считается, что есть оптимальная точка насыщения, после которой эффективность вклада снижается и падает до нуля. То есть при увеличении затрат эффективность не вырастет. Сейчас у всех крупных ретейлеров на рынке объёмы инвестиций в рекламу находятся за точкой насыщения, и в целом это осознанная стратегия.
А вот тут кстати интересно, ведь это же нетолько объем как есть но и доля? Возможно если конкуренты тратят больше денег то и мы должны, иначе доля упадет?
Результаты модели также привели к оценкам ROI, показатели которого стабильно превышали 10. Несмотря на то, что вывод реализованной модели говорит о высокой эффективности, при увеличении затрат ROI, как правило, начинает снижение из‑за ограничения ёмкости рынка и кривых отклика от рекламы.
ROI 10 это же супер! При таком ROI можно ведь смело максимизировать затраты, при ограничении ROI на уровне не ниже банковской ставки, что то вроде 1.15. Почему бы наооборот не вливать больше? Или есть подозрение что это уже максимум ревенью ?
Послдений вопрос, правильно понимаю что обновляли коэффициенты после проведения экспериментов и смотрели их распределение во времени?
Ты написал что было три ревью, за последнее, видимо ввиду кризиса, изменение зарплаты могло быть отложено, но почему тебе зарплату изменили один раз, а не два?
Ты получил оценку D, то есть превосходит ожидания, за количество работы, превосходящее необходимое, судя по всему если бы тв работал в стандартном графике, то получил бы оценку соответствует ожиданиям — кажется это довольно честно
Даже твои RSU полученные не с начальным грантом, которого не было, а на ревью, уже начали превращаться в деньги, каждое следующее полугодие увеличивало бы эту сумму вдвое, то есть даже в твоем случае это уже не совсем пустышка. Видимо вместо начального гранта Яндекса инвестировал 800 тысяч (исходя из твоего комментария про повышение зарплаты делаю вывод что твоя зарплата была около 200к/в месяц), которые были потрачены на твой переезд, проживание, поиск жилья и первые месяца съема
Насколько я понимаю компенсации на обеды и зарплата это разные вещи, не думаю что стоит винить Яндекс в экономических проблемах из-за короновируса.
Ты пишешь что доход за год никак не изменился. Но ведь зарплату тебе увеличили на 3-6-9 месяцев раньше, чем снизили лимит на бейджик? Повышенную премию по результатам ревью ты тоже не учитываешь в общий доход?
Все-таки непонятно, уже через год ты получаешь от выданных 25% RSU, не будем брать в расчет что сейчас клиф убрали, но ты уже апреле мог получить деньги с грантов за зимнее ревью и 25% от гранта выданного при приеме(если он был), вряд-ли полученные деньги можно назвать пустышкой
Про заниженные всем оценки и твои D тоже непонятно — значит тебе по какой-то причине не занизили? Зарплата у тебя по итогам ревью не менялась в сторону увеличения и повышенная премия не выдавалась?
Ты пишешь что всем понизили оценки, но ведь у тебя было три D — значит тебе не понизили, поставили высокую?
Раз ты получал D — то размер гранта увеличивался кратно и автоматически выростала заплата, на заметный процент, но ты пишешь что зарплата не изменилась
Основной тезис сообщения — рефрешер общедоступен, его получение не требует титанических усилий
Я привел те цифры, которые существует на определенных уровнях в определенной компании, про частоту встречаемости таких левелов написано было в самом тексте и повторять это я не вижу смысла, но в тоже время до 5 уровня ТС приведен, а дальше нет, с этой точки зрения мое сообщение дает дополнительную информацию и поправляет один факт из статьи
Если смотреть каждый день в тест в ожидании MDE, возрастает верояность его ложно принять. Даже наличие стат значимого MDE при разовом просмотре теста не гарантирует что не будет ошибки, при многократном просмотре риск растет, разве нет?
Промоделировать это довольно просто или можно посмотреть здесь varianceexplained.org/r/bayesian-ab-testing
Теперь возникает вопрос: как провести T-test и MW-test для Ratio-метрик? Для T-test нужно уметь считать дисперсию выборки, а для MW выборка должна быть «поюзерной».
Что мешает считать дисперсию для метрика отношения, говорим что это биномиальное распределение/бернули, оценочная дисперсия p*(1-p)
Теперь переходим к новой экспериментальной единице — бакет. Наблюдения в бакете суммируем (числитель и знаменатель независимо):
Вы оценивали процент ошибок (например на синтетике или уже проведенном А/Б) первого/второго рода, при разных B, от B = N до B = const c разными значениеяси
Теперь возникает вопрос: как провести T-test и MW-test для Ratio-метрик? Для T-test нужно уметь считать дисперсию выборки, а для MW выборка должна быть «поюзерной».
Ответ: нужно разложить Ratio в ряд Тейлора до первого порядка в точке:
Данная формула преобразует две выборки (числитель и знаменатель) в одну, сохраняя среднее и дисперсию (асимптотически), что позволяет применять классические стат. тесты.
Похожую идею коллеги из Яндекса называют методом линеаризации Ratio (выступления раз и два).
Почему не стали использовать линеаризацию, она выглядит вычислительно проще и элегантнее
Смотрю код и пытаюсь понять
Зачем в классе mean_vectorizer функция fit
def fit(self, X):
return self
Разве не проще
Вместо
mean_vectorizer(w2v).fit(train_df['list_w']).transform(train_df['list_w'])
Сделать
mean_vectorizer(w2v).transform(train_df['list_w'])
Макс, спасибо за статью
Но ведь трафик может быть абсолютно разный? То есть мы же можем привести целевую аудиторию или не целевую да и вообще есть подозрение что с увеличением трафика, его качество естественным образом падает. Что ты сам лично думаешь по поводу того, имеет ли смысл отслеживтаь средний чек? Может пришли люди, которые накупили только товаров, продающихся ниже маржи (Сахара например)
А вот тут кстати интересно, ведь это же нетолько объем как есть но и доля? Возможно если конкуренты тратят больше денег то и мы должны, иначе доля упадет?
ROI 10 это же супер! При таком ROI можно ведь смело максимизировать затраты, при ограничении ROI на уровне не ниже банковской ставки, что то вроде 1.15. Почему бы наооборот не вливать больше? Или есть подозрение что это уже максимум ревенью ?
Послдений вопрос, правильно понимаю что обновляли коэффициенты после проведения экспериментов и смотрели их распределение во времени?
Ты получил оценку D, то есть превосходит ожидания, за количество работы, превосходящее необходимое, судя по всему если бы тв работал в стандартном графике, то получил бы оценку соответствует ожиданиям — кажется это довольно честно
Даже твои RSU полученные не с начальным грантом, которого не было, а на ревью, уже начали превращаться в деньги, каждое следующее полугодие увеличивало бы эту сумму вдвое, то есть даже в твоем случае это уже не совсем пустышка. Видимо вместо начального гранта Яндекса инвестировал 800 тысяч (исходя из твоего комментария про повышение зарплаты делаю вывод что твоя зарплата была около 200к/в месяц), которые были потрачены на твой переезд, проживание, поиск жилья и первые месяца съема
Насколько я понимаю компенсации на обеды и зарплата это разные вещи, не думаю что стоит винить Яндекс в экономических проблемах из-за короновируса.
Ты пишешь что доход за год никак не изменился. Но ведь зарплату тебе увеличили на 3-6-9 месяцев раньше, чем снизили лимит на бейджик? Повышенную премию по результатам ревью ты тоже не учитываешь в общий доход?
Про заниженные всем оценки и твои D тоже непонятно — значит тебе по какой-то причине не занизили? Зарплата у тебя по итогам ревью не менялась в сторону увеличения и повышенная премия не выдавалась?
Ты пишешь что всем понизили оценки, но ведь у тебя было три D — значит тебе не понизили, поставили высокую?
Раз ты получал D — то размер гранта увеличивался кратно и автоматически выростала заплата, на заметный процент, но ты пишешь что зарплата не изменилась
Я привел те цифры, которые существует на определенных уровнях в определенной компании, про частоту встречаемости таких левелов написано было в самом тексте и повторять это я не вижу смысла, но в тоже время до 5 уровня ТС приведен, а дальше нет, с этой точки зрения мое сообщение дает дополнительную информацию и поправляет один факт из статьи
Базовый рефрешер в ФБ на E6 — 240, Е7 — 480 и дальше, это при оценке ME при ЕЕ — x1.3 при SE x2
Все легко прочитать на blind можно
Промоделировать это довольно просто или можно посмотреть здесь
varianceexplained.org/r/bayesian-ab-testing
Что мешает считать дисперсию для метрика отношения, говорим что это биномиальное распределение/бернули, оценочная дисперсия p*(1-p)
Вы оценивали процент ошибок (например на синтетике или уже проведенном А/Б) первого/второго рода, при разных B, от B = N до B = const c разными значениеяси
Почему не стали использовать линеаризацию, она выглядит вычислительно проще и элегантнее
Не возникает ли здесь проблемы многократного тестирования гипотезы?
Смотрю код и пытаюсь понять
Зачем в классе mean_vectorizer функция fit
def fit(self, X):
return self
Разве не проще
Вместо
mean_vectorizer(w2v).fit(train_df['list_w']).transform(train_df['list_w'])
Сделать
mean_vectorizer(w2v).transform(train_df['list_w'])
Смотрю на глаз — код не прогонял