Есть вопрос касательно того, как выбрать варианты цен для ценообразования. На практике чаще всего как происходит: менеджеры составляют какие то ценовые стратегии или ,например, вы используете какое-то ML решение ?
А если мы хотим оценить подобную метрику, где числитель не зависит от знаменателя, (в качестве пример приведу свою метрику - отношение рекламной выручки к общей выручке, где не для каждого числителя есть знаменатель), то в таком случае лучше использовать бутстрап ?
В вашем примере расчета линеаризации есть пользователи с нулевыми значениями числителя и знаменателя, есть ли в этом смысл ? Например в оригинальной статье по линеаризации указано следующее - where X and Y are some user level metrics (we assume that Y is positive) (см. пункты 3.2, 4.2 и 4.3 ), то есть судя по данному определению, знаменатель не может быть меньше или равен нулю. Также это не слишком стыкуется с самим описанием подхода - мы же хотим оценить эффект на non-user уровне, то есть несмотря на то, что мы сплитуем в тесте пользователей, оценка происходит на единицу наблюдения в знаменателе. Резюмируя - если нету наблюдения - то что оценивать ?
Добрый день! Спасибо за статью! Возникло несколько вопросов по ранней остановке тестов: 1) Как правильно определить параметр ? ? Как я понял это можно сделать на исторических данных перед запуском, так ли это ? 2) Работает ли предложенный вами способ множественного тестирования для ранней остановки тестов? Нам ведь все равно необходимо контролировать FWER. 3) Можете пожалуйста поделиться реализацией для mSPRT?
Привет! Спасибо за статью, очень интересно!
Есть вопрос касательно того, как выбрать варианты цен для ценообразования. На практике чаще всего как происходит: менеджеры составляют какие то ценовые стратегии или ,например, вы используете какое-то ML решение ?
А если мы хотим оценить подобную метрику, где числитель не зависит от знаменателя, (в качестве пример приведу свою метрику - отношение рекламной выручки к общей выручке, где не для каждого числителя есть знаменатель), то в таком случае лучше использовать бутстрап ?
Добрый день, спасибо за статью !
У меня есть вопрос касательно ratio-метрик:
В вашем примере расчета линеаризации есть пользователи с нулевыми значениями числителя и знаменателя, есть ли в этом смысл ? Например в оригинальной статье по линеаризации указано следующее - where X and Y are some user level metrics (we assume that Y is positive) (см. пункты 3.2, 4.2 и 4.3 ), то есть судя по данному определению, знаменатель не может быть меньше или равен нулю. Также это не слишком стыкуется с самим описанием подхода - мы же хотим оценить эффект на non-user уровне, то есть несмотря на то, что мы сплитуем в тесте пользователей, оценка происходит на единицу наблюдения в знаменателе. Резюмируя - если нету наблюдения - то что оценивать ?
Добрый день! Спасибо за статью! Возникло несколько вопросов по ранней остановке тестов:
1) Как правильно определить параметр ? ? Как я понял это можно сделать на исторических данных перед запуском, так ли это ?
2) Работает ли предложенный вами способ множественного тестирования для ранней остановки тестов? Нам ведь все равно необходимо контролировать FWER.
3) Можете пожалуйста поделиться реализацией для mSPRT?