Классический вариант — это наиболее известный Т-тест Стьюдента. У него есть определенные теоретические ограничения. В частности, мы хотим, чтобы средние подвыборок генеральной совокупности имели нормальное распределение (а не само распределение, что является частым заблуждением). На практике при достаточно больших выборках этот тест показывает себя отлично.
Как бальзам на душу. Постоянно приходится это доказывать, однажды даже слышал это заблуждаение от организации, которая занимается исключительно косультациями по a/b.
А как вы боритесь с риском ложного отклонения гипотезы при ежедневном подсчёте стат значимости? Используете секвенциальные тесты?
А не подскажете какого-нибудь практического руководства как этим пользоваться? Что-то по середине между постом в блоге и научной работой. Звучит очень интересно, хотелось бы попробовать, но без глубокого погружения в теорию. Про обычные A/B, стат значимость и пр я знаю довольно хорошо, базовое понимание тер вера имеется.
Огромное спасибо за статью!
Несколько вопросов, если можно:
1) В рамках эксперимента вы оцениваете сразу несколько метрик. Используете ли какие-то поправки для групповой проверки гипотез (бонферони и тп)?
2) В какой ситуации вы принимаете решение об остановке эксперимента? Только когда достигнут размер выборки необходимый для достижения нужной стат мощности?
3) Как вы формулируете нулевую / альтернативную гипотезы если нужно проверить что некоторая метрика не упала?
А какой период используется для скользящего среднего? Разве скользящее среднее не должно сгладить сезонность? И не поделитесь псевдокодом для рассчёта интервала который для мониторинга используется?
А при использовании критерия Манна-Уитни продолжительность теста фиксировать не надо? Те можно останавливать тест как только нужный процент правоты достигнут? Или сенквенциональный подход используется? А какая-то поправка используется для тестирования с несколькими целевыми показателями или для Манна-Уитни не нужно?
А я верно понял, что метод «одноруких бандитов» ставит перед собой цель не выявить лучшую вариацию для последующей раскатки, а максимизировать прибыль именно в период теста? Этот метод применяется в ситуации когда время работы тестируемой системы не ограничено? Те, скажем, не рекламная кампания на неделю, а лэндинг страница, которая используется на протяжении нескольких лет. Есть ли какой-то формальный критерий, согласно которому одна из вариаций выкидывается из теста?
Так не в объёме данных дело, а в числе уникальных пользователей пользующихся сайтом в течение некоторого временного интервала (как описано по ссылке). Опять же, ошибки при выгрузке не будет, проблема проявляется иначе: часть данных записана на один и тот же идентификатор пользователя (что-то вроде other или 0, не помню точно что апи возвращает). Если конечно у вас не платный аккаунт в ga
Возможно raw data? С предложенным подходом, насколько я знаю, есть проблема: если уникальных пользователей больше 100К, все пользователи после этого числа попадут в other support.google.com/analytics/answer/1009671?hl=en
1) Когда компания небольшая, приходится совмещать эти роли. Сам данных намайнил-сам на них и обучил
10) Очень нужны, для меня это сложнее, чем получить данные или настроить алгоритм
Тк конверсия скорее всего не высокая, чтобы выиграть, нужно скинуть конкуренту много плохих пользователей, перекос в размерах сегментах будет очень значительным.
Вы исходя из своего опыта говорите? У меня создалось иное впечатление. Я не занимался напрямую продажами, однако поддерживал общение с пользователями, читал отзывы на наши продукты. Должен сказать, что большинство американцев — безнадёжные любители халявы. К примеру когда мы продавали более дешёвый аналог одной платной программы, они говорили зачем мы будем платить за более дешёвый вариант, если более дорогой есть на торренте? Про их отношение к копирайтам и правообладателям я вообще молчу, я подобного инфантилизма в жизни не слышал.
Руководствуясь вашей логикой никто программу для восстановления файлов не купит, тк случайное удаление файла (даже если это происходит часто), все воспринимают как разовый форс-мажор.
Ну это собственно к вопросу почему банк так удивился.
Передавать некоторый service container у которого можно получить экземпляр класса бд. Те вместо многих синглтонов один service container. И его передавать в конструктор, либо самого сделать синглтоном.
Ну у симфони в их компоненте dependency injection проблема ленивой авторизации решается. У вас есть некоторый объект Context, который передаётся в конструкторы и хранится внутри объекта. Когда вам понадобится класс бд вызываете метод Context->getDBClass, например, и именно тогда создаётся экземпляр класса бд. При повторном вызове метода естественно возвращается ссылка на тот же экземпляр что и раньше.
Попав пару раз под проливной дождь, покатавшись в холод, намучившись с ямами, лужами, припаркованными у обочин машинами, агрессивными автолюбителями, брусчаткой, ливневыми колодцами, пробками, я пришёл к выводу что велосипед это быстро, здорово, но ни в коем случае не комфортно. Если после велосипеда мне стал нравиться наш общественный транспорт, то уж этот «гроб на колёсиках» будет просто прекрасным выходом.
Кстати, те, кто называет минусом системы невозможность обгона, не учитывают, что при плотном велосипедном движении обогнать кого-то далеко не просто. Видел такое в Амстердаме.
Как бальзам на душу. Постоянно приходится это доказывать, однажды даже слышал это заблуждаение от организации, которая занимается исключительно косультациями по a/b.
А как вы боритесь с риском ложного отклонения гипотезы при ежедневном подсчёте стат значимости? Используете секвенциальные тесты?
Несколько вопросов, если можно:
1) В рамках эксперимента вы оцениваете сразу несколько метрик. Используете ли какие-то поправки для групповой проверки гипотез (бонферони и тп)?
2) В какой ситуации вы принимаете решение об остановке эксперимента? Только когда достигнут размер выборки необходимый для достижения нужной стат мощности?
3) Как вы формулируете нулевую / альтернативную гипотезы если нужно проверить что некоторая метрика не упала?
А какой период используется для скользящего среднего? Разве скользящее среднее не должно сгладить сезонность? И не поделитесь псевдокодом для рассчёта интервала который для мониторинга используется?
А при использовании критерия Манна-Уитни продолжительность теста фиксировать не надо? Те можно останавливать тест как только нужный процент правоты достигнут? Или сенквенциональный подход используется? А какая-то поправка используется для тестирования с несколькими целевыми показателями или для Манна-Уитни не нужно?
1) Когда компания небольшая, приходится совмещать эти роли. Сам данных намайнил-сам на них и обучил
10) Очень нужны, для меня это сложнее, чем получить данные или настроить алгоритм
Ну это собственно к вопросу почему банк так удивился.
И кстати, у меня нет никакой уверенности, что в случае с МВД US не было коррупционной составляющей.
Кстати, те, кто называет минусом системы невозможность обгона, не учитывают, что при плотном велосипедном движении обогнать кого-то далеко не просто. Видел такое в Амстердаме.