В нашем случае мы проверяли статзначимость улучшений на бизнес метриках.
Наша ml-метрика f-beta коррелируют с нашей бизнес метрикой, по этому при повышении f-beta с некоторой долей вероятности повысится и бизнес метрика. По этому первоначальная проверка просто по f-beta, а дальше обычный AB-test.
В нашем случае мы проверяли статзначимость улучшений на бизнес метриках.
Наша ml-метрика f-beta коррелируют с нашей бизнес метрикой, по этому при повышении f-beta с некоторой долей вероятности повысится и бизнес метрика. По этому первоначальная проверка просто по f-beta, а дальше обычный AB-test.
del