Метрики теста

В дизайне эксперимента ключевое значение имеет выбор правильной метрики, на которую должна влиять проверяемая гипотеза. Если команды не фокусируются на конкретной метрике и пытаются изучить все сразу, это часто приводит к плохо спланированным экспериментам и искажению результатов. Это может случиться, если команда не просчитала ожидаемый эффект от гипотезы или сделала это неверно.

Лучший подход – выделить ключевую метрику, исходя из OKR (целей и ключевых результатов) команды или продукта. Это помогает понять, какие показатели нужно улучшать и ограничить выбор гипотез, делая их более релевантными. Важно составить дерево метрик, которое помогает понять взаимосвязь между различными показателями.

На практике продуктовые команды не всегда могут напрямую влиять на бизнес-метрики, так как они зачастую складываются из других показателей. В Лиге мы инвестируем много времени в разработку общего дерева метрик, которое разбивает бизнес-метрики на составляющие, связывает их с продуктовыми метриками и устанавливает уровни их чувствительности. Это упрощает выбор метрик в команде и помогает понять, на что они могут реально повлиять и как это скажется на главной метрике.

Не начинайте эксперименты, не понимая точно, как и на какую метрику повлияет изменение. Лучше заранее провести расчеты, чем тратить ресурсы на разработку и тестирование без четкого плана.