Расчёт каннибализации на основе классического A/B-теста и метод bootstrap’а

[demimurych]

Все это очень здорово, кроме одного момента: гипотеза о каннибализации в органической выдаче не выдерживает никакой серьезной критики.
Фактически это термин в SEO среде который означает — я понятия не имею почему так происходит. Не говоря уже о прямых не состыковках даже в рамках самой теории.

[Dilemma]

Спасибо! Это важное замечание, нам стоит обудить его с коллегами. Есть ли какие-либо статьи/наработки на этот счёт?

[EXPF]

Вы в статье пишите, что после bootstrap использовали т-статистику. А зачем? Bootstrap самостоятельный оценщик и позволяет получить все необходимые статистики изначально.

[Dilemma]

Bootstrap — это не метод оценки стат.значимости, а метод конструирования подвыборки; визуальный пример и подробное описание метода: online.stat.psu.edu/stat555/node/119

В библиотеке Facebook Bootstrapped реализованы функции: bootstrap() (конктруктор выборки) и bootstrap_ab(). Обе функции подробно описаны в статье:

Цитирую:

bootstrap_ab()

производит все те же действия, что и описанная выше функция bootstrap(), однако дополнительно также <...> рассчитывается метрика, указанная в параметре compare_func, и производится оценка статистической значимости.
<...>
В качестве альтернативы или с целью практичекого эксперимента можно первоначально получить распределения при помощи bootstrap(), проверить статистическую значимость различий целевых метрик при помощи t-test’а