Когда стоит заменить A/B-тестирование сэмплированием Томпсона

[Opaspap]

Как человек раз в месяц объяснявший в конторе смысл аб теста и удобство его имплементации через остаток хэша от userID, могу сказать, что то что представлено в статье слишком сложно для понимания адопсами и вообще людьми. К тому же возникает необходимость обратной связи клиента с системой статистики и аналитики,(для выбора варианта), что сильно завалит тест из-за инертности и к тому же исключит возможность отслеживания параметров теста в независимых системах (надо всегда идти в бд и понять что за тест был у конкретного юзера, вместо того чтобы просто хэш посчитать)

[es80]

Выглядит как прямое применение Байеса, с дополнительным шагом выборки с учетом апостериорного распределения для каждого из тестируемых образцов.