Комментарии 26
Б настолько плох, что на его фоне все активно выбирают А, хотя на самом деле А ничем не примечателен.
Так не в этом ли цель А/Б чтоб выявить что лучше — А или Б?
а вы пробовали многоруких бандитов?
получается, что надо к варианту переплетения A1, Б1, А2, Б2 добавлять вариант Б1, А1, Б2, А2… и… мы вернулись к базовому А/Б?
В практической реализации на самом деле еще очень много нюансов: очень сложно убирать результаты, которые вернули оба алгоритма, но на разных позициях, и сложно работать со случаями, когда алгоритмы возвращают почти идентичные результаты с несколькими перестановками.
Случай с баром ну очень надуманный, более того, совершенно некорректно интерпретирует саму идею A/B тестов. При измерении влияния изолированного фактора необходимо полностью соблюдать принцип идентичности остальных факторов. То есть, если говорить, например, о ранжировании, то классический A/B тест предполагает не открытие двух абсолютно одинаковых площадок, а смену алгоритма выдачи для конкретного посетителя в случайном порядке. Если говорить Вашим языком, то в одном и том же баре в одно и то же время первому посетителю мы будем предлагать налить пепси, а второму — колу. Опыт нетфликса применим лишь для узкого спектра гипотез, заточен под конкретный процесс и именно поэтому даёт потрясающий результат в конкретном контексте. Копировать опыт "больших дядь" — не всегда хорошая идея.
Я согласна, что у переплетения очень ограниченная область применения, но мне кажется, что об этом методе активно знают гораздо меньше людей, чем стоило бы. Формирование списка товаров в интернет-магазине это отличный повод применить переплетение, однако его очень редко используют.
Я не очень понимаю, почему вы думаете, что стоить умозрительную модель двух баров, различающихся только одной деталью не корректно.
Я считаю это некорректным, потому что при A/B тестировании веб-проекта невозможно представить себе две площадки, абсолютно идентичные по посещаемости, популярности, с одинаковой упоминаемостью в интернете и идентичной аудиторией. A/B тестирование — это про изменение состояния одного, в нашем случае, бара, пожалуйста, не вводите людей в заблуждение.
Я не очень понимаю, почему вы думаете, что стоить умозрительную модель двух баров, различающихся только одной деталью не корректно
Как минимум потому, что такой вариант подразумевает, что у пользователя есть выбор. Обычно же A/B тестирование работает довольно ультимативно и как раз не предоставляет пользователю выбора (хотя бы потому, что выбор это очень сложно и дискомфортно). В рамках аналогии с баром, это было бы верно, если бы в баре 10% пользователей наливали бы pepsi вместо колы.
Прилетаешь, допустим, куда-нибудь, открываешь приложение чтобы посмотреть например локацию отеля, а кнопка уже не там, где была раньше и немного тупишь. Продакт менеджменту оно, конечно, удобно, а мне, как пользователю — нет.
Я стараюсь смотреть на это как на цену, которую нам всем приходится платить за то, чтобы продукты становились лучше.
Если в баре (американском) будут на выбор кока-кола и (например) хлебный квас, то большинство выберет кока-колу. Хотя если лишить людей кока-колы (скажем, на неделю) и оставить только квас, то (возможно) люди оценят вкус хлебного кваса и никогда уже не купят кока-колу.
Тестирование «переплетением» – в 100 раз быстрее АБ теста