Эта проблема на самом деле, кажется, не зависит от методики тестирования, на результаты А/Б этот эффект тоже повлияет. Для этого есть специальный вид экспериментов, если в гипотезу заложено начальное отторжение. Обычно выделяют не очень большую когорту пользователей, и подвергают длительному воздействию. Из-за того что такие эксперименты длинные по природе, нужны очень веские основания, чтобы тратить ресурсы на то, чтобы «переучивать» пользователей.
Если изменение планруется ввести для всех, то так делать нельзя. Изменение надо тестировать на всех, кого оно затронет, смысл в том, чтобы понять результат изменения.
Я согласна, что это раздражает (особенно если потом кнопка вернется на место). Продакт менеджеры знают, что абсолютно любое изменение будет вызывать раздражение активной лояльной аудитории, даже если оно объективно улучшает продукт и готовы к этому. Дуров так и не вернул стену.
Я стараюсь смотреть на это как на цену, которую нам всем приходится платить за то, чтобы продукты становились лучше.
Я не очень понимаю, почему вы думаете, что стоить умозрительную модель двух баров, различающихся только одной деталью не корректно. Я это себе представляю как то, что мы создаем идентичный пользовательский опыт, но отличающийся в одном аспекте, который нас интересует – далеко не всегда это будет ровно один элемент. Бывают гипотезы, для тестирования которых нужно поменять сразу несколько элементов согласованно. Например, вы в варианте вводите новый метод доставки – он будет последовательно отображаться на карточке товара, в условиях и на всех шагах чекаута.
Я согласна, что у переплетения очень ограниченная область применения, но мне кажется, что об этом методе активно знают гораздо меньше людей, чем стоило бы. Формирование списка товаров в интернет-магазине это отличный повод применить переплетение, однако его очень редко используют.
Пробовали, но идея бандитов, кажется, немного другая: все время тестировать несколько алгоритмов, динамически подбирая для каждого оптимальную нишу или просто постоянно оценивая их относительную эффективность.
А переплетение – это более быстрый способ сравнить два алгоритма.
Я там в скрытом тексте писала, что при реализации переплетения всегда добавляют случайный выбор того, какой из алгоритмов будет первым в каждом случае, что ставить их в равное положение.
В практической реализации на самом деле еще очень много нюансов: очень сложно убирать результаты, которые вернули оба алгоритма, но на разных позициях, и сложно работать со случаями, когда алгоритмы возвращают почти идентичные результаты с несколькими перестановками.
Цель, действительно, одна и та же, принять решение что лучше. Я просто показывают, что когда вы тестируете переплетением, результат получится более поляризованным. Если в A/B тесте A на 10% лучше Б, то в переплетении может оказаться, что А достались 90% целевых действий.
Мне кажется самое главное и интересное в этом исполнении книжки — то, что иллюстрации описаны через динамические абстракции. Мне кажется, это их свойство наиболее ценно для чего-то совсем интерактивного вроде https://www.euclidea.xyz/. Пока курс статический самая интересная часть работы для читателя, по сути, скрыта.
Когда я вижу сколько труда и интеллекта ушло в несомненно занимательное, но все же искусство, мне хочется воскликнуть про то что где-то кто-то голодает.
Я стараюсь смотреть на это как на цену, которую нам всем приходится платить за то, чтобы продукты становились лучше.
Я согласна, что у переплетения очень ограниченная область применения, но мне кажется, что об этом методе активно знают гораздо меньше людей, чем стоило бы. Формирование списка товаров в интернет-магазине это отличный повод применить переплетение, однако его очень редко используют.
А переплетение – это более быстрый способ сравнить два алгоритма.
В практической реализации на самом деле еще очень много нюансов: очень сложно убирать результаты, которые вернули оба алгоритма, но на разных позициях, и сложно работать со случаями, когда алгоритмы возвращают почти идентичные результаты с несколькими перестановками.
Может быть хотя бы интерактивный курс геометрии?