Комментарии 12
НЛО прилетело и опубликовало эту надпись здесь
Странно, что в рассуждениях о "аудитория неоднородна, поэтому а/б не работает" не нашлось места упоменнанию о сегментации и а/а тестах, как подготовке к а/б что и решает/уменьшает масштаб обозначенной проблемы.
0
Что, если мы будем поддерживать оптимизированную мобильную версию для пользователей, которые заходят на сайт через телефон?
А что если ресурсы есть только на то, чтобы поддерживать какую то одну версию? Вообще странная статья. Лично я так и не понял о чем она и зачем написана.
+2
> Понятие A/B-тестирования основано на в корне неверном предположении, что существует
> единственное решение, которое в среднем лучше для всех клиентов.
Оно основано на предположении, что множество решений мы скорее всего не сможем потянуть по ресурсам. И да одно решение может быть не лучше, но оно и не должно быть. Оно должно быть недостаточно хуже, чтобы клиенты не перестали пользоваться.
> единственное решение, которое в среднем лучше для всех клиентов.
Оно основано на предположении, что множество решений мы скорее всего не сможем потянуть по ресурсам. И да одно решение может быть не лучше, но оно и не должно быть. Оно должно быть недостаточно хуже, чтобы клиенты не перестали пользоваться.
0
Согласен. Но по мысли автора, в будущем ресурсов будет хватать для поддержки множества решений для каждого пользователя или сегмента пользователей.
0
> Но по мысли автора, в будущем ресурсов будет хватать для поддержки множества
> решений для каждого пользователя или сегмента пользователей.
А дальше идет математика на уровне арифметики. Поддержка двух решений стоит в два раза дороже, а если первое решение как-то удовлетворяет 80% пользователей, то второе будет давать 16%, третье 3.2% и чем больше тем меньше отдача.
Разумеется я упрощаю, но и в статье упрощения.
> решений для каждого пользователя или сегмента пользователей.
А дальше идет математика на уровне арифметики. Поддержка двух решений стоит в два раза дороже, а если первое решение как-то удовлетворяет 80% пользователей, то второе будет давать 16%, третье 3.2% и чем больше тем меньше отдача.
Разумеется я упрощаю, но и в статье упрощения.
0
Когда технология позволяет, мы добираемся до длинного хвоста распределения пользователей и придумываем, как на нем заработать.
Штука в том, что одно решение удовлетворяет далеко не 80% пользователей и далеко не в лучшей степени.
Конечно Netflix мог тоже продолжать всем пользователям рекомендовать одно и то же, те же блокбастеры, которые удовлетворяют 80% пользователей, но вместо этого они сделали персонализированные рекомендации и научились на этом зарабатывать гораздо больше.
Штука в том, что одно решение удовлетворяет далеко не 80% пользователей и далеко не в лучшей степени.
Конечно Netflix мог тоже продолжать всем пользователям рекомендовать одно и то же, те же блокбастеры, которые удовлетворяют 80% пользователей, но вместо этого они сделали персонализированные рекомендации и научились на этом зарабатывать гораздо больше.
0
> Штука в том, что одно решение удовлетворяет далеко не 80% пользователей и
> далеко не в лучшей степени.
Это чаще всего показатель того, что кто-то плохо проанализировал потребности и поведение своих пользователей (грубо говоря решение строили на основании каких-то смутных догадок, а не анализа).
> Конечно Netflix мог тоже продолжать всем пользователям рекомендовать одно и то
> же, те же блокбастеры, которые удовлетворяют 80% пользователей
И netflix, и mcdonalds, и boeing, и ford, и apple, и много кто еще. Диверсификация — это способ работы с рисками и чаще всего является признаком того, что принимающий решение не уверен в нем. Недостаточно информации. И кстати A/B тестирование — способ исправить ситуацию малой кровью.
> но вместо этого они сделали персонализированные рекомендации и научились на
> этом зарабатывать гораздо больше.
Да сделали. Они сначала сделали решение, покрывающее потребности 80%, а затем, когда 16% стали достаточно серьезной суммой, чтобы перекрыть рассходы на поддержку — сделали второй шаг. Еще более глубокая кастомизация тоже может случиться, если a) netflix станет еще больше, причем значительно (что вряд ли) b) рынок станет еще более конкурентным и им придется внедрять такую поддержку себе в ущерб (дилемма заключенного). c) прогресс приведет к тому, что поддержка более глубокого ветвления станет дешевле (разработка и поддержка еще существенно подешевеют) — но это тоже вряд ли.
> далеко не в лучшей степени.
Это чаще всего показатель того, что кто-то плохо проанализировал потребности и поведение своих пользователей (грубо говоря решение строили на основании каких-то смутных догадок, а не анализа).
> Конечно Netflix мог тоже продолжать всем пользователям рекомендовать одно и то
> же, те же блокбастеры, которые удовлетворяют 80% пользователей
И netflix, и mcdonalds, и boeing, и ford, и apple, и много кто еще. Диверсификация — это способ работы с рисками и чаще всего является признаком того, что принимающий решение не уверен в нем. Недостаточно информации. И кстати A/B тестирование — способ исправить ситуацию малой кровью.
> но вместо этого они сделали персонализированные рекомендации и научились на
> этом зарабатывать гораздо больше.
Да сделали. Они сначала сделали решение, покрывающее потребности 80%, а затем, когда 16% стали достаточно серьезной суммой, чтобы перекрыть рассходы на поддержку — сделали второй шаг. Еще более глубокая кастомизация тоже может случиться, если a) netflix станет еще больше, причем значительно (что вряд ли) b) рынок станет еще более конкурентным и им придется внедрять такую поддержку себе в ущерб (дилемма заключенного). c) прогресс приведет к тому, что поддержка более глубокого ветвления станет дешевле (разработка и поддержка еще существенно подешевеют) — но это тоже вряд ли.
+1
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Что не так с A/B тестированием