Он его использует в той или иной степени каждый день, все-таки. А вот типичный электрик может его и не знает. Ну то есть он помнит из школы что-то невнятное про «сила тока прямо пропорциональна напряжению и обратно пропорциональна сопротивлению», но не понимает природы закона и его физической сути.
Зато он знает какие провода с какими соединять нельзя.
Я вот, к сожалению, уже не помню некоторых замечательных пределов или известных интегралов. И, не уверен, что смогу в стрессовой ситуации посчитать детерминант матрицы. Но знаю, что за полчаса разберусь и все вспомню, если будет доступ к источнику знаний, так как вспоминать гораздо проще чем учить. Вопрос к топику только один — можно ли пользоваться интернетом, как в жизни или все «рожать» из головы?
Как раз ничего не посоветую, иначе сам бы почитал. Из веб-аналитики я читал только «Google Analytics для профессионалов» Брайна Клифтона. Из мат. статистики у меня институт и парочка книжек, который я перечитал при подготовке к статье (они указаны в качестве литературы к посту).
Мне почему-то в голову не пришло рассматривать трафик и показатели на его основе в качестве потоков из теории массового обслуживания. Я это связываю вот с тем, что я не знаю теории массового обслуживания и то, как она работает и на какие вопросы отвечает. Но, полагаю, что там совершенно про другие задачи.
Буду рад ошибаться, и если вы поделитесь какой-нибудь близкой работой с применением ТМО, желательно из области веб-аналитики… это было бы чудесно!
Вопрос в том, как убедиться, повлияло ли изменение на метрику. В посте я пытаюсь доказать, что любое изменение, которое меняет метрику менее чем x% (в примере это 14), нельзя точно приписать к вашему эксперименту — это может быть влияние случайности.
A/B-тесты как метод прекрасен, если с ним правильно работать. Мой посыл про то, что есть некий миф, о том, что A/B-тест пригодится в каждом проекте. Цель моего поста поделиться некими соображениями на тему того, что это сложный метод и можно прекрасно обойтись без него. Другими словами, ценность сплиттестирования интерфейсов для сайтов и мобильных приложений (кроме игр) переоценена.
Так или иначе, это мой взгляд, разумеется он может отличаться от общепринятого или чьего-то частного мнения.
А заголовок… ну да, легкий кликбайт, зато честный, со сноской и последующей попыткой доказать утверждение ;)
Так пост же не про кейсы, пост про «идеи». Разве их нельзя понять без конкретной истории? ;D
Чем плох A/B-тест интерфейсов?
Очень трудно обеспечить нормальную чистоту эксперимента, поэтому чтобы результаты были достоверными, нужно внимательно отнестись к вопросу с погрешностью и измерениями.
Из-за огромного количества неизвестных факторов, поле возможных гипотез вообще трудно поддается адекватной оценке. Более того, из-за этого вам еще труднее накапливать знания и транслировать их на будущие проекты. Если вы хотите сделать все «честно» и без гаданий — все это требует аккуратной математики и, какого-то, опыта. Вы правы, без мастера не обойтись, но скажите мне, вы много видали аналитиков или пмов, кто погрешность считает для своего проекта?
Это не предположения, это нормальный научный подход. Я предполагаю только одну вещь: в большинстве компаний народ занимается псевдотестами, выдавая их с умным видом как необыкновенный результат… который по сути является гаданием.
Я забиваю гвоздик не в крышку сплиттестирования, метод как метод.
Я мечтаю забить гвоздик в головы людей, кто думает что A/B-тесты это просто/панацея/нужно всем и в любом проекте.
Да, про игры, согласен. Почему-то я про них даже не вспомнил ;)
Но, по мне, это пока единственное исключение из интерфейсов, которое подходит для сплиттестирования.
А давайте одновременно показывать разные варианты дизайна разным людям, но из одинакового источника? Тогда мы не будем зависеть от изменчивости трафика, а также исключим сезонность и маркетинг.
«Метрика, влияющая на прибыль» — это не то же самое что метрика «прибыль».
В посте как раз говорится, что подняв одну метрику, вы можете уронить другую. Правильно смотреть только на итог, то есть на прибыль. А она у вас зависит вообще от кучи факторов, в том числе от внешних, которые от вас не зависят, например, праздник в каком-нибудь регионе.
Я полагаю, у вас в голове все перемешалось и вы, походу, не поняли мысль поста:
1. Сначала в первых двух пунктах на простом примере показывается что аналитика это в принципе сложно, с научной точки зрения.
2. В пункте 3 в первой строке говорится что:
А давайте одновременно показывать разные варианты разным людям, тогда мы не будем зависеть от изменчивости трафика, а также исключим сезонность и маркетинг?
Может я неочевидно выразился, но имеется в виду что мы A/B-тест делаем в одинаковых условиях.
Не знаю, но работа из поста мне показалась весьма достойной.
Ну, вернее, конечно, где-то не хватает объема или можно еще поработать над деталями, но уровень довольно высок.
Но я буду рад посмотреть работы истинных художников ;)
Если в Safari посмотреть на дефолтную страничку с добавленными закладками, то не отрабатывает стандартынй паттерн по удалению значков (зажми палец на иконке, дождись пока она затресется и нажми на крестик), которому так тщательно обучают пользователей в главном меню.
Или филирование! ;)
Зато он знает какие провода с какими соединять нельзя.
Я вот, к сожалению, уже не помню некоторых замечательных пределов или известных интегралов. И, не уверен, что смогу в стрессовой ситуации посчитать детерминант матрицы. Но знаю, что за полчаса разберусь и все вспомню, если будет доступ к источнику знаний, так как вспоминать гораздо проще чем учить. Вопрос к топику только один — можно ли пользоваться интернетом, как в жизни или все «рожать» из головы?
Буду рад ошибаться, и если вы поделитесь какой-нибудь близкой работой с применением ТМО, желательно из области веб-аналитики… это было бы чудесно!
A/B-тесты как метод прекрасен, если с ним правильно работать. Мой посыл про то, что есть некий миф, о том, что A/B-тест пригодится в каждом проекте. Цель моего поста поделиться некими соображениями на тему того, что это сложный метод и можно прекрасно обойтись без него. Другими словами, ценность сплиттестирования интерфейсов для сайтов и мобильных приложений (кроме игр) переоценена.
Так или иначе, это мой взгляд, разумеется он может отличаться от общепринятого или чьего-то частного мнения.
А заголовок… ну да, легкий кликбайт, зато честный, со сноской и последующей попыткой доказать утверждение ;)
Чем плох A/B-тест интерфейсов?
Очень трудно обеспечить нормальную чистоту эксперимента, поэтому чтобы результаты были достоверными, нужно внимательно отнестись к вопросу с погрешностью и измерениями.
Из-за огромного количества неизвестных факторов, поле возможных гипотез вообще трудно поддается адекватной оценке. Более того, из-за этого вам еще труднее накапливать знания и транслировать их на будущие проекты. Если вы хотите сделать все «честно» и без гаданий — все это требует аккуратной математики и, какого-то, опыта. Вы правы, без мастера не обойтись, но скажите мне, вы много видали аналитиков или пмов, кто погрешность считает для своего проекта?
Это не предположения, это нормальный научный подход. Я предполагаю только одну вещь: в большинстве компаний народ занимается псевдотестами, выдавая их с умным видом как необыкновенный результат… который по сути является гаданием.
Я забиваю гвоздик не в крышку сплиттестирования, метод как метод.
Я мечтаю забить гвоздик в головы людей, кто думает что A/B-тесты это просто/панацея/нужно всем и в любом проекте.
Но, по мне, это пока единственное исключение из интерфейсов, которое подходит для сплиттестирования.
А вы сами проводили A/B-тесты? И тестировали целые механики? Вы погрешность считали или все на глазок?
В посте как раз говорится, что подняв одну метрику, вы можете уронить другую. Правильно смотреть только на итог, то есть на прибыль. А она у вас зависит вообще от кучи факторов, в том числе от внешних, которые от вас не зависят, например, праздник в каком-нибудь регионе.
1. Сначала в первых двух пунктах на простом примере показывается что аналитика это в принципе сложно, с научной точки зрения.
2. В пункте 3 в первой строке говорится что:
Может я неочевидно выразился, но имеется в виду что мы A/B-тест делаем в одинаковых условиях.
Ну, вернее, конечно, где-то не хватает объема или можно еще поработать над деталями, но уровень довольно высок.
Но я буду рад посмотреть работы истинных художников ;)
Я доволен.
Если в Safari посмотреть на дефолтную страничку с добавленными закладками, то не отрабатывает стандартынй паттерн по удалению значков (зажми палец на иконке, дождись пока она затресется и нажми на крестик), которому так тщательно обучают пользователей в главном меню.