Комментарии 22
то есть пользователи жмут «поделиться» еще не прочитав статью? Это точно живые люди?
+5
Аж дважды «отказались по неизвестным причинам». Рискну предположить, что не все так радужно и некоторые вещи действительно могли ухудшать бизнес в долгосрочной перспективе. Пример из несколько иной области: обвесьте свои сайты блоками Adsense и Direct, и вы получите мощный прирост дохода на некоторое время — ровно до тех пор, пока сайт перестанет посещать постоянная аудитория.
+3
У меня знакомые недавно заказали профессиональный дизайн за неплохие деньги, всё упростили, провели несколько А/B-тестирований, убедились, что удовлетворение пользователей возросло… и через 2 недели откатились к старому, кустарному и некрасивому дизайну с кучей лишней информации. Ибо новый внешний вид понизил доход с рекламы на 40% и уменьшил среднее время на сайте, из-за чего стали падать позиции в Яндексе.
Да, не всё так радужно.
Да, не всё так радужно.
0
Это они поторопились, такое частенько случается (причины тому бывают разные). В течении месяца-полутора показатели обычно возвращаются и начинают расти. Но паникёры такие паникёры…
+2
Если не брать вторичные факторы, предположу что остается только одно объяснение: пользователи со временем привыкают. Но это истинно только если у сайта есть постоянная аудитория. И тут оказывается, что в моем примере ее нет, поскольку сайт медицинский, а болезни у большинства людей возникают внезапно — т.е. постоянной аудитории у этого сайта быть просто не может. Спросил по почте, может у них сохранилась ветка эксперимента с новым дизайном.
0
Прислали ответ… В общем, в эксперименте показатели не вернулись, а среди оставшихся вариантов лидером по конверсии является самый вырвиглазный дизайн-шаблон. Мне жаль пользователей, но похоже, они обречены:)
0
Так может благодаря вырвиглазному дизайну пользователи и кликают охотнее на рекламу, лишь бы поскорее развидеть сайт?
0
Конечно, трудно надеяться на то, что удаление значка или изменение фона обеспечит сайт многолетним потоком клиентов. Ситуация может меняться и необходимо принимать меры, которые обеспечат гибкость и прибыльность.
0
Как я обожаю эти дилетантские исследования с громкими выводами)
Как происходила рандомизация и сколько было параллельных А/В тестов?
Как отсекались новые пользователи? Старые пользователи подвержены эфекту новизны, а куки имеют свойство протухать.
Какова статистическая значимость ваших гипотез?
Без всего этого вам не сюда, а в хаб «астрология и эзотерика».
Как происходила рандомизация и сколько было параллельных А/В тестов?
Как отсекались новые пользователи? Старые пользователи подвержены эфекту новизны, а куки имеют свойство протухать.
Какова статистическая значимость ваших гипотез?
Без всего этого вам не сюда, а в хаб «астрология и эзотерика».
+8
Если Вы внимательно читали статью, то видели, что мы подчеркиваем, что используем базу результатов А/В анализов. Тестирование проводила крупная фирма, которая работает с огромным количеством заказчиков, в том числе и с перечисленными компаниями. Это реальные результаты реально проведенных тестов. Статистическая значимость во всех превышала 90%.
0
Ирина, Вы бы вместо того, чтобы тыкать уважаемого tenshi в Вашу статью еще раз, привели бы сюда ссылку, которая может ответить на вопросы tenshi, потому как Ваша статья не содержит запрашиваемой информацией tenshi. Как я понимаю, без этой информации статья выглядит плохо скрываемой рекламой, для которой есть соответствующий хаб.
0
Аж даже превышала 90%?) То есть более чем в 9 случаях из 10 исследование «крупной фирмы с огромным количеством заказчиков» дает ложноположительный результат?
0
О чем Вы говорите? Какое отношение статистическая значимость конкретного теста имеет к 10 исследованиям фирмы?
0
Превышала 90% — значит, 10% шанс, что результат исследования — ложный. Но да, это очень низкий показатель — достоверные исследования должны иметь его на уровне 98-99%.
0
Как люблю читать такие статьи:
во-первых, нет ни одной абсолютной цифры, только проценты (т.е. рост на 119% — это либо 219 человек вместо 100, что, согласитесь, неплохо, но не собитие вселенского масштаба либо 219'000 человек вместо 100'000, что просто супер). Особенно непонятно, насколько сайты в примерах вообще кому-то нужны.
во-вторых, никаких доказательств, что именно указанное изменение дало данный прирост. Я вижу на сайтах, как день ото дня поток посетителей на тот же сайт колеблется в полтора раза, и зависит вплоть до того что от погоды (на улице скучно — народ в инет полез; притом сайт вообще не переделывается) — следует ли это так понимать, что, если сайт вообще не трогать, не тратить на его обновление 100'000 долларов, то и так получим прирост в 1.5 раза и еще и сэкономим 100К?
Вывод же прост: думать, думать и думать. Внедрять, пробовать мелкие изменения (в т.ч. через А/Б сравнение) и смотреть на результаты. И опять включать голову, никогда не забывая цели сайта, как Вы их себе поставили — рост аудитории, продаж, или тех метрик, которые Вы себе надумали.
P.S. А на PR компаний, которые, купив аккаунт на Хабре, не знают, что в него написать, можно и внимания не обращать, да )
во-первых, нет ни одной абсолютной цифры, только проценты (т.е. рост на 119% — это либо 219 человек вместо 100, что, согласитесь, неплохо, но не собитие вселенского масштаба либо 219'000 человек вместо 100'000, что просто супер). Особенно непонятно, насколько сайты в примерах вообще кому-то нужны.
во-вторых, никаких доказательств, что именно указанное изменение дало данный прирост. Я вижу на сайтах, как день ото дня поток посетителей на тот же сайт колеблется в полтора раза, и зависит вплоть до того что от погоды (на улице скучно — народ в инет полез; притом сайт вообще не переделывается) — следует ли это так понимать, что, если сайт вообще не трогать, не тратить на его обновление 100'000 долларов, то и так получим прирост в 1.5 раза и еще и сэкономим 100К?
Вывод же прост: думать, думать и думать. Внедрять, пробовать мелкие изменения (в т.ч. через А/Б сравнение) и смотреть на результаты. И опять включать голову, никогда не забывая цели сайта, как Вы их себе поставили — рост аудитории, продаж, или тех метрик, которые Вы себе надумали.
P.S. А на PR компаний, которые, купив аккаунт на Хабре, не знают, что в него написать, можно и внимания не обращать, да )
0
Во-первых, мы не утверждаем, что это абсолютные рецепты, а говорим о том, что даже небольшие изменения могут изменить конверсию (посещаемость или что-то еще). Что касается отсутствия «абсолютных» цифр, мы говорим об эффективности изменения в контексте конкретного сайта и в сравнении с другими изменениями на других сайтах, проводить сравнение в абсолютных цифрах невозможно, а статья именно о сравнении.
Во-вторых, это результаты тестов, которые проводились не один день и исследовали влияние именно этого изменения, учитывая факторы, которые могут повлиять на результаты, об уровне достоверности тестов говорит их статистическая значимость. А про 100к долларов, все зависит от конкретного сайта и целей, на которые будут потрачены эти 100к, иногда лучше не тратить.
«Внедрять, пробовать мелкие изменения (в т.ч. через А/Б сравнение) и смотреть на результаты.» — чем этот вывод противоречит статье?
Меня удивляет поток однотипных комментариев от профессионалов, которые, почему-то, переоценивают значение статьи, считая, что мы пытаемся представить универсальные рецепты для всех и вся.
Во-вторых, это результаты тестов, которые проводились не один день и исследовали влияние именно этого изменения, учитывая факторы, которые могут повлиять на результаты, об уровне достоверности тестов говорит их статистическая значимость. А про 100к долларов, все зависит от конкретного сайта и целей, на которые будут потрачены эти 100к, иногда лучше не тратить.
«Внедрять, пробовать мелкие изменения (в т.ч. через А/Б сравнение) и смотреть на результаты.» — чем этот вывод противоречит статье?
Меня удивляет поток однотипных комментариев от профессионалов, которые, почему-то, переоценивают значение статьи, считая, что мы пытаемся представить универсальные рецепты для всех и вся.
0
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Топ-5 простых изменений, которые значительно увеличили конверсию