Комментарии 3
Apple не проводит a/b тестов
Про дизайн iPhone публику никогда не спрашивали.
Покупатель сам не знает, что он хочет© Стив Джобс
Бггг
Будем честны, это далеко не самая техничная статья — ни на какие лавры в этом плане мы не претендуем
А вы добавьте техники.
Как организуете тестирвоание инструментально? Сервисами или сами по кукам разбиваете, собираете параметры тестовых групп где-нибудь в аналитике? Поделитесь может у вас реестр есть какой где все четко по полочкам лежит вся инфа по тестам? Может приоретизируете как-то здраво их по ICE методологии например?
Вот и техника будет))
Гипотеза подтвердилась. В рамках этого эксперимента зафиксировали отличие экспериментального варианта от контрольного — разница между значениями конверсионности в экспериментальном и контрольном варианте составила 3.7%.
Ну вот тут если честно не до конца понятно в какую сторону вы работаете. Судя из описанного конверсия по вашему это сколько в итоге людей оставили отклик на вакансию из тех кто увидел баннер.
Но этот показатель по факту вообще ничего не решает для бизнеса. Для бизнеса важен итог - сколько сотрудников в итоге будет принято на работу и как они будут работать.
Т.е. с вашей стороны вы вроде как сделали хорошо - больше людей накидало заявок. Но эти заявки еще надо обработать(это доп деньги), и еще вопрос сколько из них выйдут на работу(А их еще надо обучить, тоже деньги) и будут эффективными сотрудниками.
В таких вопросах очень важно понимать, чего вы хотите добиться в итоге.
Основная метрика
Конверсия по пользователям в цель (Байес) «Вакансии_отклик по вакансии на первом экране»
Хотя я могу конечно и ошибаться, плохо знаю как сейчас обстоят дела с наймом линейного персонала. Если все совсем плохо и вам надо найти хоть кого-то, то рабочий вариант)
ВкусВилл и фабрика A/B-тестов: как развивать сайт на основе бесконечных гипотез