Сегодня Apple открыл для части разработчиков возможность создавать кастомные страницы продуктов (Custom product pages) для проведения A/B тестирования.

Канадский разработчик Стив Ханов (Steve Hanov) рассказывает о простом способе повысить эффективность A/B-тестирования.

Суть заключается в использовании жадного алгоритма (epsilon-greedy method) для решения задачи о многоруком бандите. Другими словами, при выборе между вариантами A/B-тестирования Стив предлагает отказаться от полного рандома, а в 90% случаев выбирать лучший вариант по результатам накопленной к настоящему моменту статистики.

Метод прост до гениальности.

Ключ к успеху при разработке free-to-play игр — анализ поведения игроков и постоянный тюнинг игрового функционала на основе статистики. Собрать статистику — это пол дела. Но как превратить гору сырых данных в информацию?

В моей прошлой статье я перечислила основные показатели, по которым можно отслеживать успешность игры. Во второй части цикла я сделаю обзор основных инструментов, которые помогут превратить данные в руководство к действию.

Здравствуйте, уважаемые хабравчане!
Хотел бы поделится с Вами некоторым опытом организации split тестирование на проекте с которым довелось работать, также прошу не судить строго, так как это моя первая статья и действительно огромного профита ожидать не стоит.
Как мы все знаем, split (A/B) тестирование на сайте представляет собой экспериментальный подход с целью повышение конверсии по какому-либо процессу на ресурсе путем отображения различным группам пользователей разного контента.

А зачем вообще нужно это сегментирование? Да потому что пользователи очень разные. Допустим, приложение бесплатное. Два пользователя скачали его. У одного на счету 0 рублей и он никогда ничего не купит, а другой сделал покупок в приложении на 1500 рублей. Один ходит пешком, а другой ездит на Бентли. Очевидно, что подход к этим людям должен быть разным.

Зачем делать AB-тестирование? Чтобы проверять свои гипотезы о том, как оптимизировать продажи. Какой баннер лучше продает — с котиком или собачкой? Разделяем аудиторию на две равные части, одним показываем котика, другим собачку. Сравниваем продажи, делаем выводы, меняем поведение приложения без апдейта.

На рынке есть готовые системы, которые решают озвученные задачи. Например:

• swrve.com — “In terms of pricing Swrve is between $2000 and $9000 payable monthly, with an annual subscription. Cost is based on the number of custom segments and concurrant a/b tests you would like to run.”
• www.localytics.com — “ENTERPRISE Starts at $1,790 per month, all apps (volume-based pricing).”

Я здесь акцент делаю на стоимости. С радостью использовал бы одно из них, если бы стоило дешевле. Расскажите, если знаете похожие дешевые или даже бесплатные системы.

Дальше я расскажу как быстро и дешево построить свое собственное решение. Для него не понадобится делать сервер с базой данных, что существенно упрощает задачу.

В течение месяца мы проводили на сайте одного из наших клиентов (интернет-магазина подарков) АБ-тест, в котором сравнивали конверсию посетителей в оплаченные заказы для трех разных вариантов оформления заказа:

Сразу о главном: победил вариант №2 с приростом конверсии +58% по сравнению с вариантом №1. Под катом подробнее о проведенном тесте, варианте №3, некоторые числа и графики.

Электронная торговля растет с каждым годом на 25-30%. Учитывая рост количества игроков и покупателей в интернете (на 2013 год 22 млн человек покупают онлайн), растет и конкуренция между интернет-магазинами за каждого человека в отдельности, за каждую покупку. В то время как в целом ожидать большего количества людей в интернете не приходится – темпы прироста интернет-аудитории сильно замедляются. Что же делать интернет-магазинам?

На сегодняшний день не составляет труда привлечь трафик на сайт с помощью seo, контекстной рекламы, таргетированной рекламы, баннеров. И стоимость привлечения, надо сказать, год от года растет!
Но и трафик не панацея. Как известно, только 1-5% аудитории совершает покупку сразу, в момент первого посещения сайта. Зная об этом, маркетологи и владельцы интернет-магазинов стремятся увлечь и привлечь посетителя всеми возможными способами ради совершения покупки. Тут вспоминаются ловкие цыгане с их танцами, медведями и гитарами, которые любого оставят без гроша.
Яркими платками и бубнами у маркетологов выступают различные «фишки» на сайте: сообщающие о спецпредложении баннеры; формы заявки; всплывающие окна; формы обратного звонка, онлайн-консультанты и др.

Интересные цифры:
• Статистика упорно говорит о том, что необходимо использовать различные инструменты и методики для увеличения конверсии: «Организации, которые увеличили конверсию своих проектов за последние 12 месяцев, используют на 45% больше разнообразных методик, чем те, кому увеличить ее не удалось».
• Компания Schwan's (http://www.schwans.com) имеет сайт с самой высокой в мире конверсией — 40,6-41.2%, используя при этом всплывающее окно при входе, персональные рекомендации для покупки.
• 86% владельцев интернет-магазинов уже используют инструменты повышения конверсии, однако зачастую не видят резкого роста конверсии и отмечают проблемы в удобстве использования инструментов.
• 53% интернет-компаний все еще не работают с отказами от покупки, уходом с сайта без покупки или целевого действия.

Интересный факт обнаружили в результате A/B тестирования индикаторов загрузки приложения Facebook.

Имеем два варианта загрузчика мобильного приложения Facebook:

Монетизация собственного проекта – всегда вызов. Самый простой вариант: поставить на него тизерную рекламу или контекст, и наблюдать, сколько денег капает в карман. Но этот же вариант часто оказывается разочаровывающим – заработок не стоит усилий по его приобретению. Так ли плоха тизерная/контекстная реклама для монетизации сайтов? Скорее всего, вы просто не умеете её готовить.


В зависимости характера вашего трафика, его источников и состава, будет меняться прибыльность той или иной рекламной сети

Paysto предлагает инструменты для ваших проектов, но то, насколько эти проекты будут эффективны, зависит только от вас. Одним из главных направлений работы над проектом является оптимизация его представления в сети. Для этого существует множество инструментов и приемов, но сегодня мы решили остановиться на А/В анализе, как на одном из самых эффективных способов выбора оптимального варианта вашей страницы, который позволяет точно оценить тот результат, который принесло то или иное изменение.

Сегодня на airbnb вышел очень интересный пост о том, как они делают A/B-тесты. Мне показалось, что перевод данной статьи будет интересен Хаброжителям, так как многие создают собственные проекты, и методы анализа airbnb как максимум могут оказаться полезными, как минимум позволят задуматься о том, что неплохо бы тестировать метрики вашего продукта.

При выборе того или иного интерфейса, дизайна сайта, инструментов сбора контактов и повышения конверсии, владельцы сайтов часто совершают одну и ту же ошибку: не тестируют разные варианты. Создавая сайт, мы часто доверяемся мнению так называемых экспертов, или читаем полезные статьи, где в один голос утверждается, например, что использование фотографий счастливых людей в лендинге повышает конверсию. Стоит ли безоговорочно слушать мнения экспертов? И на все уговоры протестировать разные варианты отвечать, что именно такой интерфейс посоветовал создать условный Иван Иванович? С тех пор, как создание сайтов и веб-дизайн в особенности превратились в роды профессиональной деятельности, появились определенные стереотипы в каждой из этих областей, которым следует большинство создателей сайтов. Почему стоит проверить даже самый на ваш взгляд, или на взгляд вашего знакомого эксперта, эффективный дизайн вашего интерфейса или каких-то его деталей с помощью a/b-тестирования? Потому что в области юзабилити практически нет решений, которые одинаково хороши для всех сайтов. Не верите? Под катом — кейсы того, как проверка даже самых на первый взгляд очевидно лучших вариантов выявляет, что они совсем не работали на конверсию.

Тестирование содержимого сайта – один из самых важных элементов его оптимизации с точки зрения процесса конверсии. Широкий выбор технических возможностей для реализации этого способа анализа и его «простота» сделали A/B анализ одним из самых популярных способов оптимизации сайта. При этом отсутствие элементарных базовых знаний и стремление добиться результатов уже сейчас, соединенные с уверенностью в правильности своей гипотезы, приводят к множеству ошибок, которые иногда имеют критические последствия.

Как и в любом другом исследовании, здесь необходимо придерживаться базовых принципов методологии.

Шаг 1: Отбор лучших возможностей

Для того чтобы понять, куда именно стоит обратить свое внимание при разработке гипотез для A/B тестирования, необходимо определить страницы, которые относятся к следующим группам:

Всем привет! Меня зовут Василий. Мое главное занятие — повышать конверсию сайтов, ключевую метрику в любом IT-бизнесе.

По статистике, средняя конверсия сайтов в рунете не превышает 1 процента и это значит, что огромное количество интернет-предпринимателей каждый день теряет много денег. Этих предпринимателей можно мысленно разделить на два основных типа: первые — это те, кто просто сидит и смотрит на свой не оптимизированный ресурс и ничего не делает. К сожалению, они обречены быть раздавленными временем инновациями и конкурентами. Вторые — это те, кто пытается что-либо с этим делать. Как правило, для этого они рисуют лендинги, экспериментируют с каналами рекламы и проводят A/B тестирование. A/B тестирование — это крайне необходимый инструмент современного маркетинга, он позволяет определить, какой вариант продающей страницы является наиболее эффективным для большинства пользователей. Чтобы понять, насколько этот метод эффективен — достаточно вспомнить нашумевшую историю про Обаму и 60 млн $. Однако, у этого метода есть и обратная сторона, заключается она в том, что все люди разные, и если к примеру статистика покажет, что женщины по большей части любят котиков, совсем не обязательно что у твоей девушки нет на них аллергии. То есть, если у нас A/B тест показал, что некий вариант лендинга идеален для 60% пользователей и мы выбираем его для нашей рекламной компании, то мы автоматически теряем оставшиеся 40%, которых он ни чем не цепляет. Значит, A/B тестирование не идеально и нужно срочно что-то с этим делать. Причём прямо сейчас, потому что мы ко всем чертям теряем 40% лидов и это вообще не круто!

Однажды, ваше мобильное приложение становится достаточно большим и им ежедневно пользуются десять тысяч — сто тысяч — миллион, не важно, в общем очень много живых и разных людей. Что это значит для вас, как для разработчика?

Да, теперь стало гораздо страшнее нажимать кнопку «Submit», ведь если вы чего-то недоглядели — в отличии от веб-приложений не получится посидеть ночь, обложившись банками ред-булла и пиццами и все исправить — ревью на мобильных платформах занимает время, а если говорить про iOS — аж целую неделю. Неделя — более чем достаточный срок для того, чтобы лояльный ранее пользователь перестал открывать ваше приложение.

А еще, что не менее важно, это значит, что наступило время, когда «мне нравится, как выглядит этот экран» — уже недостаточное оправдание для того, чтобы этот экран действительно присутствовал в приложении.



В этой статье я постараюсь рассказать о том, что мы делаем, чтобы огромное продакшн-приложение продолжало оставаться таковым.

Привет! Мы SplitMetrics и хотим рассказать о сервисе для тестирования визуальных элементов и копирайта страниц мобильных приложений в апп сторах. Мы прогнали через тесты уже более 1 млн. пользователей и начали понимать, какие элементы на страницах важны и какие фишки работают…

Наша история началась с того, что Apple прислал запрос на Promotional Art Work для фичеринга нашего приложения. Мы долго не могли выбрать вариант, который бы устраивал всех и привел бы максимальное количество скачек. Часы обсуждений привели к тому, что мы залили некий компромисный вариант, не понимая насколько он будет эффективным. Фичерение дало нам хорошее число установок, но мы чуствовали, что не максимальное. Ответ пришёл сам собой: наша страница в App Store просто не смогла “продать” приложение. Изучив рынок, мы поняли, что никто не готов нам помочь и выдать готовый сервис для предварительного тестирования различных вариантов страниц в App Store или Google Play. Тогда мы решили сделать такой сервис для себя и всех, кто любит считать конверсию.

Оптимизация веб-сайтов, известная под именем А/Б тестирование набрала популярность в качестве рабочей техники для многих команд, создающих сайты. Но до сих пор по ней слишком мало всеобъемлющих книг, статей или обучающих материалов, направленных на одиночных разработчиков, стремящихся ввести эту технику у себя в организации.

В первой части руководства я представлю подробную инструкцию по тому, как построить, настроить и улучшить эту технику для своего использования.

Основы: что такое оптимизация веб-сайтов?

Это метод экспериментов, проверяющих, какой дизайн лучше подходит для вашего сайта. Идея проста:

создать несколько вариантов дизайна страницы или части страницы вашего сайта
разделить трафик сайта так, чтобы каждый посетитель видел либо текущую версию (контрольная группа), либо один из новых вариантов
отслеживать, какая из версий показывает лучшие результаты, при помощи специальных показателей

Показатели выбираются так, чтобы непосредственно отражать ваши бизнес-цели. Они могут включать количество товаров, купленных на сайте; количество людей, подписавшихся на рассылку; количество людей, просмотревших видео с инструкцией. Иногда показатели называют конверсией – это процент посетителей, совершивших нужное действие по отношению к общему числу посетителей.

Часть 1

Процесс оптимизации

Установить в организации хорошо прописанный и формальный процесс оптимизации – это очень полезная практика, поскольку она:

1. организует рабочий процесс и задаёт реальные сроки окончания
2. устанавливает стандарты контроля качества и уменьшает количество ошибок
3. добавляет веса всей операции – логику процесса можно объяснить владельцам компании

На общем уровне планирования я бы рекомендовал устраивать совещания по планированию оптимизации 1-2 раза в неделю, на которых необходимо:

1. Просмотреть текущие тесты, чтобы понять, нужно ли их остановить или признать «завершёнными» (см. ниже). Для законченных тестов есть две возможности:
   
   1. есть явный победитель. В этом случае необходимо разработать его вывод в продакшн
   2. нет явного победителя в текущей контрольной группе. В этом случае нужно определить, требуется ли дополнительное изучение вопроса, или же нужно просто прекращать эксперимент.
   
   
2. Рассмотреть источники данных и подумать над новыми идеями для тестов
3. Обсудить и назначить приоритет любым новым идеям.

Как же понять, когда тест завершён?

Критерии завершённости – вещь сложная и даже являются коммерческими секретами. Определю минимальные необходимые условия для объявления теста «завершённым». Общепринятых стандартов не существует, и критерии зависят в основном от представлений вашей команды. Мы для себя выработали следующие критерии: