Как стать автором
Обновить

17 марта состоится ML meetup Online

Блог компании Центр Финансовых Технологий (ЦФТ) Машинное обучение *


В среду, 17 марта, состоится ML meetup Online — встреча для исследователей, инженеров и разработчиков.

Начало в 15:00 (время МСК).

Для участия необходимо зарегистрироваться: team.cft.ru/events/191
В ответ на отправленную заявку вы получите ссылку на трансляцию и все явки-пароли.
Читать дальше →
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 697
Комментарии 0

Приглашаем на аналитический митап EXPF и СберМаркета

Блог компании СберМаркет Математика *Веб-аналитика *Аналитика мобильных приложений *Конференции

Сегодня, 27 октября в 18:00 поговорим про метрики, математическую статистику и методы автоматизации экспериментов.

Регистрируйся тут. Ссылку на трансляцию пришлем всем зарегистрировавшимся в день митапа.

Узнать подробности
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 493
Комментарии 0

В App Store появились Custom product pages — инструмент для проведения А/В тестирования

Блог компании Productivity Inside Разработка под iOS *Разработка мобильных приложений *Повышение конверсии *


Сегодня Apple открыл для части разработчиков возможность создавать кастомные страницы продуктов (Custom product pages) для проведения A/B тестирования.
Читать дальше →
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 670
Комментарии 0

Жадный алгоритм в A/B-тестировании

Тестирование IT-систем *Алгоритмы *
Канадский разработчик Стив Ханов (Steve Hanov) рассказывает о простом способе повысить эффективность A/B-тестирования.

Суть заключается в использовании жадного алгоритма (epsilon-greedy method) для решения задачи о многоруком бандите. Другими словами, при выборе между вариантами A/B-тестирования Стив предлагает отказаться от полного рандома, а в 90% случаев выбирать лучший вариант по результатам накопленной к настоящему моменту статистики.

Метод прост до гениальности.
Читать дальше →
Всего голосов 36: ↑32 и ↓4 +28
Просмотры 6.4K
Комментарии 14

Анализ статистики во free-to-play играх: инструменты аналитика

Блог компании «Alawar Entertainment» Разработка игр *
Ключ к успеху при разработке free-to-play игр — анализ поведения игроков и постоянный тюнинг игрового функционала на основе статистики. Собрать статистику — это пол дела. Но как превратить гору сырых данных в информацию?

В моей прошлой статье я перечислила основные показатели, по которым можно отслеживать успешность игры. Во второй части цикла я сделаю обзор основных инструментов, которые помогут превратить данные в руководство к действию.
Читать дальше →
Всего голосов 35: ↑29 и ↓6 +23
Просмотры 35K
Комментарии 35

Пример удобной организация split (A/B) тестирование на серверной стороне

PHP *
Из песочницы
Здравствуйте, уважаемые хабравчане!
Хотел бы поделится с Вами некоторым опытом организации split тестирование на проекте с которым довелось работать, также прошу не судить строго, так как это моя первая статья и действительно огромного профита ожидать не стоит.
Как мы все знаем, split (A/B) тестирование на сайте представляет собой экспериментальный подход с целью повышение конверсии по какому-либо процессу на ресурсе путем отображения различным группам пользователей разного контента.
Читать дальше →
Всего голосов 12: ↑8 и ↓4 +4
Просмотры 2.7K
Комментарии 5

Как быстро и дешево сделать сегментирование пользователей и A/B-тестирование для приложения iOS

Разработка под iOS *Разработка мобильных приложений *
Из песочницы
А зачем вообще нужно это сегментирование? Да потому что пользователи очень разные. Допустим, приложение бесплатное. Два пользователя скачали его. У одного на счету 0 рублей и он никогда ничего не купит, а другой сделал покупок в приложении на 1500 рублей. Один ходит пешком, а другой ездит на Бентли. Очевидно, что подход к этим людям должен быть разным.

Зачем делать AB-тестирование? Чтобы проверять свои гипотезы о том, как оптимизировать продажи. Какой баннер лучше продает — с котиком или собачкой? Разделяем аудиторию на две равные части, одним показываем котика, другим собачку. Сравниваем продажи, делаем выводы, меняем поведение приложения без апдейта.

На рынке есть готовые системы, которые решают озвученные задачи. Например:
  • swrve.com — “In terms of pricing Swrve is between $2000 and $9000 payable monthly, with an annual subscription. Cost is based on the number of custom segments and concurrant a/b tests you would like to run.”
  • www.localytics.com — “ENTERPRISE Starts at $1,790 per month, all apps (volume-based pricing).”

Я здесь акцент делаю на стоимости. С радостью использовал бы одно из них, если бы стоило дешевле. Расскажите, если знаете похожие дешевые или даже бесплатные системы.

Дальше я расскажу как быстро и дешево построить свое собственное решение. Для него не понадобится делать сервер с базой данных, что существенно упрощает задачу.
Читать дальше →
Всего голосов 9: ↑7 и ↓2 +5
Просмотры 3.9K
Комментарии 2

«Добавить в корзину» против «Купить в один клик»: результаты АБ-теста

Блог компании Webasyst
В течение месяца мы проводили на сайте одного из наших клиентов (интернет-магазина подарков) АБ-тест, в котором сравнивали конверсию посетителей в оплаченные заказы для трех разных вариантов оформления заказа:
image
Сразу о главном: победил вариант №2 с приростом конверсии +58% по сравнению с вариантом №1. Под катом подробнее о проведенном тесте, варианте №3, некоторые числа и графики.
Читать дальше →
Всего голосов 10: ↑10 и ↓0 +10
Просмотры 52K
Комментарии 17

Повышение конверсии – головная боль для интернет-магазинов

Повышение конверсии *
Электронная торговля растет с каждым годом на 25-30%. Учитывая рост количества игроков и покупателей в интернете (на 2013 год 22 млн человек покупают онлайн), растет и конкуренция между интернет-магазинами за каждого человека в отдельности, за каждую покупку. В то время как в целом ожидать большего количества людей в интернете не приходится – темпы прироста интернет-аудитории сильно замедляются. Что же делать интернет-магазинам?

На сегодняшний день не составляет труда привлечь трафик на сайт с помощью seo, контекстной рекламы, таргетированной рекламы, баннеров. И стоимость привлечения, надо сказать, год от года растет!
Но и трафик не панацея. Как известно, только 1-5% аудитории совершает покупку сразу, в момент первого посещения сайта. Зная об этом, маркетологи и владельцы интернет-магазинов стремятся увлечь и привлечь посетителя всеми возможными способами ради совершения покупки. Тут вспоминаются ловкие цыгане с их танцами, медведями и гитарами, которые любого оставят без гроша.
Яркими платками и бубнами у маркетологов выступают различные «фишки» на сайте: сообщающие о спецпредложении баннеры; формы заявки; всплывающие окна; формы обратного звонка, онлайн-консультанты и др.

Интересные цифры:
• Статистика упорно говорит о том, что необходимо использовать различные инструменты и методики для увеличения конверсии: «Организации, которые увеличили конверсию своих проектов за последние 12 месяцев, используют на 45% больше разнообразных методик, чем те, кому увеличить ее не удалось».
• Компания Schwan's (http://www.schwans.com) имеет сайт с самой высокой в мире конверсией — 40,6-41.2%, используя при этом всплывающее окно при входе, персональные рекомендации для покупки.
• 86% владельцев интернет-магазинов уже используют инструменты повышения конверсии, однако зачастую не видят резкого роста конверсии и отмечают проблемы в удобстве использования инструментов.
• 53% интернет-компаний все еще не работают с отказами от покупки, уходом с сайта без покупки или целевого действия.
Читать дальше →
Всего голосов 15: ↑11 и ↓4 +7
Просмотры 13K
Комментарии 5

A/B testing: время — ничто, анимация — все!

Growth Hacking *
Интересный факт обнаружили в результате A/B тестирования индикаторов загрузки приложения Facebook.

Имеем два варианта загрузчика мобильного приложения Facebook:


Читать дальше →
Всего голосов 152: ↑119 и ↓33 +86
Просмотры 59K
Комментарии 62

Единый интерфейс управления рекламой на сайте

Блог компании AdvertOne Big Data *
Монетизация собственного проекта – всегда вызов. Самый простой вариант: поставить на него тизерную рекламу или контекст, и наблюдать, сколько денег капает в карман. Но этот же вариант часто оказывается разочаровывающим – заработок не стоит усилий по его приобретению. Так ли плоха тизерная/контекстная реклама для монетизации сайтов? Скорее всего, вы просто не умеете её готовить.


В зависимости характера вашего трафика, его источников и состава, будет меняться прибыльность той или иной рекламной сети
Читать дальше →
Всего голосов 37: ↑28 и ↓9 +19
Просмотры 18K
Комментарии 26

A/B Анализ для начинающих. Как понять, что именно работает на вас?

Блог компании PAYSTO Тестирование IT-систем *
Recovery mode
image

Paysto предлагает инструменты для ваших проектов, но то, насколько эти проекты будут эффективны, зависит только от вас. Одним из главных направлений работы над проектом является оптимизация его представления в сети. Для этого существует множество инструментов и приемов, но сегодня мы решили остановиться на А/В анализе, как на одном из самых эффективных способов выбора оптимального варианта вашей страницы, который позволяет точно оценить тот результат, который принесло то или иное изменение.

Читать дальше →
Всего голосов 40: ↑32 и ↓8 +24
Просмотры 24K
Комментарии 4

Ошибки A/B-тестирования в AirBnB

Блог компании Zavod It-стартапов Блог компании Бизнес-ассоциация AmBAR Анализ и проектирование систем *

Сегодня на airbnb вышел очень интересный пост о том, как они делают A/B-тесты. Мне показалось, что перевод данной статьи будет интересен Хаброжителям, так как многие создают собственные проекты, и методы анализа airbnb как максимум могут оказаться полезными, как минимум позволят задуматься о том, что неплохо бы тестировать метрики вашего продукта.
Читать дальше →
Всего голосов 31: ↑28 и ↓3 +25
Просмотры 14K
Комментарии 2

A/B-тестирование и его результаты, которые шокировали экспертов: интуиция иногда подводит

Повышение конверсии *
При выборе того или иного интерфейса, дизайна сайта, инструментов сбора контактов и повышения конверсии, владельцы сайтов часто совершают одну и ту же ошибку: не тестируют разные варианты. Создавая сайт, мы часто доверяемся мнению так называемых экспертов, или читаем полезные статьи, где в один голос утверждается, например, что использование фотографий счастливых людей в лендинге повышает конверсию. Стоит ли безоговорочно слушать мнения экспертов? И на все уговоры протестировать разные варианты отвечать, что именно такой интерфейс посоветовал создать условный Иван Иванович? С тех пор, как создание сайтов и веб-дизайн в особенности превратились в роды профессиональной деятельности, появились определенные стереотипы в каждой из этих областей, которым следует большинство создателей сайтов. Почему стоит проверить даже самый на ваш взгляд, или на взгляд вашего знакомого эксперта, эффективный дизайн вашего интерфейса или каких-то его деталей с помощью a/b-тестирования? Потому что в области юзабилити практически нет решений, которые одинаково хороши для всех сайтов. Не верите? Под катом — кейсы того, как проверка даже самых на первый взгляд очевидно лучших вариантов выявляет, что они совсем не работали на конверсию.
Читать дальше →
Всего голосов 47: ↑36 и ↓11 +25
Просмотры 26K
Комментарии 18

Теория вашего первого A/B анализа

Блог компании PAYSTO Тестирование IT-систем *
Тестирование содержимого сайта – один из самых важных элементов его оптимизации с точки зрения процесса конверсии. Широкий выбор технических возможностей для реализации этого способа анализа и его «простота» сделали A/B анализ одним из самых популярных способов оптимизации сайта. При этом отсутствие элементарных базовых знаний и стремление добиться результатов уже сейчас, соединенные с уверенностью в правильности своей гипотезы, приводят к множеству ошибок, которые иногда имеют критические последствия.

Как и в любом другом исследовании, здесь необходимо придерживаться базовых принципов методологии.

Шаг 1: Отбор лучших возможностей

Для того чтобы понять, куда именно стоит обратить свое внимание при разработке гипотез для A/B тестирования, необходимо определить страницы, которые относятся к следующим группам:
Читать дальше →
Всего голосов 19: ↑15 и ↓4 +11
Просмотры 5.1K
Комментарии 2

Кое-что получше A/B тестирования

Я пиарюсь
Всем привет! Меня зовут Василий. Мое главное занятие — повышать конверсию сайтов, ключевую метрику в любом IT-бизнесе.

По статистике, средняя конверсия сайтов в рунете не превышает 1 процента и это значит, что огромное количество интернет-предпринимателей каждый день теряет много денег. Этих предпринимателей можно мысленно разделить на два основных типа: первые — это те, кто просто сидит и смотрит на свой не оптимизированный ресурс и ничего не делает. К сожалению, они обречены быть раздавленными временем инновациями и конкурентами. Вторые — это те, кто пытается что-либо с этим делать. Как правило, для этого они рисуют лендинги, экспериментируют с каналами рекламы и проводят A/B тестирование. A/B тестирование — это крайне необходимый инструмент современного маркетинга, он позволяет определить, какой вариант продающей страницы является наиболее эффективным для большинства пользователей. Чтобы понять, насколько этот метод эффективен — достаточно вспомнить нашумевшую историю про Обаму и 60 млн $. Однако, у этого метода есть и обратная сторона, заключается она в том, что все люди разные, и если к примеру статистика покажет, что женщины по большей части любят котиков, совсем не обязательно что у твоей девушки нет на них аллергии. То есть, если у нас A/B тест показал, что некий вариант лендинга идеален для 60% пользователей и мы выбираем его для нашей рекламной компании, то мы автоматически теряем оставшиеся 40%, которых он ни чем не цепляет. Значит, A/B тестирование не идеально и нужно срочно что-то с этим делать. Причём прямо сейчас, потому что мы ко всем чертям теряем 40% лидов и это вообще не круто!

image
Читать дальше →
Всего голосов 41: ↑24 и ↓17 +7
Просмотры 5.2K
Комментарии 34

Организация и использование сегментации в больших мобильных приложениях

Разработка веб-сайтов *Анализ и проектирование систем *Разработка под iOS *Разработка мобильных приложений *Разработка под Android *
Однажды, ваше мобильное приложение становится достаточно большим и им ежедневно пользуются десять тысяч — сто тысяч — миллион, не важно, в общем очень много живых и разных людей. Что это значит для вас, как для разработчика?

Да, теперь стало гораздо страшнее нажимать кнопку «Submit», ведь если вы чего-то недоглядели — в отличии от веб-приложений не получится посидеть ночь, обложившись банками ред-булла и пиццами и все исправить — ревью на мобильных платформах занимает время, а если говорить про iOS — аж целую неделю. Неделя — более чем достаточный срок для того, чтобы лояльный ранее пользователь перестал открывать ваше приложение.

А еще, что не менее важно, это значит, что наступило время, когда «мне нравится, как выглядит этот экран» — уже недостаточное оправдание для того, чтобы этот экран действительно присутствовал в приложении.



В этой статье я постараюсь рассказать о том, что мы делаем, чтобы огромное продакшн-приложение продолжало оставаться таковым.
Читать дальше →
Всего голосов 13: ↑12 и ↓1 +11
Просмотры 7.5K
Комментарии 3

Как узнать эффективность страницы в App Store или Google Play?

Я пиарюсь
Привет! Мы SplitMetrics и хотим рассказать о сервисе для тестирования визуальных элементов и копирайта страниц мобильных приложений в апп сторах. Мы прогнали через тесты уже более 1 млн. пользователей и начали понимать, какие элементы на страницах важны и какие фишки работают…

Наша история началась с того, что Apple прислал запрос на Promotional Art Work для фичеринга нашего приложения. Мы долго не могли выбрать вариант, который бы устраивал всех и привел бы максимальное количество скачек. Часы обсуждений привели к тому, что мы залили некий компромисный вариант, не понимая насколько он будет эффективным. Фичерение дало нам хорошее число установок, но мы чуствовали, что не максимальное. Ответ пришёл сам собой: наша страница в App Store просто не смогла “продать” приложение. Изучив рынок, мы поняли, что никто не готов нам помочь и выдать готовый сервис для предварительного тестирования различных вариантов страниц в App Store или Google Play. Тогда мы решили сделать такой сервис для себя и всех, кто любит считать конверсию.

Читать дальше
Всего голосов 10: ↑9 и ↓1 +8
Просмотры 11K
Комментарии 13

Руководство по оптимизации сайтов для начинающих. Часть 1

Разработка веб-сайтов *Тестирование веб-сервисов *
Перевод
Оптимизация веб-сайтов, известная под именем А/Б тестирование набрала популярность в качестве рабочей техники для многих команд, создающих сайты. Но до сих пор по ней слишком мало всеобъемлющих книг, статей или обучающих материалов, направленных на одиночных разработчиков, стремящихся ввести эту технику у себя в организации.

В первой части руководства я представлю подробную инструкцию по тому, как построить, настроить и улучшить эту технику для своего использования.

Основы: что такое оптимизация веб-сайтов?


Это метод экспериментов, проверяющих, какой дизайн лучше подходит для вашего сайта. Идея проста:

создать несколько вариантов дизайна страницы или части страницы вашего сайта
разделить трафик сайта так, чтобы каждый посетитель видел либо текущую версию (контрольная группа), либо один из новых вариантов
отслеживать, какая из версий показывает лучшие результаты, при помощи специальных показателей

Показатели выбираются так, чтобы непосредственно отражать ваши бизнес-цели. Они могут включать количество товаров, купленных на сайте; количество людей, подписавшихся на рассылку; количество людей, просмотревших видео с инструкцией. Иногда показатели называют конверсией – это процент посетителей, совершивших нужное действие по отношению к общему числу посетителей.
Читать дальше →
Всего голосов 10: ↑6 и ↓4 +2
Просмотры 16K
Комментарии 5