Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 31
имхо переплатили они. омнитюра одно из самых дорогих решений на рынке...не говоря уже о том что обычный В/Б тестинг предоставляет совершенно бесплатно google weboptimizer.
Интересная статья, я никогда раньше не слышал про А/В тестирование.
Это очень правильный подход к оптимизации интерфейсов.
Это очень правильный подход к оптимизации интерфейсов.
оооооо. бывает еще и не такое)))) А/Б это самый примитив в контент оптимизации
А можно тогда узнать, какие виды тестирования еще могут применяться в контент оптимизации? Очень интересно стало.
главная фишка на даный момент это поведенческое тестирование. среди его главных методик :
- сегментное тестирование (это типа с каких источников траффика приходят посетители и чего они хотят). например тем кто приходят на озон с сатов - торрентов с фильмами логичннее на главной предлагать фильмы, чем книги или еще что.
- контентное тестирование (тут в названии могу ошибаться). суть в том что по первым нескольким шагам или действиям на сайте можно уже делать модель поведения пользователя.
- анализ запросов по которым пользователь попадает на сайт - применимо в связке с сео и контекстной рекламой
- отслеживание разнми методами какие сайты посещает пользователь помимо тестируемого (отслеживание и прогнозирование как отдельного визитора так и схожих по определенным характеристикам групп) и соответственно выдача актуального контента для них...
а на самом деле еще много чего, в каждом конкретном случае компании, профессионально занимающиеся предоставлением таких услуг могут придумать что-то новое и уникальное, потому как все зависит от конкретного сайта, аудитории и тд...
- сегментное тестирование (это типа с каких источников траффика приходят посетители и чего они хотят). например тем кто приходят на озон с сатов - торрентов с фильмами логичннее на главной предлагать фильмы, чем книги или еще что.
- контентное тестирование (тут в названии могу ошибаться). суть в том что по первым нескольким шагам или действиям на сайте можно уже делать модель поведения пользователя.
- анализ запросов по которым пользователь попадает на сайт - применимо в связке с сео и контекстной рекламой
- отслеживание разнми методами какие сайты посещает пользователь помимо тестируемого (отслеживание и прогнозирование как отдельного визитора так и схожих по определенным характеристикам групп) и соответственно выдача актуального контента для них...
а на самом деле еще много чего, в каждом конкретном случае компании, профессионально занимающиеся предоставлением таких услуг могут придумать что-то новое и уникальное, потому как все зависит от конкретного сайта, аудитории и тд...
1. Не путайте инструмент и процесс. Как вы собираетесь определять что лучше подходит пользователю, пришедшему с торрента? Фильмы - это гипотеза, которую можно подтвердить/опровергнуть A/B тестингом.
2. Слова "компании, профессионально занимающиеся предоставлением таких услуг, могут придумать..." навевают мысль о горе-консультантах, которые с удовольствием придумывают супер-пупер методики, неимеющие отношения к жизни. Не скажу, что все консультанты такие, но таких много. (ничего личного)
3. "какие сайты посещает пользователь помимо тестируемого" - круто! А можно какой-нибудь пример, где такое испольузется? Можно не только из рунета. Только, чтобы посещаемость сайта была больше 10 K уников (отсекаем сайты под методику) и не больше 200 K уников (поисковиков с барами и Амазонов с Алексами не так много).
2. Слова "компании, профессионально занимающиеся предоставлением таких услуг, могут придумать..." навевают мысль о горе-консультантах, которые с удовольствием придумывают супер-пупер методики, неимеющие отношения к жизни. Не скажу, что все консультанты такие, но таких много. (ничего личного)
3. "какие сайты посещает пользователь помимо тестируемого" - круто! А можно какой-нибудь пример, где такое испольузется? Можно не только из рунета. Только, чтобы посещаемость сайта была больше 10 K уников (отсекаем сайты под методику) и не больше 200 K уников (поисковиков с барами и Амазонов с Алексами не так много).
Ну чё, молодцы. Магазин очень известный, должен соответствовать статусу.
Ozon.ru первый в рунете запускает A/B Testing«Первый в рунете» - это потому, что о других случаях вы не слышали? :)
Если серьезно, то сплиттестингом занимается множество сайтов, в том числе и в рунете. Мы еще в 2003 году делали вебсервис (тогда слово «стартап» не было так популярно) для сплиттестинга. Сами раскрутить мы его не смогли, продали на sedo.com за две с половиной тысячи :)
Я написал провакационный заголовок, чтобы увидеть в комментариях другие примеры использования A/B тестинга в рунете. При пример нужен:
1. На большом сайте. Если на сайт ходит 20 человек, 10 видят одно, 10 - другое, то это не аналитический инструмент, а красивая фича.
2. Тестирование, из которого делатся выводы. Опять же нужен не красивый фетиш, а инструмент принятия решений.
Я очень рад, что в России делались (и делаются) сервисы для реализации A/B тестинга (и прочего). Кстати, Omniture купил подобный сервис Offermatica год назад за 65 млн $: ссылка Omniture и Offermatica. Но наличие инструмента, еще не означает факт его использования, что вы сами и подтвердили "раскрутить мы его не смогли".
Если у вас есть примеры использования - кидайте. С удовольствие поизучаю.
1. На большом сайте. Если на сайт ходит 20 человек, 10 видят одно, 10 - другое, то это не аналитический инструмент, а красивая фича.
2. Тестирование, из которого делатся выводы. Опять же нужен не красивый фетиш, а инструмент принятия решений.
Я очень рад, что в России делались (и делаются) сервисы для реализации A/B тестинга (и прочего). Кстати, Omniture купил подобный сервис Offermatica год назад за 65 млн $: ссылка Omniture и Offermatica. Но наличие инструмента, еще не означает факт его использования, что вы сами и подтвердили "раскрутить мы его не смогли".
Если у вас есть примеры использования - кидайте. С удовольствие поизучаю.
Давно эту штуку заметил, однако почему то она строит Рекомендации по принципу - "раньше книгу этого автора покупал - купи ещё одну". К сожалению нет принципа - любишь фантастику: вот тебе ещё и другие авторы-фантасты, книги которых покупают люди с похожим литературным вкусом. Или я не заметил этого просто)
Рекомендации на первой странице появились еще осенью. Сейчас я говорю про тестирование дизайна блока, в частности про название, через A/B тестирование. А механизм построения рекомендаций - отдельная тема, но очень интересная.
да ладно, простраивать такие зависмости - дело нелёгкое. даже на Last.fm музыкальная совместимость с человеком определяется только сравнением любимых групп, а не стилей, в которых эти группы играют. хотя такой подход был бы релевантнее.
сейчас last.fm указывает не только схожесть с группами, которым, кстати, вы сами можете выставить тэги, выделив своё мнение о жанре музыки, но и показывает количетсво прослушиваний групп, с которыми идёт сравнение. удобно.
но вот толкьо угадать даже на 50% он не смог - тут уже личное дело каждого что слушать, а что нет.
Пример: я слушал много группу Porcupine Tree и отдельно их вокалиста Steve Wilson, но сайд-проект фронтмена No-Man мне не понравился, хотя играет группа практически в той же стилистике, что и Porcupine Tree (на мой взгляд).
но вот толкьо угадать даже на 50% он не смог - тут уже личное дело каждого что слушать, а что нет.
Пример: я слушал много группу Porcupine Tree и отдельно их вокалиста Steve Wilson, но сайд-проект фронтмена No-Man мне не понравился, хотя играет группа практически в той же стилистике, что и Porcupine Tree (на мой взгляд).
Что-то не пойму, вся разница между вариантами А и Б сводится к разному названию?...
В данном случае - да. Но вполне возможно реализовать немного разное расположение элементов интерфейса и т.д. . Тот вариант, который окажется более удобным для пользователя, останется.
Больше похоже на баг, чем на А/Б тестинг)
Я тоже так думал, но все оказоль хитрее. Смотри мой комент в корне дискуссии: http://habrahabr.ru/blog/eCommerce/46866…
Одну важную вещь забыли — нужен очень хороший траф, начинающийся с тысяч уников для осмысленных результатов.
Price.ua, к примеру, проводит мультивариантное тестирование при помощи Maxymiser'a
Зря такой провокационный заголовок. Совсем не первый.
Всё это отлично и бесплатно делается (и применяется) с помощью Google Web Optimizer и Google Analytics, в том числе и MVT Testing.
Проблема заключается совсем не в этом. А в определении правильной точки конверсии. Все считают её по разному, и все одновременно правы, и одновременно неправы.
Представим, что тестирование идёт в интернет-магазине. В каком случае вы будете считать более успешный вариант тест, какое событие будет выбрано для анализа конверсии ? Большинство выберет "положить в корзину". Но это ещё не означает что товар будет куплен. Тогда приходим к мнению что лучше использовать событие "Оформление заказа". и т.д.
Всё это отлично и бесплатно делается (и применяется) с помощью Google Web Optimizer и Google Analytics, в том числе и MVT Testing.
Проблема заключается совсем не в этом. А в определении правильной точки конверсии. Все считают её по разному, и все одновременно правы, и одновременно неправы.
Представим, что тестирование идёт в интернет-магазине. В каком случае вы будете считать более успешный вариант тест, какое событие будет выбрано для анализа конверсии ? Большинство выберет "положить в корзину". Но это ещё не означает что товар будет куплен. Тогда приходим к мнению что лучше использовать событие "Оформление заказа". и т.д.
Примеры есть? Все в комментариях пишут про существование систем, позволяющих реализовать и пеомерить AB (MVT) тестинг, но примера применения кроме (price.ua) я пока не увидел. У меня есть основание полагать, что в рунете таких примеров нет, поэтому мне я и счел нужным отметить эксперимент Озона.
По поводу success метрики вы совершенно правы - вопрос не тривиальный, но один из ключевых. Будет ли это клик / добавление в корзину / заказ или заказ свыше определенной суммы (вариантов еще много) нужно выбирать в зависимости от задачи / тех. возможностей. Главное, что мы используем одну и ту же метрику для обоих (или более) вариантов.
Кстати, мерить cart addition не так уж неправильно (вряд ли разный дизайн повлияет значимо на конверсию из cart addition в заказ), но ход ваших рассуждений поддерживаю.
P.S. не все так гладко с использованием гугло-сервисов на сайтах масштаба Озона. Как минимум эти сервисы становяться платными.
По поводу success метрики вы совершенно правы - вопрос не тривиальный, но один из ключевых. Будет ли это клик / добавление в корзину / заказ или заказ свыше определенной суммы (вариантов еще много) нужно выбирать в зависимости от задачи / тех. возможностей. Главное, что мы используем одну и ту же метрику для обоих (или более) вариантов.
Кстати, мерить cart addition не так уж неправильно (вряд ли разный дизайн повлияет значимо на конверсию из cart addition в заказ), но ход ваших рассуждений поддерживаю.
P.S. не все так гладко с использованием гугло-сервисов на сайтах масштаба Озона. Как минимум эти сервисы становяться платными.
Какое событие будет выбрано для анализа конверсии?Как правило выбирается несколько событий, и по каждому ведется статистика. В итоге получаем несколько лидеров.
Большинство выберет "положить в корзину". Но это ещё не означает что товар будет куплен.Прослеживать зависимость прибыли от вариантов контента.
Еще раз внимательно изучил что же показывает Ozon. Дело не только в названии блока.
Под блоком "Персональные рекомендации" скрывается выборка из персональных рекомендаций (что уже было раньше), а под блоком "возможно вас заинтересует" - рекомендации к недавно просмотренным товарам.
То есть тестируется 2 разных инструмента, а не просто название блока. Это уже не просто демонстрация A/B-тестинга, а реальная бизнес-задача.
Под блоком "Персональные рекомендации" скрывается выборка из персональных рекомендаций (что уже было раньше), а под блоком "возможно вас заинтересует" - рекомендации к недавно просмотренным товарам.
То есть тестируется 2 разных инструмента, а не просто название блока. Это уже не просто демонстрация A/B-тестинга, а реальная бизнес-задача.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Ozon.ru первый в рунете запускает A/B Testing