A/B-тестирование и его результаты, которые шокировали экспертов: интуиция иногда подводит

[@Ogoun]

Фото счастливого человека первым делом наводят на мысль что сейчас попробуют развести.

[@Color]

У меня почему-то такие фото на сайтах вызывают ассоциации с сектами или сетевым маркетингом, что, в общем, одно и то же

[@PACCBET64]

Может когда-то и было так, как написано про счастливые лица, но после появления этих лиц на сайтах, на которых тебя пытаются развести, люди начали их пугаться )

[@exmmo]

В данном случае функцией иконок было отражение разных категорий товаров на страницах сайта. Представители компании считали, что удобная навигация по самым посещаемым разделам поможет увеличить продажи. Однако они ошиблись: вариант без иконок способствовал повышению продаж на 21%.

Не удивительно — с иконками получился просто дикий ад перфекциониста.

[@Carduelis]

Заголовок и начало статьи намекают о том, что интуиция и полагание подводят экспертов и вообще, надо тестировать.
Но в середине статьи я наткнулся на "… но нам кажется, что причиной меньшей конверсии стало само наличие логотипа."
Ну вам же кажется. Проведите тогда еще одно тестирование: влияет ли уменьшение кнопки на конверсию, а потом уже и говорите результат. Иначе сами себе противоречите.

[@Carduelis]

И, кстати, множество примеров «высосаны из пальцев». Например тот же, упомянутый выше, пример с иконками.
Тут и без А\Б понятно, что интерфейс перегружен, метафоры странные (что вообще расположено на первой иконке с bathroom? Вначале я подумал об автоматической выдавалке салфеток, потом пришел унитаз. А разве в «ванной» только унитаз?), свободного места совершенно нет, иконки не подогнаны под один стиль (например, иконка с полом).

[@elfuegobiz]

А разве в «ванной» только унитаз?

В «нашей» ванной — нет. Но в английском (по крайней мере, в США) для обозначения туалета в квартире/доме всегда используют слово «bathroom», и санузлы там совмещённые. Видимо, это слово уже жёстко ассоциируется именно с «отправлением нужд». Как, кстати, и русское слово «туалет», которое когда-то означало одевание и собственно одежду, а теперь ассоциируется практически только с сортиром.

ps: как и французское слово «sortir», означающее «выходить», в русском означает уже совсем другое =))

[@uazure]

Результаты некоторых описанных тестов представляются мне странными. Остается надеяться что результаты тестирования были получены на основании адекватных методик измерения: достаточно большая выборка, отсеяны боты, случайное направление клиентов на А и Б страничку в каждый момент времени и т.п.

[@noopic]

В первом варианте количество пользователей не впечатляет. Владелец сайта может написать хоть миллиард пользователей. Эту информацию никак не проверить. В том же ВКонтакте аватарки людей появляются, если навести на число. Хотя, опять же, не известно реальные это люди, или купленные аккаунты. На обычном сайте эта информация, на мой взгляд, бесполезна. Лучше бы сделали мини галерею пользователей, на фоне монитора с их продуктом, и то, интересней было бы.

Во втором варианте иконки ужасные. Первая ассоциация, которая появилась при взгляде на иконки,: «Это рекламный баннер».

Третий пример. Считаю, что все эти значки доверия вредны. Они, как бы говорят, мы вас не обманем. Если мне в торговой точке вам такое скажет продавец, повысится ли ваше доверие к нему?

Пятый вариант неправильно сделали. Нужно было проверить пример, на котором взгляд девушки направлен вниз, на саму форму.
Пример:


На мой взгляд, интереснее гораздо лучше вместо a/b тестирования делать a/b/c/d/e/f/g/h/i/j/k/l/m/n. Тогда информация будет более полной. А так, это гадание на кофейной гуще. Единственный полезный посыл статьи — не слушаете других, тестируйте все сами.

[@uazure]

Я бы сформулировал иначе посыл статьи
«Слушайте экспертов, но учитывайте, что конкретно в вашей отрасли конкретно ваши клиенты могут сильно отличаться от описанных экспертами случаев. Делать тестирование или не делать — решайте сами исходя из дороговизны проведения тестирования и потенциальных увеличений прибыли в связи с оптимизацией.»

[@mousus]

Про лица: в моём случае выработалась полное отвращение к счастливым, тем более детским лицам на сайтах и макулатуре, по той лишь простой причине, что за такой цветастой картинкой скрывался отвратительно работающий продукт с неимоверно плохой поддержкой на рынке беспроводного радио оборудования. Такое чувство если товар плохой, а продажи делать надо как раз начинают вспоминать «а не забабахать ли нам довольные детские щщи, авось взлетит» результат немного предсказуем: целевая аудитория имеет на борту мозг, умеет общаться на профильных форумах и быстро узнаёт что есть что. Хоть вообще PR отдел с дизайнерами разгоняй. В общем по личному опыту, подтверждённому коллегами не морды лица, а дельная информация лучше агитирует к покупке. Хотя в случае с вызвавшим бурю негодования «любителем детишек» ему это не помогло, кидалово покупателей и невменяемый ценник (раз в 5 выше конкурентов) аукнулось чередой перепродаж/банкротства вендора. Кстати в стране вендора и на этом рынке такая история не единична, к слову у их заокеанских конкурентов без детишек и с добротным техническим дизайном дела идут на порядок лучше.

[@SageScs]

Тестирование хорошо на репрезентативной выборке. Имхо А/В тестирование могут позволить себе применять достаточно часто только сервисы с очень хорошим трафиком, стартапам приходится гадать, т.к. лучше уж предположение, чем тестирование на сотне человек.

[@sply]

Сейчас зашел на build.com и вижу у них большие полноцветные иконки-фотки. Вероятно, они не ограничились удивлением тому, что плоские монохромные иконки дали плохой результат, а стали проверять, почему результат оказался противоположным ожидаемому. Ну и нашли.

Отсюда мораль — если в результате тестирования вы получили результат, противоположный ожидаемому, стоит поискать ошибку в реализации желаемого решения.

[@Pilat]

Они не сделали иконки. У ТС описаны иконки сразу на первом уровне меню, сейчас на сайте их нет, иконки появляются только на втором уровне. Пример как было — web.archive.org/web/20130126122147/http://www.build.com/

[@uazure]

А разве А/Б тестирование подразумевает что вы тестируете не со своей аудиторией?

[@vbif]

Помните, контекст – это ключ ко всему!

И при этом в первом же абзаце приводится вырванный из контекста пример. Да и собственно все «маркетологические» рекомендации часто вырываются из контекста

хорошо, что представители компании использовали фото реального сотрудника, а не очередную «стоковую» фотографию.

А как определить сходу, не гугля картинку, реальный это сотрудник, или актёр?