Как «простой эксперимент» принёс Обаме 60 миллионов долларов [перевод]

    21 октября 2010 года президент Барак Обама посетил Пало-Альто. Для привлечения денег на его предвыборную кампанию был организован званый ужин, стоимость участия в котором составляла 30 400 $. Это крайне эффективный метод привлечения средств, правда он может сработать только в том случае, если вы имеете возможность пригласить к себе президента. Как же привлечь средства, если у вас есть только веб-сайт, который не видел никто, кроме вашей бабушки? Именно в такой ситуации мы оказались в далеком 2007 году, когда Обама выдвигался в президенты, а отставание от ближайшего конкурента выражалось двузначным числом процентов.



    В 2008 году, когда я работал директором аналитического отдела администрации Обамы, в мои обязанности входило принятие решений, основанных на анализе данных. Мы начали с одного простого эксперимента в декабре 2007 года. На основе этого эксперимента нам был сделан вывод, что каждый посетитель нашего сайта был уникальной «возможностью для привлечения средств» и, что более важно, воспользовавшись этой «возможностью», путём оптимизации и A/B тестирования, мы могли привлечь десятки миллионов долларов.

    Этот эксперимент тестировал два блока нашего сайта: блок с картинкой и видеороликом (Media section) и блок с кнопкой (Call-to-action).



    Для эксперимента мы использовали Google Website Optimizer и провели полный факторный многомерный тест. Простыми словами, мы протестировали все комбинации кнопок и медиа-контента. У нас было 4 варианта кнопок, 3 картинки и 3 видеоролика, что означало 24 (4 * 6) комбинации для теста. Каждому посетителю посадочной страницы случайным образом демонстрировалась одна из комбинаций, а мы в свою очередь отслеживали количество посетителей, оставивших свой e-mail.

    image

    Перед тем, как вы увидите результаты, попробуйте предположить какая кнопка и медиа-контент по вашему мнению оказались наиболее успешными?

    Результаты


    Метрикой, которую мы использовали для измерения успешности эксперимента, был темп получения подписок. Если быть точнее, то это количество подписавшихся людей, разделенное на количество людей, увидевших определенный вариант страницы. Так как в общей сложности за время эксперимента на посадочную страницу зашло 310 382 посетителя, то это означает, что каждый вариант увидело примерно по 13 000 человек.

    Вот такие значения мы наблюдали для каждого из вариантов посадочной страницы:



    А такие значения мы наблюдали при оценке комбинаций различных вариантов:



    Победитель


    Наилучшей комбинацией кнопки и медиа-контента стала «Combination 11», которая состояла из кнопки «Learn more» и фотографии семьи:



    До того, как мы запустили эксперимент, люди, работающие над кампанией, предпочитали «Sam’s Video» (последнее в списке слайд-шоу выше). Если бы мы не запустили эксперимент, мы бы, скорее всего, поставили именно это видео на нашу посадочную страницу. В итоге такая мелочь могла бы стать роковой ошибкой, ведь как оказалось, любой из видеороликов влияет на конверсию слабее, чем любое изображение.

    11,6% — именно такая конверсия в подписки была у победившего варианта, в отличие от 8,26% конверсии оригинальной страницы. Тем самым нам удалось получить на 40,6% подписей больше. Давайте попробуем понять откуда взялась эта цифра. Если считать, что это улучшение сохранит эффект на протяжении всей кампании, то позже, ближе к окончанию мы сможем оценить итоговые цифры и определить изменения, к которым привел именно этот эксперимент. Грубо говоря 10 миллионов человек подписались на посадочной странице за время кампании. Если бы мы не запустили этот эксперимент и просто оставили оригинальную страницу, то это число было бы около 7,1 миллионов человек. А это меньше на целых 2,9 миллиона электронных адресов.

    Отправка электронных писем людям, которые оставили свою почту с предложением стать волонтерами, позволило привлечь 10% из них. В итоге получается, что нам удалось привлечь из 2 880 000 электронных адресов 288 000 волонтёров, а это намного больше, чем планировалось изначально. В среднем, каждый электронный адрес, который был получен с помощью нашей посадочной страницы пожертвовал по 21 доллару за всё время кампании. Итого дополнительные 2 880 000 электронных адресов из нашего списка вылились в дополнительные 60$ миллионов пожертвований.

    Полученные знания


    1. Каждый посетитель вашего веб-сайта — это возможность. Не упустите эту возможность, используйте оптимизацию и А/B тестирование, это даст вам дополнительное преимущество.
    2. Проверяйте предположения. Всем участникам кампании нравились видеоролики. Но в итоге видео сработало хуже, чем картинки. Мы бы никогда не узнали об этом, если бы не проверяли наши предположения.
    3. Экспериментируйте на ранней стадии, экспериментируйте чаще. Мы запустили эксперимент в декабре 2007, а пользу он приносил вплоть до конца президентской кампании. Так как первый эксперимент был настолько эффективен, то мы продолжили аналогичное экспериментирование на всем сайте в течение всей кампании.

    Перевод осуществлен сотрудниками проекта Generate.club — первый сервис в России по оптимизации посадочных страниц в автоматическом режиме. Будем рады ответить на все ваши вопросы.

    P.S. Статья является переводом истории о помощи A/B тестирования в предвыборной кампании Барака Обамы. К сожалению, из-за непонятного бага Хабры, возможности указать это при создании публикации не оказалось. Приносим извинения за путаницу!
    Generate.club
    Company
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 55

      +23
      Политкорректный Пакман…
        0
        15 минут всей командой искали этого Пэкмана :)
          +2
          А я вот так и не нашел :(
          +3
          Черный Пакман пожирающий Белое Яблоко.

          Богатое поле для поиска смыслов ;-)
          +49
          До того, как дочитал до строчки: Перевод осуществлен сотрудниками проекта Generate.club. Думал, что кто-то с хабра работал на Обаму. Не хуя себе — крутилось у меня в голове.
            +4
            Зря не прислушались
              0
              зря сострил. не понятно: к чему я должен был прислушаться?
                0
                К тому, что крутилось, я думаю.
            +2
            Надеюсь, все же «Ни».
            +13
            А где метка «перевод»?
              +2
              Почему-то при создании поста не было возможности поставить тип публикации «перевод». Есть предложения как это можно сейчас исправить?
                +1
                www.dropbox.com/s/nu2jdkuoq22xo46/Screenshot_2014-08-13-17-57-55.png
                Простите за извращение, я с планшета и не очень удобно иначе показать.
                Можно лирическое отступление в начале сделать, мол, «это — перевод, так и сяк».
                  0
                  Спасибо! Но как раз таким способом, к сожалению, не было возможности оформить статью.
                  Поэтому пришлось сделать это кустарным методом в постскриптуме :)
                    +3
                    Тогда уже сделайте пре-скриптум :) хотя сейчас тэг в названии тоже норм.
                0
                Возможно, в корпоративные блоги нельзя постить переводы?
                –2
                11,6% — именно такая конверсия в подписки была у победившего варианта, в отличие от 8,26% конверсии оригинальной страницы.
                Вилами по воде…
                А потом на основании такой оценки (имхо в корне неверной, совершенно не учитывающей другие факторы, типа параллельно идущей рекламной компании в прессе и на ТВ) делаем далекоидущие выводы — «вылились в дополнительные 60$ миллионов пожертвований.»
                Я не говорю, что редизайн плох или про то что страница стала хуже/лучше — я про то, что место такой статистике, собраной основываясь на «ложных» или выдаваемых за действительность фактах, в лучшем случае в мусорном ведре, рядом с другими рекламными проспектами.
                Реклама, такая реклама…
                  +2
                  А вы поняли вообще как проводилось тестирование?
                    +4
                    Метрикой, которую мы использовали для измерения успешности эксперимента, был темп получения подписок. Если быть точнее, то это количество подписавшихся людей, разделенное на количество людей, увидевших определенный вариант страницы.
                    Чего тут непонятного?
                      +1
                      Следующим предложением идет разъяснение ;)
                        +2
                        Мне кажется что вы думаете что разные варианты видели в разный период времени. Однако это не так. На самом деле варианты демонстрировались одновременно. Так что влияние внешних рекламных компаний отражалось сразу на всех вариантах.
                          +1
                          Если проводившаяся внешняя рекламная кампания включала в себя семейные видео с Обамой, то влияние такой кампании на картинку с семьёй Обамы было заметно сильнее чем на остальные, так что эти факторы обязательно надо было учитывать.
                            0
                            Хотя да. Об этом факторе я не подумал.
                              +3
                              Так важен ведь результат. Все внешние факторы не учесть — и в статье сказано, что предпочтение изначально отдавали другому варианту. А здесь эмпирическим путем получаем оптимальный вариант. Не было бы внешний кампании — лучшей стала бы другая комбинация. Но она все-равно была бы оптимальной.
                              0
                              Именно так. В этом случае все варианты демонстрировались одновременно. Это суть А/Б и мультивариантного тестирования.
                        +22
                        В 2008 году, работая директором аналитического отдела администрации Обамы, в мои обязанности входило принятие решений...

                        Проезжая мимо станции, у меня слетела шляпа.
                          +1
                          Ох уж этот великий и могучий :)
                          +21
                          Судя по приведенным результатам, сильнее всего на конверсию повлияла кнопка. Но, обратите внимание, эта кнопка обманывает посетителя! Нажимая на такую кнопку, я хочу получить информацию прямо сейчас, а не подписаться на рассылку.

                          Мало того, что этот прием — нечестный, так он еще и в итоге показывает ложную конверсию. Кто-нибудь вообще измерял, сколько людей, нажавших эту кнопку, потом пожертвовали средства, а сколько отсеялись?

                          Если для других вариантов кнопки и для разных вариантов картинок процент посетителей, прошедших второй этап, должен быть одинаковым, то с появлением варианта «Learn more» все тестирование превратилось в фарс.
                            +1
                            Фарс — это еще очень мягко…
                            Например, в паралельной плоскости хочется увидеть хотя бы рост числа посетителей сайта в абсолюте, а он там думается был:)
                            Вообще странная оценка, для меня это пока выглядит вроде «Как мы подмазались к успеху предвыборной кампании».
                              +7
                              Ну да. Можно было на кнопке написать «Show me cute kittens!» Может ещё больше бы конверсии насчитали.

                              Я догадался, что Learn more нравится людям больше. Именно потому, что она вроде как ни к чему не обязывает.
                                +3
                                Да, конечно, можно было и так сделать :) Но вы в любом случае будете гадать, пока не увидите реальные цифры. Так сразу и не скажешь, что бы лучше сработало: видео или фото. Например, люди не смотрят видео на работе (вернее отключают звук) и им лучше показать картинку, а когда они будут дома, то могут и видео нормально посмотреть и оно может лучше сработать. И, кстати, если вы заметили в статье рассматривается случай, когда все думали, что видео эффективнее фотографии, а оказалось наоборот. В ближайшее время мы опубликуем техническую статью о том, как мы будем определять что кому показывать.
                                +1
                                Кто-нибудь вообще измерял, сколько людей, нажавших эту кнопку, потом пожертвовали средства, а сколько отсеялись?

                                «В итоге получается, что нам удалось привлечь из 2 880 000 электронных адресов 288 000 волонтёров»

                                Мне тоже сразу этот показатель стал интересен, я так понимаю, 10% и будет конверсия «learn more в пожертвования», отличный результат, причем считали его уже «средним по больнице» )
                                  +1
                                  А средний результат неинтересен. Интересно, сколько волонтеров было привлечено среди тех, кто нажал на «Learn more» — и сколько среди остальных. Вот только эти числа измерить забыли, как мне думается.
                                  0
                                  Судя по всему практика «Learn more» уже давно используется устройствах для голосования в конгрессе США, да и не только там...!
                                    0
                                    А еще надо было поиграть с вариантом «Try now >>» O_o
                                  0
                                  Интересно, за какой период оценивались результаты и каким образом люди узнавали об этом Интернет-ресурсе. ИМХО 310 382 посетителя — само по себе является результатом, если это был короткий промежуток времени.
                                    0
                                    Наверно тизерами нагнали с ресурсов семейной тематики.
                                      0
                                      тогда уж дорвеи :D
                                    +3
                                    Тут все как раз очевидно — семейное фото Обамов (или Обам?) и «Узнать больше». Конечно, американцы хотят узнать больше о семье (а политика их как раз почти не интересует). Любопытство – сильнейший стимул тыканья мышой. Почти вся вирусная реклама так устроена.
                                      +5
                                      То, что вы говорите об очевидности, очень хорошо, потому что вы наглядно на своем примере демонстрируете классическое когнитивное искажение, называемое ретроспективным искажением или синдромом я-знал-все-это-заранее.

                                      Узнать больше о ретроспективном искажении.
                                        0
                                        Ох, сколько сложных незнакомых слов %)

                                        По существу: ничуть не умаляя необходимость многовариантного тестирования комбинаций разных визуальных элементов на непосредственно целевой аудитории, мне в данном конкретном случае _действительно_ очевидно, почему именно семейное фото и «узнать больше» выиграли с большим отрывом. Я семь лет занимался точечной интернет-рекламой преимущественно на североамериканском рынке и съел собаку на всяческих тестах «вживую». Так вот, бывает так, что предполагаешь что-нибудь, а тесты показывают совершенно противоположное. А бывает, что предполагаешь, то и получаешь. Вот этот последний вариант я и имел в виду, используя научный термин «очевидно».
                                          +1
                                          А я утверждаю, что это нифига не очевидно, и вы заблуждаетесь (иначе зачем ребята делали этот странный эксперимент?)
                                      • UFO just landed and posted this here
                                          0
                                          >семейное фото Обамов (или Обам?)

                                          Думаю, что и правильно, и благозвучно будет: «Фото( или фотография) семьи Обама»
                                            0
                                            Любопытство – сильнейший стимул тыканья мышой. Почти вся вирусная реклама так устроена.

                                            Почти весь хабр гипертекст так устроен.
                                            –3
                                            Как раз таки задумываясь об использовании A/B тестирования для своего проекта
                                              –2
                                              Как надумаете, обращайтесь к нам. Подскажем, проконсультируем :)
                                            • UFO just landed and posted this here
                                            • UFO just landed and posted this here
                                                +2
                                                Перед тем, как вы увидите результаты, попробуйте предположить какая кнопка и медиа-контент по вашему мнению оказались наиболее успешными?
                                                Ура, мне удалось угадать выигрышное сочетание :) Рассуждал так:
                                                кнопки SIGN UP ассоциируются с кучей веб-сайтов, на которых они ведут на скучную унылую форму-портянку с вводом логина-пароля, фамилии бабушки, etc. Не будем кликать.

                                                Долго сомневался между «Join Us» и «Learn More», пытаясь угадать психологию типичного американца, может он более склонен к коллективизму и вступлению куда-либо, чем мы? Но в итоге решил, что первое — «присоединяйся к нам» наверняка если и не заставит куда-то тащиться, подавать какие-нибудь заявления на вступление, то уж точно обяжет что-то, да делать. А человек ленив и осторожен, поэтому скорее предпочтёт сначала осторожно поинтересоваться через «Learn more», прежде чем подписываться на что-то. Тут мы с американцами не отличаемся.

                                                С фото-видео проще. Видео сразу отринем, опять же, мы ленивы, чтобы тратить на это время, да и публичные хорошо поставленные выступления и без того можем посмотреть по телевизору. Остаются фотографии, из них семейная — самая душевная и вроде как «приближающая это высокопоставленное лицо ближе к народу».
                                                • UFO just landed and posted this here
                                                  +1
                                                  Не раскрыли тему зависимости конверсии от времени суток. Было бы интересно.
                                                    0
                                                    Несомненно, время — важный параметр, но есть еще сотни других, влияющих на конверсию. Мы в ближайшее время разберем и опубликуем другие интересные кейсы. Stay tuned :)
                                                    0
                                                    по хорошему на выходе должен был получиться многомерный ответ, как минимум с разбивкой по регионам, слабо верится, что один и тот же вариант работал одинаково хорошо для всех штатов. красивая саксесс стори, но в реальности тесты часто не так однозначны в выводах ((

                                                    Only users with full accounts can post comments. Log in, please.