Нас всё время спрашивают: какова погрешность сбора данных в Google Analytics? Какому счетчику лучше доверять? Нельзя ли избавиться ото всех несовпадений и получить точные цифры посещаемости?
Когда мы ведем рекламную кампанию, мы платим за каждого посетителя. Данные веб-аналитики должны подсказать нам, какие из объявлений зря расходуют бюджет, какие ключевые слова для нас важнее. Нам необходимо узнать результат как можно скорее! Когда же он будет готов?
Здравый смысл в решении этой задачи — не помощник. Дело в том, что при анализе статистических показателей мы сталкиваемся со случайными процессами. Наш мозг пытается представить себе равномерный процесс: если конверсия на сайте 10%, нам кажется, что конвертироваться будет именно каждый десятый:
Даже если мы понимаем, что реальность выглядит иначе, трудно избавиться от иллюзии: «дождемся нескольких конверсий и получим точные данные». На самом деле процесс этот куда хаотичнее, например:
Это значит, что при ограниченном количестве посещений, даже обладая точными данными о количестве посетителей, просмотров, конверсий, мы не можем точно спрогнозировать будущие продажи. Нет такого количества данных, которое обеспечивает твердую уверенность в рассчитанных показателях: мы можем лишь ориентировочно оценить «настоящий» процент конверсии.
Есть и хорошие новости: мы можем прикинуть, с какой точностью мы посчитали этот коэффициент, и осознать, достаточно ли нам этой точности, или требуется подождать большего количества данных. Я не буду углубляться в математические выкладки, рассказывая теоретическую часть. Приведу лишь две простые формулы, по которым легко рассчитать нужные вам цифры.
Главное понятие математической статистики, которое следует усвоить каждому аналитику — это доверительный интервал. Это диапазон, в котором может лежать истинное значение нужной нам величины: например, показателя конверсии. Подсчитанное обычным образом (к примеру, системой Google Analytics) значение конверсии лежит где-то внутри этого интервала; истинное значение конверсии (которое мы узнаем только на бесконечном трафике) также, скорее всего, находится внутри него.
При увеличении выборки данных колокол сужается, а вероятность того, что истинное значение ближе к измеренному — увеличивается. Мы же выбираем, какую достоверность считать достаточной. По одной и той же кривой можно построить разные доверительные интервалы. На графике представлены два варианта (красный и зеленый).
Перейдём к делу. Давайте рассчитаем доверительный интервал для конверсии одного из рекламных объявлений — «Купите слона со скидкой!». Допустим, в Google Analytics мы видим 143 визита и конверсию 2.1% по этому объявлению. Мы хотим сравнить это объявление с другим («Слон с доставкой по Москве») — у него 184 посещения и 2.7% конверсии — и выбрать лучшее. Многие маркетологи уже сделали вывод, что второе объявление лучше, но нам надо проверить это математически.
Перед началом анализа мы принимаем важное решение: какая достоверность будет достаточна. Удобнее всего пользоваться стандартными значениями, упрощающими вычисления: это 68%, 95% и 99.7% (их называют «одна сигма», «две сигмы» и «три сигмы» соответственно). Хочется считать с максимальной уверенностью (три сигмы), но это расширяет интервал и часто делает его совершенно неинформативным.
Формула, которая поможет нам, выглядит так:
,
где R — подсчитанный простым делением коэффициент конверсии, N — число посещений, а α — количество сигм, т.е. точность измерения.
С точностью 68% конверсия первого объявления находится в пределах от 0.8% до 3.3%; конверсия второго объявления от 1.7% до 3.8%.
Обескураживает, не так ли? Сравнить эффективность невозможно: интервалы пересекаются. Оба объявления могут оказаться лидерами. Если мы захотим построить интервалы для вероятности в 95%, они окажутся еще в два раза шире. Нужно ждать данных, и беда в том, что мы даже не знаем, когда эти интервалы «расступятся» и выявится лидер: это зависит от разницы истинных коэффициентов конверсий. Обычно для определённости необходимо порядка сотни конверсий для каждого объявления (слова, кампании или другого сегмента, конверсию которого мы считаем). Обратите внимание: наша формула считает хорошо лишь тогда, когда конверсия не превышает 30%.
А что если наше объявление не дало ни одной конверсии? Жаба начинает душить нас: давайте скорее отключим рекламу и сэкономим бюджет!
Нулевые конверсии нельзя считать по предыдущей формуле: по ней выйдет, что 0 — точный результат. Это не так. Если у нас 0 конверсий и N посещений, то доверительный интервал считается просто:
Если у нас есть третье объявление («Слоны как на подбор»), приведшее 93 посетителя без единой конверсии, мы можем утверждать с достоверностью одной сигма лишь то, что его конверсия ниже 1.2%. Это объявление хуже «Слона с доставкой», а вот про «Слона со скидкой» говорить ещё рано. Большинство людей в этом месте удивляется, а некоторые даже не верят: неужели всё действительно так зыбко? Однако опыт проведения больших кампаний лишь подтверждает случайный характер конверсий и то, что поначалу «нулёвое» объявление на второй сотне кликов может начать показывать неплохой результат.
Почему популярные средства аналитики не считают эти величины за нас? Я могу лишь предполагать. Эта информация заметно усложнит отчеты, а главное, обнажит нелицеприятную правду: заметное количество умных и точных цифр в этих отчетах на самом деле бесполезны и даже опасны (если полагаться на здравый смысл). Забыв об ошибках подсчета, вы можете остановить эффективную рекламную кампанию, сочтя ее неудачной, выбрать плохой вариант объявления, некорректно распределить рекламный бюджет или ошибиться при разработке стратегии SEO.
Доверительные интервалы отлично считает Google Website Optimizer, средство для проведения и анализа результатов тестирования на сайтах. Optimizer делает выводы только тогда, когда убедится, что интервалы «разошлись» и один из вариантов страницы статистически достоверно превосходит по конверсии остальные образцы.
Многие инструменты учитывают эти данные «под капотом»: например, Яндекс.Директ делает выводы об объявлении только тогда, когда соберет достаточно данных и будет уверен в результате. Нам, конечно, интересно было бы видеть их и в отчетах по трафику, чтобы не ошибаться в оценках «на глазок». Можно написать скрипт для Excel, автоматически вычисляющий доверительные интервалы, но это требует постоянной выгрузки данных. Можно добавить эту функциональность к Метрике или Analytics при помощи API этих систем и внешних скриптов.
Неужели мы вынуждены ждать сотен конверсий по каждому объявлению, чтобы оценить его работу? Это было бы идеальным решением, но обычно невозможно: рекламного бюджета не хватит. Старайтесь не принимать преждевременных фатальных решений (убирать или изменять объявления, не доказавшие свою несостоятельность) до получения статистически значимых результатов; при этом ничто не мешает, к примеру, временно снизить стоимость клика на них.
Полезно добавить учет промежуточных целей: к примеру, помещение товара в корзину является признаком заинтересованного покупателя, но таких конверсий будет больше, чем подтвержденных покупок, поэтому статистически значимый результат вы увидите раньше. А заодно и оцените, сколько людей уходят с сайта из-за неудобного процесса чекаута!
Не разочаровывайтесь в цифрах, но будьте начеку: тогда вы сможете увидеть руководство к действию там, где другие находят только грязную ложь.
Мы всегда отвечаем: погрешность обычно около 10%, явного лидера по точности нет, убрать все ошибки невозможно — так уж устроена технология.Практически никто не понимает, что неточный сбор данных — это не единственная ошибка, влияющая на результат анализа. Даже идеально собранные данные не позволят нам точно подсчитать нужные показатели на сайте (прежде всего, процент конверсии). Собранных данных может быть недостаточно! Это понимает каждый: если на сайт пришли всего 15 посетителей и ни один из них не заполнил форму заявки на кредит, о конверсии говорить рано. Так подсказывает нам здравый смысл; но в какой момент можно сказать, что данных хватает? Ждать ли еще 100 посещений? 200? 500?
Когда мы ведем рекламную кампанию, мы платим за каждого посетителя. Данные веб-аналитики должны подсказать нам, какие из объявлений зря расходуют бюджет, какие ключевые слова для нас важнее. Нам необходимо узнать результат как можно скорее! Когда же он будет готов?
Здравый смысл в решении этой задачи — не помощник. Дело в том, что при анализе статистических показателей мы сталкиваемся со случайными процессами. Наш мозг пытается представить себе равномерный процесс: если конверсия на сайте 10%, нам кажется, что конвертироваться будет именно каждый десятый:
Даже если мы понимаем, что реальность выглядит иначе, трудно избавиться от иллюзии: «дождемся нескольких конверсий и получим точные данные». На самом деле процесс этот куда хаотичнее, например:
Это значит, что при ограниченном количестве посещений, даже обладая точными данными о количестве посетителей, просмотров, конверсий, мы не можем точно спрогнозировать будущие продажи. Нет такого количества данных, которое обеспечивает твердую уверенность в рассчитанных показателях: мы можем лишь ориентировочно оценить «настоящий» процент конверсии.
Есть и хорошие новости: мы можем прикинуть, с какой точностью мы посчитали этот коэффициент, и осознать, достаточно ли нам этой точности, или требуется подождать большего количества данных. Я не буду углубляться в математические выкладки, рассказывая теоретическую часть. Приведу лишь две простые формулы, по которым легко рассчитать нужные вам цифры.
Главное понятие математической статистики, которое следует усвоить каждому аналитику — это доверительный интервал. Это диапазон, в котором может лежать истинное значение нужной нам величины: например, показателя конверсии. Подсчитанное обычным образом (к примеру, системой Google Analytics) значение конверсии лежит где-то внутри этого интервала; истинное значение конверсии (которое мы узнаем только на бесконечном трафике) также, скорее всего, находится внутри него.
Скорее всего?!Да, утверждать со стопроцентной точностью мы сможем только то, что конверсия неотрицательна (и меньше ста процентов). Математические формулы помогут нам построить доверительный интервал, в котором реальная конверсия окажется с очень большой вероятностью. Вероятностное распределение для нашей оценки выглядит так:
При увеличении выборки данных колокол сужается, а вероятность того, что истинное значение ближе к измеренному — увеличивается. Мы же выбираем, какую достоверность считать достаточной. По одной и той же кривой можно построить разные доверительные интервалы. На графике представлены два варианта (красный и зеленый).
Перейдём к делу. Давайте рассчитаем доверительный интервал для конверсии одного из рекламных объявлений — «Купите слона со скидкой!». Допустим, в Google Analytics мы видим 143 визита и конверсию 2.1% по этому объявлению. Мы хотим сравнить это объявление с другим («Слон с доставкой по Москве») — у него 184 посещения и 2.7% конверсии — и выбрать лучшее. Многие маркетологи уже сделали вывод, что второе объявление лучше, но нам надо проверить это математически.
Перед началом анализа мы принимаем важное решение: какая достоверность будет достаточна. Удобнее всего пользоваться стандартными значениями, упрощающими вычисления: это 68%, 95% и 99.7% (их называют «одна сигма», «две сигмы» и «три сигмы» соответственно). Хочется считать с максимальной уверенностью (три сигмы), но это расширяет интервал и часто делает его совершенно неинформативным.
Формула, которая поможет нам, выглядит так:
,где R — подсчитанный простым делением коэффициент конверсии, N — число посещений, а α — количество сигм, т.е. точность измерения.
С точностью 68% конверсия первого объявления находится в пределах от 0.8% до 3.3%; конверсия второго объявления от 1.7% до 3.8%.
Обескураживает, не так ли? Сравнить эффективность невозможно: интервалы пересекаются. Оба объявления могут оказаться лидерами. Если мы захотим построить интервалы для вероятности в 95%, они окажутся еще в два раза шире. Нужно ждать данных, и беда в том, что мы даже не знаем, когда эти интервалы «расступятся» и выявится лидер: это зависит от разницы истинных коэффициентов конверсий. Обычно для определённости необходимо порядка сотни конверсий для каждого объявления (слова, кампании или другого сегмента, конверсию которого мы считаем). Обратите внимание: наша формула считает хорошо лишь тогда, когда конверсия не превышает 30%.
А что если наше объявление не дало ни одной конверсии? Жаба начинает душить нас: давайте скорее отключим рекламу и сэкономим бюджет!
Нулевые конверсии нельзя считать по предыдущей формуле: по ней выйдет, что 0 — точный результат. Это не так. Если у нас 0 конверсий и N посещений, то доверительный интервал считается просто:
- Для одной сигма (достоверность 68%): интервал от 0 до 1.15/N
- Для двух сигма (достоверность 95%): интервал от 0 до 3/N
- Для трех сигма (достоверность 99.7%): интервал от 0 до 6/N.
Если у нас есть третье объявление («Слоны как на подбор»), приведшее 93 посетителя без единой конверсии, мы можем утверждать с достоверностью одной сигма лишь то, что его конверсия ниже 1.2%. Это объявление хуже «Слона с доставкой», а вот про «Слона со скидкой» говорить ещё рано. Большинство людей в этом месте удивляется, а некоторые даже не верят: неужели всё действительно так зыбко? Однако опыт проведения больших кампаний лишь подтверждает случайный характер конверсий и то, что поначалу «нулёвое» объявление на второй сотне кликов может начать показывать неплохой результат.
Почему популярные средства аналитики не считают эти величины за нас? Я могу лишь предполагать. Эта информация заметно усложнит отчеты, а главное, обнажит нелицеприятную правду: заметное количество умных и точных цифр в этих отчетах на самом деле бесполезны и даже опасны (если полагаться на здравый смысл). Забыв об ошибках подсчета, вы можете остановить эффективную рекламную кампанию, сочтя ее неудачной, выбрать плохой вариант объявления, некорректно распределить рекламный бюджет или ошибиться при разработке стратегии SEO.
Доверительные интервалы отлично считает Google Website Optimizer, средство для проведения и анализа результатов тестирования на сайтах. Optimizer делает выводы только тогда, когда убедится, что интервалы «разошлись» и один из вариантов страницы статистически достоверно превосходит по конверсии остальные образцы.
Многие инструменты учитывают эти данные «под капотом»: например, Яндекс.Директ делает выводы об объявлении только тогда, когда соберет достаточно данных и будет уверен в результате. Нам, конечно, интересно было бы видеть их и в отчетах по трафику, чтобы не ошибаться в оценках «на глазок». Можно написать скрипт для Excel, автоматически вычисляющий доверительные интервалы, но это требует постоянной выгрузки данных. Можно добавить эту функциональность к Метрике или Analytics при помощи API этих систем и внешних скриптов.
Неужели мы вынуждены ждать сотен конверсий по каждому объявлению, чтобы оценить его работу? Это было бы идеальным решением, но обычно невозможно: рекламного бюджета не хватит. Старайтесь не принимать преждевременных фатальных решений (убирать или изменять объявления, не доказавшие свою несостоятельность) до получения статистически значимых результатов; при этом ничто не мешает, к примеру, временно снизить стоимость клика на них.
Полезно добавить учет промежуточных целей: к примеру, помещение товара в корзину является признаком заинтересованного покупателя, но таких конверсий будет больше, чем подтвержденных покупок, поэтому статистически значимый результат вы увидите раньше. А заодно и оцените, сколько людей уходят с сайта из-за неудобного процесса чекаута!
Не разочаровывайтесь в цифрах, но будьте начеку: тогда вы сможете увидеть руководство к действию там, где другие находят только грязную ложь.
