Хабр, привет! Меня зовут Наталья Тоганова, я работаю старшим бизнес-аналитиком в компании GlowByte. Мы помогаем компаниям с построением моделей, задачами на стыке data science и инфраструктуры, а также с аналитикой и А/Б тестами. Здесь я хочу поговорить об А/Б тестах и финансовых надеждах, которые на них возлагаются. 

Вопрос «Сколько денег принесет более правильное проведение А/Б тестов?» – всплывает в нашей работе постоянно. И мы знаем правильный ответ на него: в краткосрочной перспективе довольно мало, а возможно и ничего. Даже в долгосрочной перспективе доходность может стремиться к нулю. Хотя… зависит от того, как мы понимаем слово «доходность». Если включать в него «снижение издержек», то правильные А/Б тесты могут быть выгодными. Именно поэтому мы ратуем за веру в статистику, эксперименты и инвестиции в методику и надежность алгоритмов принятия решений.

Кроме того, доверие к методике А/Б тестирования означает и доверие к результатам тестов, а также – что немаловажно – и к тем, чьи идеи проверялись. И хотя доверие важнее денег, нередко оно - ещё и залог роста доходности.

Как посчитать деньги от внедрения системного решения по А/Б?

Прежде чем перейти к подсчету, хочу остановиться на двух моментах.

Первый. Что такое А/Б тесты? Это контролируемые эксперименты с минимум двумя одинаковыми группами, на одну из которых мы оказываем воздействие, а на вторую нет. Воздействие может быть скидкой, новым визуальным решением сайта или чем-то еще. В результате мы хотим узнать, было ли воздействие эффективным, то есть – как правило – принесло ли оно нам больше денег или больше клиентов.

В этой статье словосочетания «методика А/Б тестов», «системное решение по А/Б тестам», «более правильное проведение А/Б тестов», «методологическое А/Б решение» и др. я использую как синонимы, подразумевая процесс по унификации подходов к А/Б тестированию в компании.

Второй. Хочу удостовериться, что мы на одной логической волне. Ты, дорогой читатель, согласишься, что одно и то же вино будет одинаковым на вкус из стакана за 17 р., производства магазина, покинувшего нас, и бокала villeroy & boch?

Однако со мной не согласится Seth Godin. В книге All Marketers Are Liars он приводит доводы в пользу того, что вкус вина меняется со стоимостью стакана. Этот парадоксальный факт в чем-то схож с ситуацией с методикой А/Б тестирования: вроде как и не влияет, а вроде бы и влияет. Почему это так  – надеюсь, смогу доходчиво обосновать к концу статьи.

Итак, наша цель – если еще ненадолго опереться на метафору - посчитать доходность от стакана – то есть методики А/Б тестов, но не вина – А/Б тестов.

Доход от любого методологического А/Б решения состоит из:

Доходной части. Экономия на издержках и рост выручки формируется из трех частей: 

(1) экономия на трудозатратах аналитиков при проведении тестов, а также на трудозатратах, связанных с согласованием тестов (не во всех, но в ряде компаний согласование само по себе дорогостоящий для бизнеса этап, и сокращение времени на него - существенное сокращение костов); 

(2) увеличение числа экспериментов и более быстрое нахождение продукт-маркет-фит (сюда включаем стоимость скидок, которые мы тестируем, и всех связанных с тестами расходов); 

(3) возможность принимать более надежные решения и рост доверия к алгоритму принятия решений.

Расходной части, то есть стоимости решения. Если вы делаете решение сами, то это зарплата аналитиков, инженеров и менеджеров проекта. Если вы нанимаете консультантов, то посмотрите в договор, во сколько вам это обошлось.

Из перечисленных пунктов очевидно, что оценить расходы несложно, а из экономии на издержках и потенциальном росте выручки проще всего посчитать пункт (1). То есть сэкономленное время аналитиков на тестах, их дизайне, мониторинге и подведении итогов. Однако не надо быть очень продвинутым бизнес-аналитиком, чтобы понять: затраты на стоимость масштабного или даже не очень масштабного решения по А/Б тестам не окупятся за год экономии на трудозатратах аналитиков. Есть сомнения, что это произойдет и за два года.

Потенциальная выгода от системного решения по А/Б тестам кроется в пунктах (2) и (3). Там все сложнее, но перейдем к ним.

Как посчитать доходность от роста числа экспериментов?

Хочу еще раз вернуться к логической посылке, с которой я начала статью: любое решение по А/Б тестам - это инструмент, точно также как стакан – это инструмент, при помощи которого мы пьем вино. Вино из-за стакана не меняется, оно или хорошее, или плохое. Другими словами: если у продуктоунеров все идеи из рук вон плохи, система по А/Б тестам не поможет бизнесу, и денег больше не будет. Хотя хорошо настроенная система А/Б тестов поможет это быстрее и дешевле узнать, что в итоге может привести к профиту. Но хорошие идеи для профита все равно нужны.

Также с точки зрения доходности и законов статистики возможна такая ситуация, что алгоритм проведения А/Б тестирования нарушает методологию экспериментов от А до Я, но в силу теорвера – читай: удачной случайности – решения принимались верные. И «тесты» приносили деньги. Бизнес может расти и при плохих А/Б тестах. (Дешевое вино иногда бывает очень хорошим.)

Поэтому для оценки доходности от роста числа экспериментов в результате системного решения по А/Б тестам нам надо обратиться к байесу и ответить на каверзные вопросы: 

  • Какова доля хороших идей из предложений продуктоунеров?

  • Если число тестов увеличится в Х раз в год, доля хороших идей сохранится?

  • Если тесты проводятся сейчас, и есть уверенность, что не идеально, то какова доля тестов, которые завалили из-за неидеальной методологии?

  • Сколько в среднем нам приносит одно улучшение?

Дальше необходимо прикинуть, насколько улучшится ситуация с новым системным решением. Подставляем значения в фразу:

За 2023 год мы проведем N тестов. Из них ?% тестов будет правильными с методологической точки зрения и, согласно установленным нами ошибкам первого и второго рода, верными будут N тестов, из которых ?% будут успешными идеями с средней доходностью в N рублей. При этом неуспешные тесты составляют ?% и обходятся нам на ?% дешевле, в итоге наши расходы на неуспешные тесты упали на ?%.

Остается подвести дебет с кредитом, то есть посмотреть, покрывают ли потенциальные доходы от успешных тестов и их раскатки на всю базу расходы на провалившиеся.

Потом как умудренные опытом аналитики мы должны добавить еще два сценария: похуже и получше.

Сценарий похуже: идеи у продуктоунеров начали иссякать, а доходность с каждой новой инициативы снижается. Это, кстати, логично и соответствует экономической теории: лишь на ранних этапах построения бизнеса инициативы приносят значимый и видный невооруженным взглядом прирост прибыли. С развитием бизнеса все больше инноваций инкрементальные, и их важность на коротком горизонте без статистических методов не видна.

Важное уточнение. Успешный тест успешному рознь? Да, при прогнозировании следует различать изменения. Есть такие, которые имеют долгосрочный эффект, а есть те, которые успешны на коротком горизонте. Ведь к ряду изменений клиенты привыкают. Хорошо настроенная система А/Б тестов особенно важна для последних: хорошо, если поставлен на конвейер поиск маленьких инкрементальных и, может быть, не очень долго приносящих прибыль изменений. Ведь если их много, то это значимый прирост для бизнеса.

Сценарий получше (или, как его любят называть, оптимистичный): с ростом опыта проведения А/Б тестов продуктоунеры стали придумывать идеи получше, а простота тестирования позволила проверить  идеи, которые раньше лежали в беклоге. Некоторые из них оказались очень успешными.

Как оценить доверие к методике в деньгах?

Доверие – бесценно. На больших проектах задействовано много классных специалистов, которым важно понимать, что если их мнение или предложение не было учтено, то это было сделано обоснованно. А/Б тестирование – это именно тот инструмент, который заставляет договориться о базовых, понятных всем и прозрачных принципах оценки инициатив, позволяет быстрее принимать решения, не спорить и сохранить рабочую атмосферу.

При смене ключевых игроков или целых команд результаты проведенных ранее тестов – если методика прозрачна, понятна и соответствует законам статистики – позволяют продолжить на том же моменте, где была прервана работа. Новой команде не нужно тестировать те же самые гипотезы, которые тестировала прежняя команда.

Единая методика в компании исключает споры и разногласия между отделами при тестировании. Тогда как в ситуации, когда каждый отдел тестирует как ему захочется, такие случаи бывают. Доверять результатам тестирования своей родной модели по методике, которая тебе не понятна – очень сложно.

Все перечисленное – это значительная экономия времени, сохранение атмосферы и команды. (Читай: давайте сэкономим на hr))).

Выводов почти нет, точнее их мало. Рассчитать доходность от системного решения для А/Б тестов сложно. Оценка доходности системного решения для А/Б тестов зависит от того, насколько хорошо эксперт понимает бизнес-процессы компании. Любая оценка будет экспертной. 

Поэтому универсальный ответ: методика А/Б тестов не влияет на доходность напрямую, точно так же, как стоимость стакана на качество вина. 

Однако не стоит забывать, что – как указывает нам Seth Godin – стоимость стакана влияет на восприятие вина. Точно так же понятная и прозрачная методика проведения экспериментов способна положительно повлиять на множество бизнес процессов:

  • Снижается время time to market проверки гипотез;

  • Эффективнее используется клиентская база при тестировании (читай: снижается число клиентов в каждом конкретном тесте);

  • Ниже загрузка аналитиков, ведь дизайн и подведение итогов тестов реализуется из коробки;

  • Методологическая консистентность, которая гарантирует доверие и непрерывный процесс при смене команды;

  • В целом меньше сил тратится на тестирование, а значит их больше остается для других вопросов развития продукта.

И все же: хотя измерить сложно, я верю, что эффект от хорошей методики А/Б тестирования более значим, чем влияние дорогого стакана на вкус вина. Правильная методика А/Б тестов точно к деньгам.

Про Feature Store, MLOps и другие вопросы вокруг применения ML и продвинутой аналитики в реальных бизнес-задачах мы регулярно общаемся в нашем сообществе NoML: