Общая конверсия выросла с 3,6% до 7,4%. При этом в каждом сегменте она снизилась.

Разберём условный пример. Сравниваем две полные недели. Конверсия — доля уникальных посетителей, которые купили хотя бы один раз за соответствующую неделю.

При первом визите недели фиксируем группу: новый посетитель раньше не заходил в продукт, вернувшийся — заходил. До конца недели группу не меняем, даже если человек вернулся ещё раз.

<table>
  <thead>
    <tr>
      <th>Сегмент</th>
      <th>Первая неделя: покупатели / посетители</th>
      <th>Вторая неделя: покупатели / посетители</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>Новые</td>
      <td>27 / 900 = 3%</td>
      <td>2 / 100 = 2%</td>
    </tr>
    <tr>
      <td>Вернувшиеся</td>
      <td>9 / 100 = 9%</td>
      <td>72 / 900 = 8%</td>
    </tr>
    <tr>
      <td>Все</td>
      <td>36 / 1000 = 3,6%</td>
      <td>74 / 1000 = 7,4%</td>
    </tr>
  </tbody>
</table>

В каждой группе конверсия снизилась на один процентный пункт. Но доля вернувшихся выросла с 10% до 90%, а они и после снижения покупают чаще новых. Поэтому общая цифра пошла вверх. Это пример парадокса Симпсона. Ошибки в общей конверсии нет. Просто она отражает и конверсии отдельных групп, и их доли в аудитории. Одного её роста недостаточно, чтобы говорить об улучшении продукта.

Проверим, что получится при прежнем составе аудитории: 90% новых и 10% вернувшихся. Подставляем конверсии второй недели: 0,9 × 2% + 0,1 × 8% = 2,6%. Для первой недели при тех же долях было 3,6%. Такой пересчёт помогает увидеть изменение при фиксированном составе аудитории. Он не заменяет фактические 7,4% и не доказывает влияние конкретного релиза. На небольших выборках ещё нужно учитывать случайные колебания.

Рядом с общей конверсией я всегда показываю и доли сегментов, и число покупателей в каждом. Поделитесь, вы смотрите распределение посетителей одновременно с конверсией или проверяете его только при неожиданном скачке?