Сэмплирование и точность вычислений

[@Griboks]

Краткое резюме: размер выборки неизвестен, но чем больше-тем лучше.
Я бы предложил вычислять по мере поступления данных или использовать какую — нибудь формулу размера из предложенных теоретиками.

[@egorborisov]

Хорошая статья. Если в теорию не хочется вдаваться, есть уже готовые онлайн калькуляторы для определения размера выборки. Например: www.evanmiller.org/ab-testing/sample-size.html. В приведенном примере с уровнем конверсии 0,01% и 1 млн наблюдений, доверительный интервал будет 0.006% – 0.014%.

Если метрика строится только на части данных, нужно убедится что они выбраны случайно. Простая инструкция top 1000 в запросе часто дает смещенную выборку.