Иллюзия точности метрик: о чем не принято говорить в «высоком обществе» BI-аналитиков

[Ivan22]

то что меры бывают аддитивные и неаддитивные известно с 1985 года

[Rapeed]

Давно известно, ещё с 14 века примерно.

[alexanderniki]

аналитической платформы rapeed

Высокая кухня нейминга, однако :)

- Why do your users look so sad?
- Because we have rapeed them! Several times.

[Rapeed]

Это должно быть забавно, особенно для тех, кто не очень хорошо знает английский язык.
По сути статьи вопросы или комментарии есть?

[Ivan22]

по сути, покажите свои sql запросы с подсчетом distinct тогда можно будет и поговорить предметно

[Rapeed]

У нас нет SQL-запросов. В этом и соль. Как считаются count distinct вживую, можно посмотреть здесь

[alexanderniki]

По сути статьи вопросов нет, так как в ней нет особо полезной информации. Весь текст сводится к двум тезисам:

• Смотрите-ка, иногда метрики считаются неправильно

• А вот у нас есть вундервафля, в которой мы считаем правильно. Но как мы это делаем, мы вам не скажем.

Ну как-то так, если честно.

[Rapeed]

И что не так?

[alexanderniki]

Не так здесь то, что вы не понимаете, что здесь не так

[daktfi]

Дык, сказали же - тупо в лоб, в смысле, по сырым данным.

[alexanderniki]

Я имел ввиду, что тут вся статья тупо в лоб рекламная и с, образовательной или инженерной точки зрения, бесполезная. И я бы попросил автора не использовать Habr в качестве аналога VC, ProductHunt и других самопиарных площадок.

[daktfi]

Ну не прям вся - напоминание про неаддитивные показатели (и объяснение, почему они такие) всё же имеет практическую ценность, но в целом соглашусь, что статья скорее рекламная, нежели техническая.

Было бы интересно прочитать, как именно неаддитивные показатели считаются "в лоб" на каких-то приличных объёмах. Хотя бы в самых общих чертах, чисто для понимания логики и почему этого не сделали в том же мышкрософте.

[Coffe4wolf]

О таком не принято говорить только на проектах на которых не знают о валидации показателей :)

[Rapeed]

Несколько случаев из практики использования BI говорят о том, что не в проектах дело. А как вы будете валидировать средние показатели без исходных данных?

[Coffe4wolf]

Их почти всегда можно найти, а зачастую и сами метрики. Любые цифры что перекладываются в дашборд, бизнес наверняка давно считает сам, и там как правило знают где у них считается правильно, а где не совсем. А там и вам подскажут :)

[neon_crystal]

Ну кто считает уникальные значения через SUM в DAX?

DISTINCTCOUNT(Table[CHECK_ID])

СOUNTROWS(VALUES(Table[CHECK_ID]))

, можно еще через GROUPBY, обернутый в SUMX.

[Rapeed]

Речь шла о расчёте в DAX остатков, а не уникальных значений. Как Вы остатки в DAX посчитаете?
Если же говорить о расчёте уникальных, то он возможен при наличии сырых данных. О чем и речь в статье.

[neon_crystal]

Ошибка 2), а не 3) в вашем списке

[Rapeed]

да-да, если у аналитика ЕСТЬ сырые данные, он будет DISTINCTCOUNT использовать. Статья про то, и пример про ту ситуацию, когда сырых данных нет. Тогда и SUM, и DISTINCTCOUNT дадут одну и ту же неправильную сумму.

[squd_akak]

Правильно ли я понимаю что расчеты строятся сразу на сырых данных ?

[Rapeed]

Всё верно, и только на исходных данных всё рассчитывается непосредственно в момент запроса

[squd_akak]

Получается вы говорите что etl больше не нужен нужно просто считать на сырах дынных, есть идея почему вообще etl делается если можно его не делать? Ваш движок плохие данные тоже исправляет налету? Или работает на идеальных данных?

[Rapeed]

Не так. ETL решает свои задачи, их много. Наш движок обычно после ETL стоит на хранилище + сырые данные, чтобы их сравнивать.

[squd_akak]

Теперь стало понятнее, что это не замена ETL, а скорее его дополнение. При этом тесты часто нужны не только после выполнения пайплайна, но и прямо внутри ETL — на разных этапах обработки данных. На практике такие проверки чаще всего реализуются средствами самого ETL и обычно в декларативном виде. То есть SQL напрямую почти не пишут (он создаётся один раз — как и сами тесты), а затем просто указывают, к каким таблицам и какие проверки нужно применять.

[MilPavel]

Какое отклонение в процентах от рассчитанных показателей? Показывают ли ваши отчёты, где бонусы накрутили и оплатили ими покупки?