Lightdash — BI, который живёт внутри вашего dbt‑проекта

[angie-a]

А как в Lightdash обстоят дела с производительностью на больших объёмах данных? Есть ли встроенные механизмы кеширования или агрегации?

[thirstforgl]

Производительность на больших объёмах определяется прежде всего хранилищем данных, к которому подключён Lightdash (для асинхронного выполнения запросов используется NATS - один из самых быстрых брокеров сообщений, хотя это всё равно не главный фактор производительности), но Lightdash предоставляет некоторые механизмы оптимизации поверх хранилища:

• по поводу кэширования - кэш значений фильтров доступен для всех cloud-пользователей, а вот кэш чартов и дашбордов только для подписки Cloud Pro и выше;

• также есть фича пре-агрегации, доступная на Enterprise плане, её суть в том, что в YAML файлах dbt можно определить, какие измерения и метрики нужно материализовать (используя duckdb), а затем переиспользовать в BI, не обращаясь к вашему хранилищу данных.