Comments 2
А как в Lightdash обстоят дела с производительностью на больших объёмах данных? Есть ли встроенные механизмы кеширования или агрегации?
Производительность на больших объёмах определяется прежде всего хранилищем данных, к которому подключён Lightdash (для асинхронного выполнения запросов используется NATS - один из самых быстрых брокеров сообщений, хотя это всё равно не главный фактор производительности), но Lightdash предоставляет некоторые механизмы оптимизации поверх хранилища:
по поводу кэширования - кэш значений фильтров доступен для всех cloud-пользователей, а вот кэш чартов и дашбордов только для подписки Cloud Pro и выше;
также есть фича пре-агрегации, доступная на Enterprise плане, её суть в том, что в YAML файлах dbt можно определить, какие измерения и метрики нужно материализовать (используя duckdb), а затем переиспользовать в BI, не обращаясь к вашему хранилищу данных.
Lightdash — BI, который живёт внутри вашего dbt‑проекта