Обновить
4K+
2
Лобко Глеб@thirstforgl

Аналитик данных

5
Рейтинг
Отправить сообщение

Производительность на больших объёмах определяется прежде всего хранилищем данных, к которому подключён Lightdash (для асинхронного выполнения запросов используется NATS - один из самых быстрых брокеров сообщений, хотя это всё равно не главный фактор производительности), но Lightdash предоставляет некоторые механизмы оптимизации поверх хранилища:

  • по поводу кэширования - кэш значений фильтров доступен для всех cloud-пользователей, а вот кэш чартов и дашбордов только для подписки Cloud Pro и выше;

  • также есть фича пре-агрегации, доступная на Enterprise плане, её суть в том, что в YAML файлах dbt можно определить, какие измерения и метрики нужно материализовать (используя duckdb), а затем переиспользовать в BI, не обращаясь к вашему хранилищу данных.

Информация

В рейтинге
1 209-й
Зарегистрирован
Активность

Специализация

Аналитик по данным, Инженер по данным
SQL
Базы данных
BI
Python
PostgreSQL
Анализ данных
ETL
Apache Airflow
DWH