Комментарии 3
Хм. Я так понимаю, для Big Query использовался Ondemand биллинг?
Препроцессинг для сокращения колонок влиять на стоимость не должен, так как оплачивается доступ только к конкретно потроганным стольцам. Но таки да, SQL должен быть сильно проще после.
А агрегаты для дашбордов это мастхэв!
Смотрели на materialized view для этого?
Да, речь о on-demand биллинге. Само сокращение колонок не влияет, да, только за счёт упрощения структуры отдельных колонок json->значение.
Посмотрел про materialized view- выглядит более подходящим вариантом. Верно я понимаю, что при изменении справочников- старые данные перезаписать в MV будет удобнее чем удалять всю таблицу и заново перезаписать агрегат?
Materialized Views обновляются автоматически, только части которые были затронут изменением. Это накладывало ограничения на возможные запросы для MV в первом релизе, на знаю, сняли ли их уже - но планы точно были.
То есть как минимум распаковка из json в конкретные столбцы будет автоматически происходить и это уже плюс. Дневные агрегаты вроде тоже. А вот join'ы не скажу, сюда не смотрел.
Как сократить расходы в четыре раза при работе с сырыми данными в Google BigQuery