Спасибо за комментарий. В моем случае технология (Iceberg) является определяющей. Единственное чем она не обладает - это sql движком, и его роль исполняет Trino, и да, это тоже "технология".. я поменял парадигму для себя и это стало определяющим. Сегодня рабочим остался один подход - подход от "бизнеса и dataflow", иначе не выжить. Иначе бесконечная борьба с бизнесом и доказывание "кто умнее" и "у кого что больше".. 90% статей а интернете про эту "боль". Я от нее избавился... и вам желаю )) ... по сути, то что я описываю - это немного иная точка зрения на на корпоративные DWH.. именно она помогла мне решить главную задачу "бизнес хочет?" - "на держи". Минимальные сроки, стабильные etl, мгновенные отчеты, простейшие запросы от дашбордов. Заходите ко мне на сайт или на канал, там есть что почитать, буду рад всем. ... но все уважаемые комментаторы тоже правы ... возможно статью стоит переработать по стилистике.
Ну я бы не делил так категорично, я пишу про смещение парадигмы DWH. Если разобраться то LakeHouse Datаvault или Кимбалл это лишь разновидности DWH, DWH - это то место где ваши данные хранятся долго и накапливаются. Я пишу про подход. Про методологию. Тот жек Datavault интересен, но не более чем научный эксперимент, я остановил работы с Datavault когда понял что я делаю двойную работу, а зачем? Команда DWH имеющая datavault не успевает за изменениями которые требуют бизнес-задачи, отсюда поиск нового (ну или немного забытого старого). Почему не пошел datalake? потому что протухает, нет структуры управления. Lakehouse, на мой взгляд самая лучшая конструкция в текущей ситуации. Но многие живут "по старинке" их право. Вопрос в том, что является витринами и как с ними работать. В концепции LakeHouse нет нормального механизма "витринирования". Раньше им был SSAS например, но когда до него дошли руки тех кому он реально нужен - он методологически устарел. А ClickHouse - это на сегодня самая лучшая по цене/качеству технология витринирования данных, почему то не все это понимают, думают что клик - для хранения.. ну пусть думают, да, он может хранить, но не это его основная задача в DWH, и как раз об это многие спотыкаются.
По сути это и есть SCD2 "из коробки" вы храните всё историю изменений, в строке хранится продажа группы товара "хлеб" за 01.01.00 и продажа группы товара "хлеб черный" за 02.01.00 справочника нет.. всё хранится в eventdriven таблице одной широкой... и ключи и значения ;) .. справочник подгружается только один текущий по товарным группам, и о в том случае если бизнес хочет видеть исторические продажи в разрезе актуальных товарных групп. Это тот джой который кликхаус вполне "терпит"
Информация
В рейтинге
Не участвует
Откуда
Санкт-Петербург, Санкт-Петербург и область, Россия
Спасибо за комментарий. В моем случае технология (Iceberg) является определяющей. Единственное чем она не обладает - это sql движком, и его роль исполняет Trino, и да, это тоже "технология".. я поменял парадигму для себя и это стало определяющим. Сегодня рабочим остался один подход - подход от "бизнеса и dataflow", иначе не выжить. Иначе бесконечная борьба с бизнесом и доказывание "кто умнее" и "у кого что больше".. 90% статей а интернете про эту "боль". Я от нее избавился... и вам желаю )) ... по сути, то что я описываю - это немного иная точка зрения на на корпоративные DWH.. именно она помогла мне решить главную задачу "бизнес хочет?" - "на держи". Минимальные сроки, стабильные etl, мгновенные отчеты, простейшие запросы от дашбордов. Заходите ко мне на сайт или на канал, там есть что почитать, буду рад всем. ... но все уважаемые комментаторы тоже правы ... возможно статью стоит переработать по стилистике.
Ну я бы не делил так категорично, я пишу про смещение парадигмы DWH. Если разобраться то LakeHouse Datаvault или Кимбалл это лишь разновидности DWH, DWH - это то место где ваши данные хранятся долго и накапливаются. Я пишу про подход. Про методологию. Тот жек Datavault интересен, но не более чем научный эксперимент, я остановил работы с Datavault когда понял что я делаю двойную работу, а зачем? Команда DWH имеющая datavault не успевает за изменениями которые требуют бизнес-задачи, отсюда поиск нового (ну или немного забытого старого). Почему не пошел datalake? потому что протухает, нет структуры управления. Lakehouse, на мой взгляд самая лучшая конструкция в текущей ситуации. Но многие живут "по старинке" их право. Вопрос в том, что является витринами и как с ними работать. В концепции LakeHouse нет нормального механизма "витринирования". Раньше им был SSAS например, но когда до него дошли руки тех кому он реально нужен - он методологически устарел. А ClickHouse - это на сегодня самая лучшая по цене/качеству технология витринирования данных, почему то не все это понимают, думают что клик - для хранения.. ну пусть думают, да, он может хранить, но не это его основная задача в DWH, и как раз об это многие спотыкаются.
По сути это и есть SCD2 "из коробки" вы храните всё историю изменений, в строке хранится продажа группы товара "хлеб" за 01.01.00 и продажа группы товара "хлеб черный" за 02.01.00 справочника нет.. всё хранится в eventdriven таблице одной широкой... и ключи и значения ;) .. справочник подгружается только один текущий по товарным группам, и о в том случае если бизнес хочет видеть исторические продажи в разрезе актуальных товарных групп. Это тот джой который кликхаус вполне "терпит"