Разработка DWH с нуля – особенности архитектуры

[ChePeter]

можно пояснить вот это

6. Если есть новая запись для хеша — заменяем ее на слое DWH.

Это запись новая, а хеш старый?

[danilovmy]

Ты не понимаешь, это "разработа"!

P. S. Автор, поправьте, пожалуйста, эаголовок.

[isolova]

Спасибо за вопрос! Да, действительно – мы получаем две строки с одинаковым хешем, но на слое DWH оставляем только ту, где у хеша более свежая дата записи в БД

[SSukharev]

Диплом что ли писали? Ключи из систем источников называются - натуральный ключ. Ключи в dwh называются - соррогатный ключ.

[Iliya_karin]

Хотелось бы почитать на базе каких инструментов это реализовалось, были ли нюансы интеграций, как делали разграничение прав на всех слоях, а то выглядит как пустая теория какая то.

[astentx]

Про МДМ вообще непонятно. Ну, например, есть у нас справочник номенклатур на 1.5 млн позиций. Как заводить меппинг для него? Или про сырой слой DWH. Загружаются к нам данные в виде девятиэтажных вложенных массивов, как их разбираем по объектам и проводим дедубликацию, какой тут подход?

[vbdv]

Добрый день. А можно узнать про DE pipeline часть - чем данные гоняли? Спасибо.