Разработка DWH для начинающих

[rozhnev]

Спасибо за статью, тема достаточно интересная и я внимательно прочитал.

После прочтения:

• "звёздочка" - это OLAP или OLTP схема?

• иллюстрация с схеме снежинка тоже изображает звезду

• кто такие Кимбал и Инмон?

[Lyubov_Sh]

Добрый вечер, спасибо большое за обратную связь, мне очень приятно, это моя первая статья 😊

1. Схема «звёздочка» относится к OLAP-системам, потому что она денормализована и используется для удобства аналитики и представления данных. В OLTP, наоборот, применяются нормализованные модели (в том числе для минимизации избыточности).

2. Действительно, визуально «снежинка» у меня получилась очень похожей на «звёздочку», потому что в её основе лежит та же структура. Вы правы, нужно было показать процесс нормализации - выделение связанных таблиц. Я прикреплю обновлённую иллюстрацию)

3. Это два ключевых подхода к построению хранилищ данных: Ральф Кимбал предлагает строить хранилище снизу вверх — через витрины данных, такой подход ориентирован на быстрый доступ к аналитике и удобство для бизнеса. Билл Инмон, напротив, предлагает подход сверху вниз: сначала создаётся централизованное, нормализованное до 3НФ хранилище, а уже из него формируются витрины, с акцентом на целостность и консистентность данных.

[Myclass]

Всегда спрашиваю своих студентов - какая польза от их писанины. Извиняюсь, но от вашей пользы не вижу. Инфы в своём большинстве 20-летней давности. Да, своей истины они не потеряли. Но уже в каждом наверное ученике по информатике всё это стоит.

[Lyubov_Sh]

Польза в том, чтобы развиваться в карьерном плане и делиться тем, что узнаю, с такими же начинающими, как и я. Да, это базовая информация, но именно с неё всё начинается, а умение писать и глубина знаний - это навыки, которые со временем обязательно улучшатся, главное желание)

[Grigorenkovic]

Вставлю свои 5 копеек: несмотря на теоретические версии использования вариантов конвертации (ETL, ELT), все же на практике может быть оптимальный вариант, исходя из существующей команды разработчиков. Если коллектив состоит из специалистов ПО, на которое нужно мигрировать, тогда однозначно ELT, но бывают и другие варианты: когда есть условно 3 команды (специалисты по ПЗ из которого будет произведен экспорт, DBA с опытом ETL и команда специалистов нового ПЗ) тогда ETL и если есть необходимость все же перейти на новый продукт, но пока нету экпепртного мнения по новому продукту, то тогда TEL оптимально подойдет.

[itGuevara]

Наше корпоративное хранилище интернет-магазина сейчас содержит обработанные данные, теперь данные "понятные" и "удобные",

Вы просто переложили из одних sql табличек в другие sql таблички.

Чтобы данные стали "понятными" видимо нужен семантический слой, который не просто как красивое название тех же sql, а новая база (semantic dwh) на семантических технологиях.

Девиз: от data lake к linked data. А витрины - это уже следующий шаг, причем их собирать можно будет без знания исходных sql табличек, а на основе онтологии ("удобные" данные).