- AI, есть задача. Наши смежники скоро выкатят новое поле в исходной системе в Контрагентах, надо отследить и, когда оно появится, пробросить его по потоку данных. Далее протестируй эту новую разработку и загрузку, и если все ок – напиши мне письмо.

- Буду проверять появление поля ежедневно в 9-00, после его появления приступлю к работе!

Использование AI при построении DWH встречает ряд трудностей, основная из которых – галлюцинации. Если в языках программирования можно легко откатить изменения, то если в таблице ошибочно удален столбец  с данными – восстановление его - это еще те танцы с бубном. Ручная работа, штучная задача. А еще перед этим – обязательный бэкап, и чтобы этот бэкап не стал бэкапом Шредингера!

 А если можно создавать отдельную песочницу на каждую задачу разработчику, в том числе и для AI? Тогда если результат генерации не понравится – можно уточнить задачу с учетом сделанного, выделить новую песочницу, а старую – безболезненно удалить.

 Песочница – это отдельная база данных, куда копируются объекты из базы разработки. Если из таблицы необходимы лишь данные, а она сама меняться не будет, то в песочнице достаточно сделать view на основную таблицу. Таких отдельных песочниц у каждого разработчика может быть много.

 Плюсы использования песочницы:

1.    Изолированная разработка – один разработчик не мешает другим. В том числе он может удалить в своей песочнице данные и залить свои, для тестирования алгоритмов обработки.

2.    Использование AI – он не разрушит основную базу, а будет ураганить только в песочнице.

Любите ли вы SQL так же, как и я? Недавно, собирая огромный SQL‑запрос, я понял, что надо что‑то менять.

Логическим блоком в SQL является подзапрос или CTE и вроде бы можно разбивать запрос по блокам и работать с ними отдельно, как строится по кирпичикам любое приложение.

Однако когда весь текст запроса идет сплошняком на многие экраны, сложно и разрабатывать, и через длительное время понимать алгоритм запроса.

А что, если не надо писать SQL? В SAP мы не писали запросы, мы создавали Calculation View, и работать с ними было на порядок быстрее и приятнее.

Перефразируя диалог из Матрицы:

— Когда я стану избранным, я смогу писать длинный SQL?
— Тебе не надо будет писать SQL.

Привет, Хабр!

Всем хорош Data Vault, однако схватиться с ним «врукопашную», используя только SQL, захочет не каждый. Останавливает большой объем ручных операций, а также большой объем деталей реализации. Большое количество join, за которые критикуют Data Vault, не является определяющим моментом, так как уже сейчас базы данных способны их эффективно обрабатывать, а с течением времени мощность серверов только возрастает.

Но творческая мысль не дремлет, постепенно появляются инструменты для автоматизации построения Data Vault. Например, это пакет AutomateDV для dbt, графическая надстройка над ним Datapulse, построение модели DV в BI.Qube.

Data Vault меня заинтересовал — уж много плюшек он сулит, и для его изучения я занимаюсь проектом asapBI — low‑code IDE для моделирования DWH. Требования к создаваемой системе я описал на сайте asapbi.ru. Их достаточно много, поэтому не буду их тут перечислять.

Сегодня я хотел поделиться графическим интерфейсом для создания хабов, линков и стеллитов.