- AI, есть задача. Наши смежники скоро выкатят новое поле в исходной системе в Контрагентах, надо отследить и, когда оно появится, пробросить его по потоку данных. Далее протестируй эту новую разработку и загрузку, и если все ок – напиши мне письмо.

- Буду проверять появление поля ежедневно в 9-00, после его появления приступлю к работе!

Использование AI при построении DWH встречает ряд трудностей, основная из которых – галлюцинации. Если в языках программирования можно легко откатить изменения, то если в таблице ошибочно удален столбец с данными – восстановление его - это те еще танцы с бубном. Ручная работа, штучная задача. А еще перед этим – обязательный бэкап, и чтобы этот бэкап не стал бэкапом Шредингера!

А что если можно создавать отдельную песочницу на каждую задачу разработчику, в том числе и для AI? Тогда если результат генерации не понравится – можно уточнить задачу, создать новую песочницу, а старую – удалить.

Песочница – это отдельная база данных, куда копируются объекты из базы разработки. Таких отдельных песочниц у каждого разработчика может быть много.

Плюсы использования песочницы:

Изолированная разработка – один разработчик не мешает другим. В том числе он может удалить в своей песочнице данные и залить свои, для тестирования алгоритмов обработки.
Использование AI – он не разрушит основную базу, а будет ураганить только в песочнице.
А еще мы можем эту отдельную песочницу перенести в Prod и проверить какую-либо гипотезу. А если гипотеза не прокатит – безболезненно ее удалить.

Конечно, мы должны уметь переносить модель данных из песочниц разных разработчиков в Dev и решать при этом коллизии.

Но раз мы умеем переносить модели Dev -> Test -> Prod, то просто добавится песочница:

Песочница -> Dev -> Test -> Prod

И конечно, чтобы создавать песочницы, работать с ними, переносить наработки из нее на Dev, нужна платформа данных. Такая, например, как asapBI, которая в едином интерфейсе объединяет множество компонентов (базы данных, оркестраторы, системы для обработки данных – Trino, Spark и прочее).

Использование песочниц без какой-либо автоматической платформы, которая берет на себя всю рутину, будет напоминать старинную китайскую пытку «Смерть От Тысячи Кликов», когда надо создавать и связывать объекты во множестве разрозненных интерфейсов.

Наверное, наиболее далеко по пути использования таких песочниц ушли разработчики Т-Банка.

Они уже давненько копают эту тему:

«Как QA в управлении хранилища данных эволюционировал»

Как QA в управлении хранилища данных эволюционировал. Часть 2

Митап Tinkoff DWH Connect

Интересно, как у них там сейчас дела обстоят? И копает ли кто-либо еще в этом направлении?

Предыдущие статьи цикла:

asapBI: подружить DWH и AI?