Привет! Меня зовут Яна, я администратор Data Governance в Билайне. Этот туториал будет о том, как сконнектить то, что вендор коннектить не планировал. Речь пойдет о связи QlikSense c Informatica Enterprise Data Catalog (EDC) и Informatica Axon (Axon).

EDC – это умный каталог данных, который предоставляет единое представление метаданных, а Informatica Axon объединяет знания всех пользователей, позволяя выстроить и поддерживать в актуальном состоянии систему наиболее значимых для бизнеса информационных активов.

Зачем вообще их коннектить?

В Qlik Sense есть стримы, принадлежащие дирекциям, департаментам и отделам, каждый из этих стримов содержит набор дашбордов, например: считать трафик, количество пользователей в месяц, наиболее популярные услуги и прочее.

Количество стримов и дашбордов стремительно растет. Чтобы как-то ими управлять, ребятам из Qlik team приходилось вести каталог с паспортами дашбордов вручную на корпоративном портале. На это тратилось много времени и периодически возникали ошибки заполнения.

Встала задача — вести паспорта дашбордов в общем Каталоге данных, при этом максимально автоматизировать занесение информации:

Расположение дашборда (Стрим- папка)
Используемые источники
Наборы мер и измерений

А ещё нам нужно было привязывать бизнес-термины к конкретным дашбордам для ответов на вопросы типа «А в каких дашбордах я могу посмотреть на Активную абонентскую базу?»

Дано:

- QlikSense v14.5.7

- Informatica Enterprise Data Catalog v10.4.1

- Informatica Axon v7.1

Прежде, чем начать: про технику

Мы создали шаблон паспорта дашборда в каталоге, нарезали поля для автоматического заполнения, поля для заполнения пользователями вручную, пропустили шаблон через Qlik team и начали автоматизировать.

Ход процесса

Встроенный коннектор EDC предполагает поддержку версии QlikSense только 2019 года, а на дворе у нас был февраль 2021. Вариант с даунгрейдом не рассматривался, доработка от вендора заняла бы непрогнозируемое количество времени. EDC предлагает возможность разработать коннектор к системам самостоятельно.

Вот наши шаги.

1. Первое, что понадобится — это создать custom model, которая отображала бы всю структуру, взаимосвязи между объектами, классы и их описание. У нас она выглядит так (часть модели):

Вот так

<deprecated>false</deprecated>

<name>ApplicationMeasures</name>

<fromClass>bi.qlik.Application</fromClass>

<toClass>bi.qlik.Measures</toClass>

<fromLabel>Application</fromLabel>

<toLabel>Measures</toLabel>

<associationKind>core.ParentChild</associationKind>

</associationKinds>

<deprecated>false</deprecated>

<unidirectional>false</unidirectional>

<aggregate>false</aggregate>

</association>

…

<class>

<name>Chart</name>

<label>Chart</label>

<isFirstClass>false</isFirstClass>

<superClass>com.infa.ldm.bi.Visualization</superClass>

</superClasses>

…

<name>sheetsUsed</name>

<label>sheetsUsed</label>

<dataType>core.String</dataType>

<searchable>false</searchable>

<facetable>false</facetable>

<multivalued>false</multivalued>

<suggestable>false</suggestable>

<sortable>false</sortable>

<deprecated>false</deprecated>

<derived>false</derived>

<fuzzy>false</fuzzy>

<data>false</data>

</attribute>

</attributes>

</Package>

В данном случае модель основана на двух интегрированных системных моделях: Core и BI (Business intelligence)

2. Теперь нужно создать и загрузить модель в каталог

Экспортировать шаблон файлов links.csv (связи метаданных внутри ресурса) и objects.csv (атрибуты для всех классов) и заполнить согласно структуре qlik.

Файл Links.csv

association,fromObjectIdentity,toObjectIdentity

core.ResourceParentChild,,qlik_beeline_ru

bi.qlik.HubStream,qlik_beeline_ru,qlik_beeline_ru/001 Unified KPI [TECH]

bi.qlik.StreamApplication,qlik_beeline_ru/001 Unified KPI [TECH],qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month

bi.qlik.ApplicationSheet,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)

bi.qlik.ApplicationTable,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/TBL_REP_REV_M_end

bi.qlik.SheetChart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars),qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/Total Revenue B2B over time

bi.qlik.SheetChart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars),qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/ARPU Vizlib

bi.qlik.SheetChart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars),qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/4f5ceb4b-ec13-4ab6-b518-2b54ef97e148

bi.qlik.SheetChart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars),qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/Total Revenue by market segment

bi.qlik.SheetChart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars),qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/2a29b7b2-581d-4281-b691-5223251172bf

bi.qlik.SheetChart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars),qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/5361730d-0f48-4063-aa13-4a4377f36077

bi.qlik.SheetChart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars),qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/a0213872-db28-4037-99b5-e6f1952ff2e8

bi.qlik.SheetChart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars),qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/SRapyTC

bi.qlik.SheetChart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars),qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/MJajU

bi.qlik.TableColumn,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/TBL_REP_REV_M_end,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/TBL_REP_REV_M_end/market_key

Файл Objects.csv

class,identity,core.name,core.description,bi.qlik.Name,bi.qlik.Definition,bi.qlik.Expression,bi.qlik.LastModificationTime,bi.qlik.sheetsUsed

bi.qlik.Hub,qlik_beeline_ru,qlik,,qlik,,,,

bi.qlik.Stream,qlik_beeline_ru/001 Unified KPI [TECH],001 Unified KPI [TECH],Stream,001 Unified KPI [TECH],,,,

bi.qlik.Application,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month,Revenue Month,Dashboards,Revenue Month,,,09.08.2021 14:17,

bi.qlik.Table,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/TBL_REP_REV_M_end,TBL_REP_REV_M_end,SourceTable,TBL_REP_REV_M_end,,,,

bi.qlik.Sheet,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars),Revenue month (Vertical bars),Dashboard,Revenue month (Vertical bars),,,,

bi.qlik.Chart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/Total Revenue B2B over time,Total Revenue B2B over time,Linechart Total Revenue,Total Revenue B2B over time,,,,

bi.qlik.Chart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/ARPU Vizlib,ARPU Vizlib,ARPU Linechart,ARPU Vizlib,,,,

bi.qlik.Chart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/4f5ceb4b-ec13-4ab6-b518-2b54ef97e148,4f5ceb4b-ec13-4ab6-b518-2b54ef97e148,Total Revenue by Regions,4f5ceb4b-ec13-4ab6-b518-2b54ef97e148,,,,

bi.qlik.Chart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/Total Revenue by market segment,Total Revenue by market segment,Barchart Total Revenue by market segment,Total Revenue by market segment,,,,

bi.qlik.Chart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/2a29b7b2-581d-4281-b691-5223251172bf,2a29b7b2-581d-4281-b691-5223251172bf,Barchart Total Revenue by service,2a29b7b2-581d-4281-b691-5223251172bf,,,,

bi.qlik.Chart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/5361730d-0f48-4063-aa13-4a4377f36077,5361730d-0f48-4063-aa13-4a4377f36077,Barchart Total Revenue by stream,5361730d-0f48-4063-aa13-4a4377f36077,,,,

bi.qlik.Chart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/a0213872-db28-4037-99b5-e6f1952ff2e8,a0213872-db28-4037-99b5-e6f1952ff2e8,Barchart Commercial KPIs,a0213872-db28-4037-99b5-e6f1952ff2e8,,,,

bi.qlik.Chart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/SRapyTC,SRapyTC,Barchart Total Revenue by product stream,SRapyTC,,,,

bi.qlik.Chart,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/Revenue month (Vertical bars)/MJajU,MJajU,Barchart Total Revenue factor analysis,MJajU,,,,

bi.qlik.Column,qlik_beeline_ru/001 Unified KPI [TECH]/Revenue Month/TBL_REP_REV_M_end/market_key,market_key,Column,market_key,,,,

Теперь, когда описание готово, мы можем проверить насколько верно и согласованно все выполнено с помощью утилиты валидации. Возможно, результат будет выглядеть так, и нужно будет исправить ошибки:

validate.sh --model "/tmp/val/qlik1.zip" --metadata "/tmp/val/metadata.zip" --mem low

Но в итоге отчет станет таким:

All Validations Passed Successfully.You can now upload the files.

Cheers.

3. Cоздать custom resource в каталоге, куда нужно сложить модель и мету (links+objects).

Переходим в EDC LDMAdmin-New-Resource, создаем ресурс с именем Custom_Qlik, прикрепляем архив с нашими заполненными csv-файлами

Жмякаем save and run, и через некоторое время видим, что сканирование ресурса завершено успешно.

Проверяем в EDC Ldmcatalog, что у нас получилось, вводим в строке поиска qlik и видим, что наш дашборд Revenue Month появился, а также отображается кастомный ресурс Custom_Qlik, и все это собрано в глоссарий GlossaryforQlik.

Проваливаемся в глоссарий, где видим структуру, которая описана в модели.

4. Так как поля в модели кастомные и в Axon их не существует, нужно их туда пронести с помощью файла custom_edc_fields.yml (на скриншоте часть файла). Здесь описаны классы и родительские связи между объектами.

custom_edc_fields.yml

EDC_FIELDS :

Measures :

classType : "bi.qlik.Measures"

label : "Measures"

parentClassType : "bi.qlik.Application"

parentIconFileName: "dbcolumn"

SourceTable :

classType : "bi.qlik.SourceTable"

label : "ApplicationSourceTable"

parentClassType : "bi.qlik.Application"

parentIconFileName: "dbcolumn"

Dimension :

classType : "com.infa.ldm.bi.Dimension"

label : "Dimension"

parentClassType : "bi.qlik.Application"

parentIconFileName: "dbcolumn"

Table :

classType : "bi.qlik.Table"

label : "Table"

parentClassType : "bi.qlik.Application"

parentIconFileName: "dbcolumn"

Hub :

classType : "bi.qlik.Stream"

label : "Hub"

parentClassType : "bi.qlik.Hub"

parentIconFileName: "general"

Measure :

classType : "com.infa.ldm.bi.Measure"

label : "Measure"

parentClassType : "bi.qlik.Application"

parentIconFileName: "dbcolumn"

Sheet :

classType : "bi.qlik.Sheet"

label : "Sheet"

parentClassType : "bi.qlik.Application"

parentIconFileName: "dbcolumn"

Stream :

classType : "bi.qlik.Application"

label : "Stream"

parentClassType : "bi.qlik.Stream"

parentIconFileName: "dbcolumn"

Story :

classType : "bi.qlik.Story"

label : "Story"

parentClassType : "bi.qlik.Application"

parentIconFileName: "dbcolumn"

Chart :

classType : "bi.qlik.Chart"

label : "Chart"

parentClassType : "bi.qlik.Sheet"

parentIconFileName: "dbcolumn"

Application :

classType : "bi.qlik.Application"

label : "Application"

parentClassType : "bi.qlik.Stream"

parentIconFileName: ""

Column :

classType : "bi.qlik.Column"

label : "Column"

parentClassType : "bi.qlik.Table"

parentIconFileName: "dbcolumn"

Файл нужно положить на сервер, применить изменения и проверить, появились ли эти объекты в Axon. Переходим в Поиск-Создать-Управление ссылками каталога, выбираем тип ресурса Custom_Qlik (как назван в EDC) и видим, что все наши объекты, отражающие структуру дашборда и описанные в модели, появились в Axon.

Благодаря этим упражнениям мы смогли создать и наполнить бизнес-смыслом описание для стримов и дашбордов в Каталоге данных и сделать поиск в клике для пользователей проще, удобнее и быстрее. Теперь в паспорте мы видим, какие меры и измерения в нем содержатся, ответственного за стрим/дашборд, у нас есть ссылка стрим и ссылка для запроса доступа.

Стоит сказать, что похожие кейсы в зарубежных источниках нам не удалось найти, поэтому вот метка для гугла: how to create custom model and custom resource in Informatica EDC.

Как мы создали custom resource в Informatica EDC и пронесли его в Axon