Для пользователей есть доступный набор проверок и они сами могут выбирать, какие типы применять для своих таблиц;
Основной точкой входа для пользователей является UI. Он служит для создания и мониторинга проверок. Для контроля корректности создания проверок в UI отображается SQL запрос и проверяется его выполнимость на движке бд;
Проверки Data Quality можно запускать по триггеру из Data Lineage, если у проверки нет стандартного расписания запуска. Результаты проверок отображаются в Data catalog системе на таблицах, которые имеют проверки;
Система имеет доступ к неприватным директориям HDFS, а так же к тем, для которых разрешен доступ для сервисной учетной записи Data Quality. Однако, пользователи могут создавать проверки только на те ресурсы (директории), которые закреплены за их командой.
Спасибо за ваши вопросы, задавайте еще, отвечу с радостью!
Благодарю за комментарий! Spark Connect действительно "виден" для YARN как одна учетная запись. Это сделано осознанно, владельцы HDFS директорий сами выдают доступ сервисной уз.
Добрый день!
Для пользователей есть доступный набор проверок и они сами могут выбирать, какие типы применять для своих таблиц;
Основной точкой входа для пользователей является UI. Он служит для создания и мониторинга проверок. Для контроля корректности создания проверок в UI отображается SQL запрос и проверяется его выполнимость на движке бд;
Проверки Data Quality можно запускать по триггеру из Data Lineage, если у проверки нет стандартного расписания запуска. Результаты проверок отображаются в Data catalog системе на таблицах, которые имеют проверки;
Система имеет доступ к неприватным директориям HDFS, а так же к тем, для которых разрешен доступ для сервисной учетной записи Data Quality. Однако, пользователи могут создавать проверки только на те ресурсы (директории), которые закреплены за их командой.
Спасибо за ваши вопросы, задавайте еще, отвечу с радостью!
Благодарю за комментарий! Spark Connect действительно "виден" для YARN как одна учетная запись. Это сделано осознанно, владельцы HDFS директорий сами выдают доступ сервисной уз.