Как стать автором
Поиск
Написать публикацию
Обновить

Каталог данных — почему без него непросто и как всё организовать с максимальной пользой

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров14K
Всего голосов 12: ↑11 и ↓1+13
Комментарии5

Комментарии 5

Спасибо, что делитесь своим опытом. Понятно, что целью статьи было раскрыть именно техническую сторону развертывания и показать немного мотивации. Но раз уж такую тему поднимаете, то отсюда возникает только больше вопросов :)

Проведя все эти технические манипуляции в каталоге появляются списки схем, таблиц и колонок из всех подключенных источников. Как это соотносится с моментами, обозначенными в начале статьи в разделе "Проблематика"? Что это реально дает пользователям каталога данных? Там ведь по-прежнему нереально найти нужные данные и невозможно понять их применимость к конкретной задаче.

В общем, интересно было бы почитать также о сопутствующих организационных вопросах, которые нужно решить, чтобы каталог реально стал полезен. В первую очередь, как назначаются ответственные за таблицы и как вывести в каталог информацию о том, что таблица актуальна, обновляется, поддерживается и данные в ней пригодны к использованию.

Спасибо за интерес к статье, тема управления данными достаточно объемная.
О том, какие шаги стоит пройти для того чтобы каталог данных реально стал полезен постараюсь раскрыть в следующей статье.

Добрый день. Подскажите, пожалуйста,

1) смотрели ли или смотрите сейчас в сторону Arenadata Дата Каталог?

2) Писали ли свои коннекторы или обходитесь теми, что есть из коробки

3) Насколько активно сообщество, отвечали/помогали ли вам разбираться с проблемами или в основном решали сами

Добрый день,

отвечаю на вопросы:
В данный момент нам достаточно ванильной версии OMD и коннекторов из коробки.
Сообщество активно, на вопросы которые задавали в слаке ребята из OMD отвечали и помогали как могли, за что отдельная им благодарность.

Добрый день. В статье упоминалась тема data quality и поэтому немного оффтоп вопрос: сейчас какой-либо dq инструмент используете?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий