Как мы выбирали Data Catalog, но в итоге оставили все как есть

[KOSSYX]

Никита, Спасибо за overview по датакаталогам, информативно и по делу.
Принципиально рассматривали только opensource(я правильно понял что все три opensource?) решения?

[sowow359]

Всё верно, мы сначала решили сначала рассмотреть opensource продукты в надежде, что один из них нам подойдет

[erley]

Мы тоже смотрели разные каталогизаторы, в финалистах оказался Datahub, замутили proof-of-concept чтобы посмотреть как он прикручивается.
Понравилось что в нём можно сделать любую метамодель данных, так что многие фичи сразу закрываются:

• отсутствует трекинг изменения датасетов;
• data lineage показывает только upstream и downstream датасеты;
• нет возможности добавить кастомную информацию для датасета;
• нет возможности прослеживать изменения в датасетах;
• поиск работает только для датасетов и пользователей.

Всё замечательно и очень стабильно крутится в k8s, а если есть своя Kafka и БД, то вообще можно всё упростить, так что пункт

• огромное количество внутренних сервисов, за каждым из которых нужно следить;

тоже исчезает (в разумном смысле).
А вот отсутствие визуализации новой модели довольно омрачает картину, там немного хардкорный WebUI на EmberJS, который они к тому же сейчас переписывают на React.
У нас народ решил наваять свой WebUI, ведь GMS там выставляет какой-никакой REST API.

Мне лично кажется что проще самому всё с нуля написать, уж слишком много переделывать в существующих готовых решениях. Но если брать что-то существующее, то пожалуй Datahub.