Создание data lineage в Apache Atlas из логических планов Spark (не без «костылей»)

[dolfinus]

А что даст такое хранение плана dataframe в Atlas? В реальных ETL процессах постоянно происходит какие-то изменения, план сложно назвать постоянным. Задача была в изучении того, как планы меняются во времени?

[PicoPicoRobotWoman]

Для apache NIFI есть плагин реализующий такой функционал, задача была посмотреть как приблезительно можно сделать для спарка похожее решение, скорее эксперемент