Создание data lineage в Apache Atlas из логических планов Spark (не без «костылей»)

[dolfinus]

А что даст такое хранение плана dataframe в Atlas? В реальных ETL процессах постоянно происходит какие-то изменения, план сложно назвать постоянным. Задача была в изучении того, как планы меняются во времени?