А что даст такое хранение плана dataframe в Atlas? В реальных ETL процессах постоянно происходит какие-то изменения, план сложно назвать постоянным. Задача была в изучении того, как планы меняются во времени?
Для apache NIFI есть плагин реализующий такой функционал, задача была посмотреть как приблезительно можно сделать для спарка похожее решение, скорее эксперемент
Создание data lineage в Apache Atlas из логических планов Spark (не без «костылей»)