все хорошо, но что за задача то? зачем читаются эти файлы?
как я понимаю Oozie будет запускать каждый джоб через spark-submit скрипт, т.е. стартовать на каждый джоб отдельный jvm, соответственно каждый джоб будет иметь свой sparkSession. многим задачам такое не подойдет…
В данном случае описана часть задачи для сбора статистики по приходящим данным. Основной упор я делал на описание запуска. Да у каждой задачи будет свой sparkSession.
Запуск регулярных задач на кластере или как подружить Apache Spark и Oozie