Комментарии 2
В Spark 3.0 теперь есть функция recursiveFileLookup, которая позволяет читать и загружать файлы из рекурсивных подпапок.
Интересно, и как же мы это делали еще в Spark 1.6? Все не так просто, как тут описано. Это было можно давно, например, в путях для хадупа всегда можно было писать * на любом уровне, и это работает.
0
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Spark 3.0: новые возможности и примеры их использования – часть 1