Как стать автором
Обновить

Комментарии 2

В Spark 3.0 теперь есть функция recursiveFileLookup, которая позволяет читать и загружать файлы из рекурсивных подпапок.


Интересно, и как же мы это делали еще в Spark 1.6? Все не так просто, как тут описано. Это было можно давно, например, в путях для хадупа всегда можно было писать * на любом уровне, и это работает.
Поддержка новых языков

Что-то я ничего нового в этом списке не нашел. Только обновлённые версии уже поддерживаемых языков :(. Приходится пока перебиваться вот такими вот проектами.

Зарегистрируйтесь на Хабре , чтобы оставить комментарий