Комментарии 2
ИМХО не хватает внятного интро. Пролистал первую часть, так и не понял где описывается схема, как описывается результирующая таблица. что и как происходит если, результат трансформации не пихается в результирующую таблицу. зато куча подробностей по командам, которые нафиг не нужны без понимания общей идеи. и начинать стоит с чего-то простенького, "полигоны с аутлайнами торговых центров — инстансы объектов JTS " разбираться в геоданных врятли многим интересно.
Схема нигде не описывается, так как её нет. В первом же требовании — we're flying schema-less.
Если на что-то надо ссылаться, имена указываются ad hoc. Если не надо, то и имена не нужны. Тем более типы.
Таблиц, кстати, тоже нет. Есть наборы данных, они объектные. Об этом тоже прямо говорится много раз.
Искусство ETL. Пишем собственный движок SQL на Spark [часть 2 из 5]