Комментарии 2
либо любым из инструментов типа Crunсh.
что такое Crunсh?
Apache Crunch — это такой… в общем map-reduce на стероидах. Умеет запускаться локально, на Yarn и на Spark.
Близок с Spark по идеологии, и похож по API, слегка, но SQL (и оптимизации) не умеет. Зато умеет Авро, паркет, понимает схемы, и имеет источники и приемники скажем для HBase.
Неплохой в целом инструмент, но я боюсь что он помер. Коммиты раз в несколько месяцев — это симптом, однако.
Близок с Spark по идеологии, и похож по API, слегка, но SQL (и оптимизации) не умеет. Зато умеет Авро, паркет, понимает схемы, и имеет источники и приемники скажем для HBase.
Неплохой в целом инструмент, но я боюсь что он помер. Коммиты раз в несколько месяцев — это симптом, однако.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Apache Spark — достоинства, недостатки, пожелания