Как стать автором
Обновить

Комментарии 5

прочитал по накуре, нихуя не понял
С появлением Spark этот движок морально устарел.
Сами начинали с Pig и Hive, потом резко перешли на Scala/Spark
Мы пока используем MapReduce, и у нас слишком много легаси, чтобы «резко перейти».
Здесь пригодится то, что Scalding уже неофициально умеет работать поверх Spark, а Cascading клянется вскоре доделать официальную поддержку Spark и Storm(!).
Мы надеемся, что сможем обеспечить себе плавный переход между бекендами.
Читаешь, читаешь, доходишь до конца, смотришь автора — знакомый человек :) Тесный мир не в первой дает о себе знать.
На первый взгляд похож на twitter storm (ныне apache storm). Они даже сболтили библиотеку summingbird, чтобы аггрегировать данные из scalding (batch tasks) и storm (realtime tasks).
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории