Мы пока используем MapReduce, и у нас слишком много легаси, чтобы «резко перейти».
Здесь пригодится то, что Scalding уже неофициально умеет работать поверх Spark, а Cascading клянется вскоре доделать официальную поддержку Spark и Storm(!).
Мы надеемся, что сможем обеспечить себе плавный переход между бекендами.
На первый взгляд похож на twitter storm (ныне apache storm). Они даже сболтили библиотеку summingbird, чтобы аггрегировать данные из scalding (batch tasks) и storm (realtime tasks).
Scalding: повод перейти с Java на Scala