Комментарии 2
Круто что arrow-rs / datafusion стек проникает в Spark. Ещё круче будет когда ballista дорастет до полноценной платформы, и можно будет жить без JVM.
Сравнивали ли с Gluten? Clickhouse в роли вычислителя звучит ещё интереснее, чем datafusion. Или оно про другое?
Спасибо за комментарий! Нет, с gluten не сравнивали, но было бы очень интересно попробовать! Сравнивали с BLAZE, но он у нас не завёлся из-за несовместимости с версией Scala, которую мы используем. Плюс были другие причины по которым Comet казался лучше :)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Со скоростью кометы: ускоряем Spark без переписывания кода