CedrusData Catalog — новый технический каталог с поддержкой Iceberg REST API

[datacrawler]

Российские компании по-прежнему вынуждены полагаться на такие технологии, как Greenplum и экосистему Hadoop (HDFS, Hive, Impala, и т.д.), которые в общемировой практике давно замещены более актуальными решениями.

Очень хотелось бы узнать какими?

[yuriygavrilov]

Мне кажется у них там куча всего облачного, зверинец новый, snowflake, starburst, AWS Athena, databend можно почти бесконечно продолжать. Можно погуглить пару статей на тему modern data stack и сравнить. http://mattturck.com/wp-content/uploads/2021/12/2021-MAD-Landscape-v3.pdf В то время еще происходил так называемый кембрийский взрыв дата инструментов. В целом очень похоже, но может он еще идет))

[datacrawler]

Про доминирование облачных технологий в bigdata понятно. Достаточно посмотреть требования в вакансиях по миру. Я полагаю, что многие российские компании, и не только, используют Hadoop технологии в качестве on-premise решений. Собственно и возник вопрос - что нового появилось необлачного. В голову приходят только Clickhouse, но это скорее сравнивать с Greenplum, а не Hadoop стэком. Ну еще s3 like хранилища как альтернатива HDFS.

[orthoxerox]

А будет поддержка thrift-протокола HMS, чтобы заменить его насовсем?

[devozerov]

CedrusData Catalog может выступать каталогом для движков, которые также работают с Iceberg. Это позволяет использовать его как замену HMS, но именно для Iceberg таблиц. Реализовывать Thrift, чтобы выступать каталого для Hive таблиц, мы пока не собираемся.