Как мы попробовали Apache Iceberg в связке со Spark и что из этого вышло

Hive 3.1.0, через микросервисы

Как мы попробовали Apache Iceberg в связке со Spark и что из этого вышло

Учитывая множество таблиц в одном бакете, хорошая наводка, проверим

Как мы попробовали Apache Iceberg в связке со Spark и что из этого вышло

В части Maintainance, я бы ещё выделил Expire Snapshots на случай интенсивных операций UPDATE или DELETE, так как со временем может накопиться множество неактуальных файлов, влияющих на производительность, а эта настройка позволяет от них избавиться

Как мы попробовали Apache Iceberg в связке со Spark и что из этого вышло

Пробовали Trino, Clickhouse - нет

Как мы попробовали Apache Iceberg в связке со Spark и что из этого вышло

Мы начинали работу с Iceberg в 2022, на тот момент актуальные версии Spark и Iceberg. Возвращая фокус на возможную полноценную миграцию шаг с тестированием на обновлённых версиях впереди)