Оптимизации функционала Apache Iceberg в задачах real-time загрузки и обработки данных

В блоге Data Sapience, технологического партнера GlowByte, вышла новая статья.

Технические лидеры направления разработки Apache Spark в составе платформы Data Ocean рассказывают:

• С какими проблемами можно столкнуться при реализации Upsert Streaming в Iceberg;

• Что такое equality delete;

• Почему они создают нагрузку при чтении таблиц в Apache Iceberg;

• Как оптимизировали Apache Spark, чтобы снизить потребление памяти и ускорить чтение данных.