Оптимизации функционала Apache Iceberg в задачах real-time загрузки и обработки данных
В блоге Data Sapience, технологического партнера GlowByte, вышла новая статья.
Технические лидеры направления разработки Apache Spark в составе платформы Data Ocean рассказывают:
С какими проблемами можно столкнуться при реализации Upsert Streaming в Iceberg;
Что такое equality delete;
Почему они создают нагрузку при чтении таблиц в Apache Iceberg;
Как оптимизировали Apache Spark, чтобы снизить потребление памяти и ускорить чтение данных.
Недавно я обновил свою видеокарту до RTX-5060-TI 16GB. Получив новую карту я решил исследовать, что можно на ней запустить из нейросетей. Традиционно пишут, что нормальные ИИ модели начинаются с rtx3090 и выше, что ниже 24GB VRAM жизни нет. В этой статье я постараюсь развеять этот миф.
