Big Data Expert Mode: митап для опытных инженеров.

Вместе с нашими друзьями из Яндекса мы глубоко погрузимся во все технические аспекты Apache Spark и Apache Iceberg и узнаем подробнее о том, как Spark работает в YTsaurus. Ведущие дата-инженеры представят практические кейсы и экспертные решения по работе с большими данными.

На митапе разберём:

Оптимизация SQL-запросов: как Catalyst использует статистику Iceberg и какие типы оптимизаций существуют.
Переход с Parquet на Iceberg: опыт внедрения Iceberg для борьбы с дублированием данных и компакцией, а также инкрементальное чтение данных в Spark Structured Streaming.
Интеграция Spark в YTsaurus: особенности работы в сравнении с Hadoop и S3.

Встречаемся 15 августа на BigData Meetup в Санкт-Петербурге.

Митап пройдёт в гибридном формате: вы можете присоединиться лично или онлайн.

Ruby Digest 2020·07·2