Комментарии 3
погрузиться в «желудок»
Однажды, погрузившись в желудок, можно оказаться в жопе
В целом, почитал, кое-что интересно. Но у вас avro, потом на S3 json... нафига? Где все преимущества select api на s3, например, из паркета?
На S3 лежит либо паркет, либо json. Причем json - только для источников, которые изначально поставляют данные в json. Здесь для json основная движущая мысль - чтобы сохранить на S3 данные "так как есть", в том виде, в котором они пришли из источника.
Так как мы потом ВСЕ эти данные переливаем в ODS слой хранилища, то "вся мощь" select api на s3 нам не нужна.
Надеюсь, ответил на ваш вопрос)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Что нам стоит… загрузить JSON в Data Platform