Comments 9
Если вы использовали Notion
То больше не будете, потому что некоторые люди не совсем люди для Notion
Сам писал небольшой сервис по выгрузки данных из Kafka в S3 в parquet формате. Поэтому не понимаю зачем вам Spark для такой простой задачи. У вас какие-то сложные преобразования в процессе происходят?
Насколько я понял, они считают что для такого большого объёма часто меняющихся данных нужны представленные инструменты. Нет данных по их анализу рынка решений. Просто итог, что выбрали такое решение. Возможно Spark нужен для каких-то доп. преобразований на лету.
Насколько parquet оказался простым для понимания, интеграции, использования? Выявились ли какие-то подводные камни в процессе эксплуатации созданного сервиса?
Sign up to leave a comment.
Как Notion обрабатывает 200 миллиардов объектов данных