Как Notion обрабатывает 200 миллиардов объектов данных

[vvbob]

Если вы использовали Notion

То больше не будете, потому что некоторые люди не совсем люди для Notion

[edward_freedom]

ты точно винишь в этом ноту?

[vvbob]

Точно

[edward_freedom]

что, взяли и просто так ограничили доступ?

[vvbob]

А что, нет?

[edward_freedom]

что этому предшествовало? До февраля 22 года тоже ограничивали?

[Atreides07]

del

[sved]

Сам писал небольшой сервис по выгрузки данных из Kafka в S3 в parquet формате. Поэтому не понимаю зачем вам Spark для такой простой задачи. У вас какие-то сложные преобразования в процессе происходят?

[avovana7]

Насколько я понял, они считают что для такого большого объёма часто меняющихся данных нужны представленные инструменты. Нет данных по их анализу рынка решений. Просто итог, что выбрали такое решение. Возможно Spark нужен для каких-то доп. преобразований на лету.

Насколько parquet оказался простым для понимания, интеграции, использования? Выявились ли какие-то подводные камни в процессе эксплуатации созданного сервиса?