Что под капотом у R-Vision Threat Intelligence Platform?

[animage]

А почему сразу не используете единый формат, например Parquet или Feather? Там конечно нет возможности сохранить метаданные, зато 200М JSON сожмётся раз так в 50.

[alex_zinin]

Никогда не слышал про такие форматы, ознакомлюсь, спасибо. Для хранения какой-нибудь детальной истории изменений выглядит перспективно
Вообще сейчас проблему с размером данных мы победили. JSON у нас используется только как буферный формат хранения, который внутри системы надолго не задерживается и проблем не доставляет. А для всего более-менее постоянного capnp пока вполне подходит