Комментарии 6
И почему базы данных связаны именно с монолитом? Микросервисы не могут использовать базы данных?)
Data Lake — подход к архитектуре, в котором создается промежуточное хранилище, куда сваливаются сырые данные из всех источников. Внутри этого хранилища они обрабатываются, агрегируются, декомпозируются, композируются, нормализуются и улетают в базу данных. Данные собираются со всех источников, потом складываются в Data Lake. Далее они преобразуются и отправляются в основное хранилище, где все это хранится в красивом виде, без лишней информации. В то же время, учитывая, что сохраняется копия данных, всегда можно к ним вернуться. Если трансформация получилась плохой, есть данные из источника, к которым можно сходить, и еще раз пересобрать.
А чем, собственно, тогда Data Lake отличается от старого-доброго "промежуточного слоя" (Staging Area)?
Database, Data Warehouse и Data Lake: что это и когда следует использовать каждое?