sergeysamsonov26 мар 2019 в 09:35Spark Structured Streaming Applications on Kubernetes. Опыт ФАСТЕН РУСВремя на прочтение4 минОхват и читатели3.1KBig Data * Из песочницыВсего голосов 6: ↑6 и ↓0+4Добавить в закладки10Комментарии3
Yo127 мар 2019 в 07:30Стриминг выступает ключевым компонентом BI-платформы ФАСТЕН РУС. Real-time данные используются командой дата анализа для построения оперативных отчетов. глупый вопрос — а как с S3 данные оперативно в BI платформы попадают?
sergeysamsonov27 мар 2019 в 20:36Показать предыдущий комментарийданные стримятся как в S3 (для обучения нейросетей), так и в DWH (для построения отчетности)
sergeysamsonov28 мар 2019 в 14:13Комментарий был измененПоказать предыдущий комментарийСоответственно, в Data Lake — история, в DWH — данные по ивентам за последние 3 месяца.
Spark Structured Streaming Applications on Kubernetes. Опыт ФАСТЕН РУС