Технология NiFi: применение (часть 2)

[ivankudryavtsev]

Привет. Не понял зачем в заголовке Kafka, если про Kafka ни слова. То, что в предыдущей статье были слова о Kafka, не значит, что в текущей эти слова имеет смысл ставить.

Apache Airflow

Platform created by the community to programmatically author, schedule and monitor workflows.

Заметьте, это не про ETL, это про оркестрацию DAG-а задач. Что про ETL? - Apache Spark, к примеру...

[md_backend_binance]

Если в инструменте нету join агрегационных окон - то можно сразу скипать.

[Geckelberryfinn]

Да потому что NiFi - это не ETL, это роутинг данных больше (ключевая сущность - это flowfiles, которые он роутит от процессора к процессору). Но да, кое-какие трансформации по пути можно выполнять.