Pull to refresh
6
0
Send message

Оптимизируем NiFi Flow. Настройка Load Balancing, подходы к Scheduling и выбор метода merge

Level of difficultyMedium
Reading time8 min
Reach and readers7.3K

Если вы используете в своей работе NiFi, то наверняка не раз задумывались об оптимизации, а может быть и делали ее. В этом посте я поделюсь своими наработками в области настроек NiFi, благодаря которым мы получили позитивные результаты и улучшили работу наших собственных сервисов. А если конкретно, речь пойдет про выбор стратегии балансировки нагрузки между нодами кластера (load balancing), настройке работы процессоров NiFi в рамках одной ноды (Concurrent tasks, Run Duration), а также о том, что делать с косяками Merge Record. Если интересно, ныряйте под кат и давайте обсудим, что еще хорошего можно сделать с NiFi. 

Читать далее

Information

Rating
Does not participate
Registered
Activity

Specialization

Инженер по данным
Старший
ETL
Базы данных
SQL
DWH
Apache Airflow
Python
Apache Kafka
PostgreSQL
Git
Docker