Pull to refresh
6
0
Send message

Оптимизируем NiFi Flow. Настройка Load Balancing, подходы к Scheduling и выбор метода merge

Level of difficultyMedium
Reading time8 min
Views4K

Если вы используете в своей работе NiFi, то наверняка не раз задумывались об оптимизации, а может быть и делали ее. В этом посте я поделюсь своими наработками в области настроек NiFi, благодаря которым мы получили позитивные результаты и улучшили работу наших собственных сервисов. А если конкретно, речь пойдет про выбор стратегии балансировки нагрузки между нодами кластера (load balancing), настройке работы процессоров NiFi в рамках одной ноды (Concurrent tasks, Run Duration), а также о том, что делать с косяками Merge Record. Если интересно, ныряйте под кат и давайте обсудим, что еще хорошего можно сделать с NiFi. 

Читать далее
Total votes 6: ↑6 and ↓0+6
Comments1

Information

Rating
Does not participate
Registered
Activity

Specialization

Data Engineer
Senior
ETL
Database
SQL
DWH
Apache Airflow
Python
Apache Kafka
PostgreSQL
Git
Docker