Здравствуйте. К сожалению, по администрированию NiFi я подсказать не могу. Мой опыт ограничивается временным запуском локально для тестов. Попробуйте посмотреть в сторону файла flow.xml.gz, где NiFi хранит текущее состояние пайплайнов. Может быть что-то с записью/чтением. Если проблема не в пропаже процессоров, а в их state'ах, то может быть в nifi.properties нужно поставить nifi.flowcontroller.autoResumeState= в true
При тестировании такой пайплайн обрабатывал до 500к записей/5мин объёмом по 6кб каждая. Можно и больше, если поднять число тредов в процессорах. Повседневные объёмы у нас гораздо меньше из-за лимитов со стороны источника, да и HRы столько не генерируют.
Здравствуйте. К сожалению, по администрированию NiFi я подсказать не могу. Мой опыт ограничивается временным запуском локально для тестов. Попробуйте посмотреть в сторону файла flow.xml.gz, где NiFi хранит текущее состояние пайплайнов. Может быть что-то с записью/чтением. Если проблема не в пропаже процессоров, а в их state'ах, то может быть в nifi.properties нужно поставить
nifi.flowcontroller.autoResumeState=в trueПри тестировании такой пайплайн обрабатывал до 500к записей/5мин объёмом по 6кб каждая. Можно и больше, если поднять число тредов в процессорах. Повседневные объёмы у нас гораздо меньше из-за лимитов со стороны источника, да и HRы столько не генерируют.