Как настроить ETL с json’ами в Apache NiFi

[GAmoVeR]

Какой объем данных вы обрабатываете с помощью такого пайплана?

[EvSV]

При тестировании такой пайплайн обрабатывал до 500к записей/5мин объёмом по 6кб каждая. Можно и больше, если поднять число тредов в процессорах. Повседневные объёмы у нас гораздо меньше из-за лимитов со стороны источника, да и HRы столько не генерируют.

[temirlan100]

Отдельное спасибо за Jolt! Так как схожие проблемы всегда решали custom разработкой на Groovy =)

[Gurlenko]

Здравствуйте, работаю сейчас с данным инструментом, но сталкиваюсь с проблемой, что apache nifi иногда перезапускается, и все мои процессоры просто слетают, возможно подкажите как вы его развернули у себя, заранее спасибо

[EvSV]

Здравствуйте. К сожалению, по администрированию NiFi я подсказать не могу. Мой опыт ограничивается временным запуском локально для тестов. Попробуйте посмотреть в сторону файла flow.xml.gz, где NiFi хранит текущее состояние пайплайнов. Может быть что-то с записью/чтением. Если проблема не в пропаже процессоров, а в их state'ах, то может быть в nifi.properties нужно поставить nifi.flowcontroller.autoResumeState= в true

[Sigest]

У NiFi подробные логи, можно глянуть причину там. Я запускаю в докере, делаю моунт хостовой папки в папку с логами в контейнере и потом анализирую эти логи. Помогло в свое время понять почему падает NiFi. У меня NiFi версии 2