Event-Driven подход в пет-проекте: автоматизация Telegram-канала на NiFi, Kafka и n8n

[abbasov-alexander]

Ну да, Kafka для ТГ бота без подписчиков — это амбициозно! 😁

Но мне в этой архитектуре заинтересовала роль NiFi. Фактически вместо него в классической схеме стоит какой-нибудь Go-консамер, который слушает кафку, а потом делает обработку. А у NiFi вижу визуальный интерфейс … это что-то типа Airflow? На чем там внутри пишется?

Ну и интересно конечно понять вот такой теоретический момент, условная Кафка способна 1М сообщений отдавать в секунду, а NiFi сможет прожевать такой объем.

[smirnag]

Да, почему-то Airflow более известен в наших краях. NiFi вполне справляется с большими нагрузками даже не в кластером режиме. Написан он на Java внутри есть возможность скриптинга на Closure и Groovy, может запускать внешние приложения, можно писать свои процессоры на java и python (причем python процессоры на горячую подключаются, без перезагрузок). Инструмент крайне удобный и мощный.

[sergiologino]

Как системный аналитик банка могу сказать что архитектура грамотная и надежная. Мы повседневно используем nifi и kafka. Но конечно для английского в телеге это как из пушки по воробьям )) Но если цель испытать и освоить эти инструменты- кейс хороший: и парсинг и очереди и бинарные данные. Вроде проект небольшой но все есть если хочется заморочиться. В общем молодец, и написал грамотно, приятно читать.

[smirnag]

Большое спасибо за оценку! Да, для телеги перебор, но телега удобна для экспериментов)