Comments 6
Ну да, Kafka для ТГ бота без подписчиков — это амбициозно! 😁
Но мне в этой архитектуре заинтересовала роль NiFi. Фактически вместо него в классической схеме стоит какой-нибудь Go-консамер, который слушает кафку, а потом делает обработку. А у NiFi вижу визуальный интерфейс … это что-то типа Airflow? На чем там внутри пишется?
Ну и интересно конечно понять вот такой теоретический момент, условная Кафка способна 1М сообщений отдавать в секунду, а NiFi сможет прожевать такой объем.
Да, почему-то Airflow более известен в наших краях. NiFi вполне справляется с большими нагрузками даже не в кластером режиме. Написан он на Java внутри есть возможность скриптинга на Closure и Groovy, может запускать внешние приложения, можно писать свои процессоры на java и python (причем python процессоры на горячую подключаются, без перезагрузок). Инструмент крайне удобный и мощный.
Как системный аналитик банка могу сказать что архитектура грамотная и надежная. Мы повседневно используем nifi и kafka. Но конечно для английского в телеге это как из пушки по воробьям )) Но если цель испытать и освоить эти инструменты- кейс хороший: и парсинг и очереди и бинарные данные. Вроде проект небольшой но все есть если хочется заморочиться. В общем молодец, и написал грамотно, приятно читать.
Использую deepseek по api, дергаю питоном.
Перевод и генерация текста. Плюс категоризатор. На глаз 10к+ запросов уже никаких проблем с json не было. Его формат и инструкция "отдавай только json в конце промпта"
2/3 этих запросов это текст с html вёрсткой ограниченной определённым набором тегов, и я ожидал, что могут возникнуть проблемы, но пока не было.
В диаграмме для n8n непонятно, чем отличаются model, model 1 и model 2
Event-Driven подход в пет-проекте: автоматизация Telegram-канала на NiFi, Kafka и n8n