Comments 2
Складывая сообщения в БД, а потом агентом обрабатывая их, нарушается подход обработки из очередей. Сообщения все записаны, очередь пуста - всё отлично. На деле у вас своя очередь еще внутри образуется, пока агент обработает.
Не могу согласиться. Kafka выступает шиной, не корректно считать ее очередью с точки зрения приложения[CRM]. Применяя очередь уже на уровне CRM, мы как-раз не тормозим чтение новых сообщений обработкой, аналогично тому, если бы мы уводили handler на уровень BJ. Поэтому очередь на уровне приложения стоит считать единственной очередью в такой схеме и решением вопроса "бутылочного горлышка" связанного с блоком чтения обработчиков.
з.ы. внутреннюю очередь можно контролируемо расшить по необходимости и на темы\типы сообщения и потоки и на демонов. т.е. удобно и управляемо масштабировать
Как интегрировать Kafka Apache с CRM Битрикс24