Spring, kafka, неблокирующий retry, лаги

[remindscope]

Спасибо за интересный кейс.

С почином на Хабре!)

[DenSigma]

Интересно. Можно уточнить: кто делал pausePartition,

это потребитель-приложение ваше?

[Thedo]

да, это под капотом делает spring-kafka в ListenerContainerPauseService

[MishaBucha]

Спасибо за статью, механизм @RetryableTopic интересный, для маленьких приложений находка, чтобы не создавать велосипед)

@RetryableTopic Для хайлоада будет убийцей) У нас на проекте за ночь гоняются по 7-8 млн данных и такой алгоритм ретраев может создать жесткий Кафка лаг. Мы используем ручную отправку в dlq со сдвигом офсета, либо же в отдельную таблицу и обрабатываем в мультиинстансе шедулерами(все фиксируем руками, так как нам так надежнее и мы точно знаем, что происходит)

Но опять же, если нагрузка не очень большая, то супер вообще @RetryableTopic думаю зайдет на ура, особенно, если не хочется думать над логикой ретраев)