Мы заглянули под капот Kafka и решили проблему потерянных сообщений

[petejones83]

Ну, т.е. вместо решения проблемы с таймаутом, они просто начали вручную выкидывать дубликаты.

Или можно было попробовать идемпотентные продюсеры https://www.linkedin.com/pulse/kafka-idempotent-producer-rob-golder/

[kohus]

Вообще-то, delivery.timeout.ms по умолчанию 2 минуты. Ничего себе, проблемы с сетью. Какой-то странный outbox, тогда уже проще писать сразу записи в базу и тащить их оттуда кафка-коннектом.

[vic_1]

Рекомендую https://microservices.io/, обе проблемы и пути решения описаны подробно ну или соответствующую книгу от того же товарища

[headliner1985]

Тут надо не кафку а обычный message broker использовать и dead letter queue, что вы собственно и пытались реализовать.

[alhimik45]

Вот да, всегда удивляло что люди берут технически сложный distributed log когда работают с ним только в рамках парадигмы message queue. Хотя казалось бы можно взять чистый message broker и поиметь специфичные фичи из коробки.