Kafka Connect без магии: как переносить данные и не писать еще один сервис

[akrov]

А как Kafka Connect ведет себя при повторной обработке данных после сбоя? Насколько реально получить дубли при падении worker’а между записью сообщения в Kafka и сохранением source offset, и как обычно решают эту проблему на практике?

[akrovv]

Теперь ясно, кто занял мой ник :)))

Да, дубли возможны. Если запись уже ушла в Kafka, а source offset еще не успел сохраниться, после рестарта Connect может прочитать ее повторно. Поэтому обычно либо используют exactly-once, если конкретный connector это поддерживает, либо делают обработку идемпотентной, например по ключу