Комментарии 6
А чем не подошел kafka-connect с подключенным к нему MM и дополнительными трансформами?
Привет, мы использовали MM на первых этапах, в соответствии с постановкой задачи мы выбрали централизованное решение для выполнения всех задач в любой комбинации кластеров (подключений к ним) с возможностью горизонтального масштабирования, минимальными затратами на добавление задач зеркалирования или конфигурирования, обеспеченив отказоустойчивость.
А чем не подошел kafka-connect с подключенным к нему MM и дополнительными трансформами?
Т.е. Вы наивно выключили проверку, не разобравшись зачем тут она была, не задали вопрос разработчикам в открытом проекте на Github, пошли с этим в HiLoad продакшн и надеетесь что все будет хорошо?
То ли я старею, то ли этот мир несется куда то не туда...
"system.destination.identityPartitioningEnabled": "false", - точное соответствие данных в партициях при зеркалировании
Выглядит как будь-то при False сообщения не будут перетаскиваться на целевой кластер с сохранением партиций.
Зеркалирование топиков Kafka по-бруклински