CDC своими руками: Kafka + Debezium в домашней лаборатории

[Nikudator]

Можно поставить Debezium UI и просмотр состояния коннекторов и их рестарт делать через web-интерфейс.

[igorat]

Не знал про такое, точнее, даже не подумал посмотреть.

Статус просто проверял либо руками, либо через скрипты, чтобы траблшутить.

Настраивал с нуля CDC доя постгреса, мускла и монги в Azure, только средствами Azure.

Надо рассказать про такую возможность команде, которая это сопровождает сейчас.

[whoisking]

Года полтора назад пытался втащить этот дебезиум, сразу наткнулись на съедание диска wal'ом, перечитал кучу ишью, решений, в том числе, с хартбитом, ничего не помогало, плюнули, написали за несколько дней свой cdc и чувствовали себя гораздо лучше, да ещё и с полным пониманием происходящего.

[PaulNoks]

На чем писали? На Java? Закрытый проект или есть где посмотреть?

[Leny130]

В PG делали wal.logical и получается следующее, что на мастере слот репликации есть, на репликах нет. По этой причина прилетаю алерты. Как вы это решали ?

[Nikudator]

На репликах надо создавать свои слоты, они автоматом в реплики не переезжают..

[Roman2dot0]

Добро пожаловать в мир пг 17+

https://www.postgresql.org/docs/17/runtime-config-replication.html#GUC-SYNCHRONIZED-STANDBY-SLOTS