CDC на примитивах

[Mikl_m13]

Репозиторий на гитхабе недоступен или отсутствует на 16:15 MSK.

[k0rsakov]

Изменил настройки. Теперь всё доступно.

[BigD]

Из Kafka хорошо читает Apache NiFi с дальнейшей трансформацией

[k0rsakov]

Согласен. О чем я вкратце написал в статье.

[BigD]

не увидел в тексте упоминания NiFi

[dude_sam]

Не помню подробностей (сам сидел со стороны Vertica, читая из Kafka), но есть нюанс, что WAL может рости до бесконечности, если в Kafka неправильно удалить толи topic, толи producer.

[k0rsakov]

Не слышал о такой проблеме. Вообще, объём WAL для того же PostgreSQL можно настроить и время хранения данных в топиках Kafka тоже настраивается, но по дефолту семь дней.

Ну и кажется по логике, что влияние топика/продюсера не должны повлиять, что где-то что-то сломается, потому что они все независимы.

Я же могу писать в топик, но не читать оттуда (нет продюсера)

[dude_sam]

Там что-то со слотами репликации. И там где-то хранится LSN. Я не разбираюсь как это устроено на физическом уровне в связке Postgres-Debezium-Kafka, но если ничего не читается, то LSN остаётся один и тот же и WAL не может быть очищен, т.к. ждёт вычитки.

Как-то так "по-памяти".