k0rsakov May 13 at 13:28

CDC на примитивах

Easy

8 min

3.7K

PostgreSQL*Data Mining*Big Data*Data storages*Data Engineering*

Tutorial

Comments 8

Mikl_m13 May 14 at 03:01

Репозиторий на гитхабе недоступен или отсутствует на 16:15 MSK.

k0rsakov May 14 at 03:02

Изменил настройки. Теперь всё доступно.

BigD May 14 at 07:13

Из Kafka хорошо читает Apache NiFi с дальнейшей трансформацией

k0rsakov May 14 at 08:57

Согласен. О чем я вкратце написал в статье.

BigD May 14 at 09:02

не увидел в тексте упоминания NiFi

dude_sam May 14 at 17:02

Не помню подробностей (сам сидел со стороны Vertica, читая из Kafka), но есть нюанс, что WAL может рости до бесконечности, если в Kafka неправильно удалить толи topic, толи producer.

k0rsakov May 16 at 11:05

Не слышал о такой проблеме. Вообще, объём WAL для того же PostgreSQL можно настроить и время хранения данных в топиках Kafka тоже настраивается, но по дефолту семь дней.

Ну и кажется по логике, что влияние топика/продюсера не должны повлиять, что где-то что-то сломается, потому что они все независимы.

Я же могу писать в топик, но не читать оттуда (нет продюсера)

dude_sam May 16 at 13:03

Там что-то со слотами репликации. И там где-то хранится LSN. Я не разбираюсь как это устроено на физическом уровне в связке Postgres-Debezium-Kafka, но если ничего не читается, то LSN остаётся один и тот же и WAL не может быть очищен, т.к. ждёт вычитки.

Как-то так "по-памяти".