Платформа инвестиционного бизнеса. Как устроена IPS в РСХБ

[Algrinn]

Всё хорошо, логично. На большую нагрузку. Если она есть.

[DeAntonov]

Так точно)

Но и для не высоконагруженных систем, минимальный набор подходит, так сказать для спокойного сна)

[alecx]

Если я правильно понял, то source для CDC у вас Postgres? Если так, то расскажите пожалуйста как справляетесь с переносом replication slot'а для debesium на новый мастер при падении базы?

[DeAntonov]

Коллеги помогли с ответом.

В теории,  при переключении дебезиума на ДР бд он сам создаст нужный ему коннектор, и нужный слот.

[alecx]

Ну вообще-то нет. Точнее слот то создаться, но с новым счетчиком транзакций. И дальше все зависит от стратегии подключения Debezium (то что конфигурируется через snapshot.mode) , или от того что произойдет раньше: новый коммит транзакции, которая не попадет уже в CDC или создание слота. Подробнее тут: https://debezium.io/documentation/reference/2.4/connectors/postgresql.html#postgresql-cluster-failures

мы с свое время из-за этого использовали его только с базами с блочной репликацией дисков между мастром и standby.

p.s. в patroni с 2.1 вроде как завезли механизм failover logical slots (прокси не дает подключиться клиентам к базе, пока не пересоздаст все слоты), но это решает только половину проблемы. А если debezium не успел дочитать транзакции до конца с мастера, а реплика успела, то опять эти транзакции не попадут в слот и, соответственно, Debezium их проскочит.

[DeAntonov]

Спасибо большое за развернутый ответ)

[alecx]

Всегда пожалуйста :) А коллеги Ваши как нибудь прокомментировали? Просто очень нравиться идея CDC прям из wal для критичных event-source систем. Но пару таких подводных камней смущает.

[DeAntonov]

Я уточню у коллег, вернусь к вам с ответом как можно раньше)

[alecx]

deleted

[slonnik3]

Статья не о чем, так и не понял как устроен IPS бизнес в РСХБ - что такое продукт, какие бизнес процессы ? Или статью назвать как-то по другому ?