Межкластерная репликация Apache Kafka между тремя дата-центрами

[amarao]

Спасибо, обалденный обзор проблемы.

[lukashes]

Дополнительным достоинством существования кластера kafka внутри ДЦ является хороший latency на продьюсинг, когда данные не пытаются in-sync разлиться между несколькими ДЦ. Либо я упустил, либо в статье про это преимущество не упоминалось?

Рома, спасибо за статью.

[Skyhook]

Да, спасибо, что подметил - я на этом не заострил внимание, тут скорее делал упор на противопоставлении ММ2 и uReplicator как инструментов для репликации. Но если сравнить просто широкий кластер Кафки и федерацию - то да, latency на продюсинг стал заметно меньше, а на консьюминг пришел к постоянной полке.

Егор - спасибо, что напомнил про это и заценил статейку =)

[ctapmex]

DataBus при записи смотрит только на кафку в текущем ДЦ ? или переключается на другие ДЦ при падении локальнйо кафки?

[lukashes]

DataBus смотрит только в локальный кластер. Однако, перед DataBus есть энвой, который в случае проблем - отправит в другой датацентр.

[ctapmex]

т.е. запись идет через REST API в DataBus  , а он уже по kafka протоколу ?

и читаете так же, получается ?

[lukashes]

Подключение к DataBus через websocket. А он уже под капотом прячет Kafka и знает куда писать и откуда читать. Главная задача DataBus - гарантировать что данные записаны и не пропадут.