Polina_Averina Apr 16 2021 at 08:05

Apache Kafka — скоро без ZooKeeper

6 min

17K

Слёрм corporate blogApache*IT Infrastructure*Programming*System administration*

Translation

+35

Comments 14

ivankudryavtsev Apr 16 2021 at 09:13

Кворум — критическая вещь в реплицируемых системах. Сейчас все знают, что Zk надо размещать на нодах без перегрузки. Я не думаю, что в Confluent глупые люди работают, но как бы обрадовавшиеся пользователи не огребли еще больше проблем, считая, что это "не критично" и размещая встроенный кворум на нагруженных узлах...

aig Apr 16 2021 at 10:00

Обычные пользователи и zookeeper поставят на те же самые ноды, а для остальных есть настройки:

Each Kafka server now has a new configuration key called process.roles which can have the following values:

If process.roles is set to broker, the server acts as a broker in KRaft mode.
If process.roles is set to controller, the server acts as a controller in KRaft mode.
If process.roles is set to broker,controller, the server acts as both a broker and a controller in KRaft mode.
If process.roles is not set at all then we are assumed to be in ZooKeeper mode. As mentioned earlier, you can't currently transition back and forth between ZooKeeper mode and KRaft mode without reformatting.

creker Apr 16 2021 at 13:32

Все знают, но это просто умозрительное заключение, что так лучше. На практике же повсеместно ставят кафку и кипер на одни и теже ноды. Надо просто серваки не в притык брать, ставить лимиты, если уж прям совсем никак, и все будет хорошо. Выделять целый сервак или даже виртулку под кипер это прям оверкил. Он практически не потребляет ресурсов и в современной кафке используется не особо то активно.

ivankudryavtsev Apr 16 2021 at 13:35

Есть и другие сервисы, кому zk надо. Например, те, которые мы сами запилили или Clickhouse. Так что, it depends...

gecube Apr 17 2021 at 11:24

Это если у вас один ZK на все, что вряд ли хороший паттерн...

denaspireone Apr 19 2021 at 09:40

Но еще же есть молодой игрок под именем https://github.com/vectorizedio/redpanda

UFO just landed and posted this here

gecube Apr 17 2021 at 11:25

Ага, и опять выяснится, что хотя спека на рафт нормальная, но очередная имплементация с багами...

roller Apr 16 2021 at 10:41

Рады сообщить, что ранний доступ к KIP-500 уже закоммичен в ствол и будет

Пожалуйста, не коммитте в ствол.
А лучше — наймите хотя бы голодного студента, а не девочку-переводчицу с ноготочками.

gAmUssA Apr 16 2021 at 18:11

+1 лучше оставить лог как есть imo

roller Apr 16 2021 at 19:40

скорее всего там был master branch

arsen_gl Apr 17 2021 at 13:11

там было слово: trunk

gecube Apr 17 2021 at 13:15

надо оставить default как наиболее нейтральный термин )
А то на транк "зеленые" могут триггериться — чего это мы растительность не защищаем? :-)

ggo Apr 16 2021 at 10:43

Так и не понял, что приобрели избавившись от ZK.
Ну кроме того, что стало проще развертывать Kafka'у.

Ну еще в статье упоминается 2 млн партиций, хехе.