Развертывание защищенного dev кластера bitnami/kafka в k8s с помощью helm

[deepblack]

Почему вы еще используете Zookeper?
он же с версии Kafka 3.5 - deprecated и не рекомендован для новых развертываний.

With the release of Apache Kafka 3.5, Zookeeper is now marked deprecated. Removal of ZooKeeper is planned in the next major release of Apache Kafka (version 4.0), which is scheduled to happen no sooner than April 2024. During the deprecation phase, ZooKeeper is still supported for metadata management of Kafka clusters, but it is not recommended for new deployments.

[tfkfan]

Да, я в курсе. Просто практика показывает, что в большинстве случаев zookeeper до сих пор часто используется. Если есть возможность то конечно же рекомендуется использовать Kraft, более того в чартах он есть

[f_s_b_37]

Тем, кто справедливо заметит, что выглядит все это сложновато (а тут пропущена часто важная часть про подключение schema registry), можно взглянуть на strimzi operator. Он прячет в себя кучу черновой работы по обеспечению связи кусков между собой и обеспечению безопасности. А наружу торчат довольно удобные ручки в виде CRD

[turbotankist]

Да, если кубернетес и Кафка, то только через стримзи.

А это из статьи баловство для ознакомления только может быть полезно

[tfkfan]

В проде очевидно вся работа с ключами будет автоматизирована с vault/let's encrypt, вероятно выпушу вторую расширенную статью на этот счет

[Derfirm]

В качестве UI я бы рекомендовал использовать redpanda, kafdrop выглядит куцо, на большом количестве сообщений кушает ресурсы и внешний вид на любителя.

[tfkfan]

Спасибо, прилепил redpanda console, отличная штука

[morgoved]

И ни слова про ACL... А мутить такую дичь с сертификатами без cert manager и vault, это самому себе могилу рыть... Про то что это все без оператора я вообще молчу.. Думал чет интересное почитаю, а тут дичь полная.

[tfkfan]

Это дев приятель, да и к тому же обучающий материал больше, чем руководство к действию, каждый сделает как ему виднее, в проде очевидно вся работа с ключами будет автоматизирована с vault/let's encrypt, вероятно выпушу вторую расширенную статью на этот счет (окончательная prod версия кластера). Прилепил в данный момент schema registry+redpanda console, на проде/stage также планируется keycloak oauthbearer с теми самыми ACL про которых "ни слова" в конце статьи, которая и так портянка сама по себе