Comments 27
Спасибо за такой развернутый порт про Kafka. За визуальное предоставление - отдельное спасибо. Жду следующих статей.
"Кафка для зумеров")) Хорошая подача материала!
Я возможно упустил в таком объемном тексте, но можно пояснить для новичков, какими средствами происходит "общение" систем с Кафкой, это запросы sql к базе Кафки, api или еще что-то?
Общение происходит с помощью API Кафки, которые реализуют всякие клиентские библиотеки для разных языков. Есть еще CLI - это всякие kafka-topics.sh, kafka-console-producer.sh - и так далее.
Скорее всего, автор статьи визуал. С этим текстом нужно работать поэтапно и не спеша, останавливаться на каждом блоке и вдумываться. Не зря приведены разные метафоры в каждом блоке чтобы включалось воображение. Ответ на ваш вопрос я кстати нашел. Перечитайте разделы: Producer/Consumer, Поток обработки (stream processing)
Автор статьи нейросеть.
Наконец, actually удобное и понятное объяснение всех ключевых моментов, от А до Я, с подробным объяснением, и с живыми, рабочими аналогиями. Даже код не требуется, чтобы понять. Всё думал, в чём же такая сильная разница с Rabbitmq, и в этой статье как раз описаны (и подчеркнуты несколько раз) главные преимущества. Спасибо автору за статью)
Кафка конечно не панацея, было бы круто, если автор написал бы про нюансы, к примеру, даже если вы настроили идемпотентный продюсер и консюмер читает только свежие сообщения, это все равно никогда вам не даст гарантии, что сообщение не будет прочитано повторно. А этот ньюанс очень важен при выборе брокера сообщения для конкретных задач.
Статья норм для начала, будем ждать продолжение)
Раскройте пжл в следующих статья вопрос автоматического масштабирования - там насколько я помню нельзя было просто добавить еще один сервер-consumer и нужна переконфигурация партиций (см https://stackoverflow.com/questions/36203764/how-can-i-scale-kafka-consumers). Отсюда собственно непонятно - каким образом в этом LinkedIn вообще это пытались масштабировать.
Когда ожидается вторая часть?
Спасибо, интересно написано. Давай следующий уровень
Поясните, пожалуйста, а консьюмер чем отличается от джоба?
Насколько я понимаю, консьюмер так же "крутится" в цикле, как и периодические джобы. Отличие только в отсутствии периода?
А правильно ли я понимаю, что один топик может находится на нескольких брокерах одновременно, типо разные партиции одного топика на разных брокерах? И в связи с этим другой вопрос: как именно происходит навигация между брокерами для клиентов? Внутри кафки просто хранится мапа по типу: «топик, партиция» : «номер брокера»?
А как почитать вторую и третью часть?
Изучаем Kafka — Уровень 1