Ekhidirov Jun 8 at 23:12

Изучаем Kafka — Уровень 1

Easy

15 min

20K

DevOps*Reading roomStudying in IT

+41

Comments 24

tishin_i Jun 9 at 06:07

Спасибо за такой развернутый порт про Kafka. За визуальное предоставление - отдельное спасибо. Жду следующих статей.

Reenaz Jun 9 at 09:07

"Кафка для зумеров")) Хорошая подача материала!

Maltes Jun 9 at 09:16

Я возможно упустил в таком объемном тексте, но можно пояснить для новичков, какими средствами происходит "общение" систем с Кафкой, это запросы sql к базе Кафки, api или еще что-то?

starwalkn Jun 9 at 09:30

Общение происходит с помощью API Кафки, которые реализуют всякие клиентские библиотеки для разных языков. Есть еще CLI - это всякие kafka-topics.sh, kafka-console-producer.sh - и так далее.

Maltes Jun 10 at 08:45

Спасибо за пояснение

cordova07 Jun 9 at 09:50

Скорее всего, автор статьи визуал. С этим текстом нужно работать поэтапно и не спеша, останавливаться на каждом блоке и вдумываться. Не зря приведены разные метафоры в каждом блоке чтобы включалось воображение. Ответ на ваш вопрос я кстати нашел. Перечитайте разделы: Producer/Consumer, Поток обработки (stream processing)

BadNickname Jun 9 at 12:56

Автор статьи нейросеть.

baltimur Jun 9 at 13:57

А что если в будущем мы все будем учиться именно так? Прошел 3 уровня за 2 дня + 5 дней практики и вуаля знаешь технологию на уровне создателя без стресcа. Мне лично такой подход по душе.

cordova07 Jun 9 at 14:58

Скайнет уже среди нас))

HenryPootle Jun 9 at 15:45

Нет. Определённо - нет. Нейросеть не смогла бы опустить столько запятых.

anar66 Jun 9 at 16:42

может ее попросили писать неграмотно, чтобы не так палевно было)

cordova07 Jun 9 at 16:54

Блин вы сделали мой день🤣

Kaada Jun 9 at 17:46

Наконец, actually удобное и понятное объяснение всех ключевых моментов, от А до Я, с подробным объяснением, и с живыми, рабочими аналогиями. Даже код не требуется, чтобы понять. Всё думал, в чём же такая сильная разница с Rabbitmq, и в этой статье как раз описаны (и подчеркнуты несколько раз) главные преимущества. Спасибо автору за статью)

vanxant Jun 9 at 23:40

Жаль, что в статье нет недостатков относительно того же кролика. За всё в жизни надо платить ...

iWisper Jun 9 at 20:19

Кафка конечно не панацея, было бы круто, если автор написал бы про нюансы, к примеру, даже если вы настроили идемпотентный продюсер и консюмер читает только свежие сообщения, это все равно никогда вам не даст гарантии, что сообщение не будет прочитано повторно. А этот ньюанс очень важен при выборе брокера сообщения для конкретных задач.

xitriy87 Jun 10 at 10:00

Статья норм для начала, будем ждать продолжение)

onets Jun 10 at 17:05

Раскройте пжл в следующих статья вопрос автоматического масштабирования - там насколько я помню нельзя было просто добавить еще один сервер-consumer и нужна переконфигурация партиций (см https://stackoverflow.com/questions/36203764/how-can-i-scale-kafka-consumers). Отсюда собственно непонятно - каким образом в этом LinkedIn вообще это пытались масштабировать.

xitriy87 Jun 10 at 19:52

Consumer можно добавить в группу без проблем. Проблема в том что из одной партии не может читать больше одного consumer из группы. Поэтому для нормального масштабирования нужно заранее при создании топика закладывать количество партиций. В этом обычно и кроется проблема.