Pull to refresh

Comments 23

Справедливости ради: на КДПВ — Ferrari SF70-H, на этой модели Себастьян Феттель (#5) стал вице-чемпионом F1 в 2017 году. Правда на КДПВ автомобиль его партнёра по команде Кими Райкконена (#7) он выступил менее удачно. Sorry за offtop.
Kafka = Franz Kafka (он)
Kafka = Брокер очереди сообщений (он)
Kafka = очередь сообщений (она)

Поскольку, вы пишете в тексте «брокер», то все же «он».
Apache Kafka = технология (она)
Приведите цифры, а то непонятно о какой скорости речь.
Цифры относительные будут всегда, тк зависят от многих факторов (какое у вас железо, какой паттерн нагрузки, какого размера сообщения, на сколько хорошая сетка, как настроен кластер, клиенты и тд).

В наших инсталляциях на данный момент пиковые нагрузки в районе 25 гигабит в секунду или 600к событий в секунду на кластере из 9 машин с HDD дисками. Это точно далеко не предел, но пока нам больше и не нужно.
UFO just landed and posted this here
А какие у вас были проблемы, если не секрет (интересно)?

В целом, вы и правы и нет одновременно. Если сравнивать Kafka с другими подобными решениями, то у нее экосистема намного более развитая и богатая (коннекторы, репликаторы, прокси, schema registry и тд и тд). И часто компаниям достаточно того, что уже сделано другими и доступно в опенсорсе. Но бывают и случаи когда под именно вашу платформу/ваш кейс надо что-то дописывать самостоятельно.
UFO just landed and posted this here
Интересно, зачем Linkedin было необходимо ворачать несколько террабайт сообщений в час? Это ведь не видеохостинг, а текстовыми сообщениями добиться таких обьемов не реально.

722 000 000 профилей пользователей. Куча взаимодействий с сайтом.
Каждый клик — событие…

Даже если каждый зарегестрированный пользователь зайдет на сайт в одно и тоже время он должен делать приблизительно 1 клик в секунду. Есть большие сомнения, что online хотя 10% их пользователей.

1) не надо быть зарегистрированным что-бы пользоваться сайтом.
2) сколько по вашему занимает базовый эвент взаимодействия с сайтом? Опустим добавление медиа (картинок, видео и т.д.)

1) не надо быть зарегистрированным что-бы пользоваться сайтом.

readonly пользователи врядли создают нагрузку для которой нужна кафка. Если же создает, то интересно почему и архитектурные детали.

2) сколько по вашему занимает базовый эвент взаимодействия с сайтом?

Поскольку профили меняются редко, основное это отсылка сообщений размером 500-2000 байт.

Возмите в учет обычный клик. Любого пользователай вполне себе событие просмотра со множествоме метаданных. Кто, когда, и где и т.д.
И это миллионы этих 500-2000 байт.
К томуже их кафки могут быть использованны для чего угодно… Например стриминг логов с их серверов.

UFO just landed and posted this here
Пользовательской аналитикой очень просто таких объемов добиться (кликстрим, например).
Идея единственного монолитного приложения или даже нескольких крупных сервисов, разделяющих общий массив данных, практически стерта из умов и сердец инженеров-практиков во всем мире.
Что за несусветная чушь? Каждой задаче своя архитектура.
И почему вы так уверенно заявляете от имени всех инженеров?
Автор не ответит — это перевод
Это перевод статьи, автор данного мнения – Emil Koutanov
В целом, многие с этим мнением не согласятся, конечнo.
Например, Kelsey Hightower считает, что монолиты скоро (или уже) опять будут в моде :)
2020 prediction: Monolithic applications will be back in style after people discover the drawbacks of distributed monolithic applications.
Спасибо за проделанную работу, но перевод хромает. Переводчку надо повышать свою тех.грамотность и избегать англицизмов (консюмер) и английских слов в переведенном тексте (fan-out, amplification и т.п) — для большинства слов уже давно есть устоявшиеся термины на русском языке.
Sign up to leave a comment.