Как стать автором
Обновить

Понимание брокеров сообщений. Изучение механики обмена сообщениями посредством ActiveMQ и Kafka. Глава 3. Kafka

Высокая производительность *Мессенджеры *Программирование *Java *Распределённые системы *
Перевод
Продолжение перевода небольшой книги:
«Understanding Message Brokers»,
автор: Jakub Korab, издательство: O'Reilly Media, Inc., дата издания: June 2017, ISBN: 9781492049296.

Перевод выполнен: tele.gg/middle_java

Предыдущая часть: Понимание брокеров сообщений. Изучение механики обмена сообщениями посредством ActiveMQ и Kafka. Глава 2. ActiveMQ
Читать дальше →
Всего голосов 15: ↑15 и ↓0 +15
Просмотры 47K
Комментарии 5

Серия вебинаров по серверной разработке на Kotlin. Продолжение

Блог компании JetBrains Kotlin *Конференции

Мы продолжаем серию вебинаров о разработке серверных приложений на Kotlin (на английском языке). С 18 февраля по 18 марта пройдут четыре вебинара, на которых мы вместе с вами рассмотрим прикладную бэкенд-разработку на Kotlin в формате живых кодинг-сессий. Вебинары подойдут для Kotlin- и Java-разработчиков любого уровня подготовленности, в том числе для разработчиков мобильных приложений без опыта серверной разработки.

Спикеры из JetBrains, VMware, Confluent и Oracle расскажут о реактивном программировании, асинхронных приложениях на базе фреймворка Ktor, создании микросервисов с помощью Helidon и других аспектах применения Kotlin в серверной разработке:

Going Reactive With Spring WebFlux, Kotlin Coroutines, and RSocket, 18 февраля, 19:00 – 20:00 МСК

Building Microservices With Helidon and Kotlin, 10 марта, 19:00 – 20:00 МСК 

— Ktor From the Ground Up, 17 марта, 20:30 – 21:30 МСК 

Applied Event Streaming With Apache Kafka, Kotlin, and Ktor, 18 марта, 19:00 – 20:00 МСК 

Во время вебинаров вы сможете задавать вопросы спикерам и организаторам. Подробнее о каждом из вебинаров читайте ниже.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 2.8K
Комментарии 0

Доступны бесплатные уроки видеокурса по Apache Kafka

Блог компании Southbridge Высокая производительность *Системное администрирование *IT-инфраструктура *Apache *


Мы открыли доступ к базовым темам курса по Apache Kafka.


В программе две теоретические темы «Введение» и «Базовые основы технологии» и практическая тема «Установка Kafka». В ней поработаем с технологией руками:


  1. Развернём Kafka в самом простом её варианте — с одним брокером и одной нодой ZooKeeper.
  2. Запишем и прочитаем сообщения, посмотрим в конфиги и увидим, как данные хранятся на диске.
Читать дальше →
Всего голосов 18: ↑15 и ↓3 +12
Просмотры 8.6K
Комментарии 2

Продвинутый курс по Apache Kafka: 11 апреля старт группы с куратором

Блог компании Southbridge Высокая производительность *Системное администрирование *IT-инфраструктура *Apache *


Начать освоение Apache Kafka на продвинутом уровне можно будет самостоятельно 7 апреля, а при желании учиться в группе – 11 апреля. Программа рассчитана на системных администраторов, DBA и архитекторов, работающих в проекте с системами передачи сообщений.

Вы научитесь работать с Apache Kafka в реальном времени. Узнаете, как грамотно настраивать распределённый отказоустойчивый кластер, отслеживать метрики и равномерно распределять нагрузку.
Читать дальше →
Всего голосов 10: ↑8 и ↓2 +6
Просмотры 1.9K
Комментарии 0

Приглашаем на вебинар: единая авторизация в микросервисах (на основе HTTP и Kafka)

Блог компании EPAM Микросервисы *

Комьюнити Integration Community приглашает на вебинар «Единая авторизация в микросервисах». Вебинар пройдёт 8 сентября в 17.00.

Читать далее
Всего голосов 10: ↑8 и ↓2 +6
Просмотры 1.5K
Комментарии 0

Вебинар «Выбираем правильно очередь сообщений» 30 сентября

Блог компании VK Администрирование баз данных *Big Data *Хранение данных *Облачные сервисы


При разработке распределенных приложений практически нельзя обойтись без брокера очередей. Это простой инструмент, который помогает настроить взаимодействие между различными элементами системы.

30 сентября (четверг) присоединяйтесь к вебинару «Выбираем правильно очередь сообщений: как не поставить крест на масштабируемости и отказоустойчивости вашего приложения», где мы расскажем, на что следует обратить внимание при выборе брокера очередей, для каких задач их использование наиболее эффективно, а также приведем сравнительные характеристики RabbitMQ, Kafka, облачных очередей и других кандидатов. Присоединяйтесь!
Подробнее о вебинаре
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 729
Комментарии 0

DevOps Community Meetup 5/10: видео и материалы встречи

Блог компании Райффайзен Банк Конференции DevOps *Kubernetes *

Онлайн-митап провели вместе с DevOps-сообществом Райффайзенбанка и спикерами из Леруа Мерлен и Самоката. Обсудили актуальное: своя платформа на базе Elastic Stack и Kafka, Pipeline as Code с командой 100+ человек и подходы для Kubernetes Observability.

Под катом — запись встречи и презентации спикеров.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 882
Комментарии 1

«Разработчик, или от Мидла до Сеньора», анонс бесплатного курса

Блог компании Southbridge

Команда Слёрм вместе с экспертами Райффайзен DGTL разработали программу курса, который поможет сделать шаг разработчикам в сторону профессионального роста. Этот курс для тех, кто готов платить за развитие своим временем, а денег за обучение платить не нужно.

Эксперты выступят вживую на онлайн-уроках, ответят на вопросы участников курса и зададут домашние задания. Записи будут доступны, но некоторые ограниченное время. Это ещё один повод выделить время и смотреть живую трансляцию. А есть ещё причины? Да, вживую смотреть интересней. И можно задавать вопросы.

Посмотреть программу
Всего голосов 11: ↑10 и ↓1 +9
Просмотры 1.4K
Комментарии 2

Новости курса по Apache Kafka от Слёрм

Блог компании Southbridge

TL;DR

Курс: универсальное введение в Кафку от практиков.

Два формата: изучение видеокурса в одиночку или в группе. Группа рулит: 70% тех, кто стартовал в группе, проходит курс до конца.

Ближайшая группа стартует 3 февраля и завершается 10 марта. Сейчас курс стоит 60 000 ₽, с 1 января цена на прохождение в группе вырастет до 70 000 ₽.

Подробнее
Всего голосов 11: ↑11 и ↓0 +11
Просмотры 507
Комментарии 0

Митап VK Tech Talks: поговорим про Go-разработку

Блог компании VK IT-инфраструктура *Go *Конференции

14 апреля в 19:00 приглашаем на митап от команды VK: в этот раз поговорим про Go-разработку. Мероприятие пройдёт в гибридном формате. Приходите в московский офис VK или смотрите прямой эфир в сообществе VK Team.

Чтобы поучаствовать в митапе, нужно зарегистрироваться.

После этого вам придёт письмо со ссылкой на чат для участников и всей нужной информацией: адресом офиса и деталями встречи.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 696
Комментарии 0

Прокачай бэкенд: программируем с Apache Kafka на бесплатном вебинаре

Блог компании Southbridge

На первом вебинаре «Программирование с использованием Kafka» обсудим:

— Паттерны работы с очередью, как ротировать данные;

— Фреймворки работы с очередями для разных языков;

— Очереди под капотом, или как выбрать решение для своего кейса.

Читать далее
Всего голосов 14: ↑14 и ↓0 +14
Просмотры 558
Комментарии 0

Будь МЕГАХОРОШ в Apache Kafka

Блог компании Southbridge

Если ты хоть раз имел дело с Apache Kafka, то знаешь про тонну потенциальных фейлов. Например: очень долгая отправка сообщений, чтение одного топика по несколько раз, истёкшие TTL.

На бесплатном вебинаре «Обкафкился по полной. Фейлы с Apache Kafka» мы обсудим главные трудности при работе с инструментом на основе «живых» кейсов. Ты научишься мастерски ходить по тонкому льду Кафки и ещё больше прокачаешь свой бэкенд.

Читать далее
Всего голосов 13: ↑13 и ↓0 +13
Просмотры 1.1K
Комментарии 0

Эволюция веб-приложений

Разработка веб-сайтов *Разработка мобильных приложений *
Всем прикольно пообсуждать «всё новое хреновое», и последние пару лет мы увлечённо обсуждали и пробовали NoSQL/NewSQL на сервере и Angular/Knockout/Ember на клиенте. Но эти тренды, похоже, уже на излёте. Отличный момент, чтобы присесть и поразмыслить, что же дальше. Как сказал M. Andreessen, «software is eating the world». В то же время, mobile/web apps едят обычные приложения. Поэтому особенно интересно прикинуть, а куда же всё катится в мире мобильных и веб-приложений? Ведь они, получается, едят вообще всех. Я считаю, что следующей Большой Темой будет синхронизация данных, и вот почему.
синхронистки
Читать дальше →
Всего голосов 35: ↑33 и ↓2 +31
Просмотры 25K
Комментарии 8

Впечатления от посещения EuroPython 2014

Python *
Одна из отличительных особенностей языка Python — это посвящённые этому языку конференции, так называемые PyConы. Не так давно мне удалось побывать на одном таком PyCon-е — EuroPython 2014. EuroPython — это одна из наиболее крупных европейских ежегодных конференций по языку Python, которая три последних года проводилась во Флоренции, а в 2014м — первый раз в Берлине. Пока свежи воспоминания решил написать небольшой отчётик — что и как было.
Читать дальше →
Всего голосов 32: ↑32 и ↓0 +32
Просмотры 12K
Комментарии 2

Logbroker: сбор и поставка больших объемов данных в Яндексе

Блог компании Яндекс
Привет! Меня зовут Алексей Озерицкий. В Яндексе я работаю в разработке технологий и инфраструктуры. Не только тем нашим сервисам, которыми пользуются миллионы людей, важно уметь работать с действительно большими объемами данных без сбоев. Один из наших ключевых внутренних инструментов — Я.Статистика, информация в котором предназначена только для сотрудников Яндекса и более того — является коммерческой тайной. Статистика занимается сбором, хранением и обработкой информации (в первую очередь логов) от сервисов Яндекса. Результатом нашей работы с ней являются статистические расчеты для дальнейшей аналитики и принятия продуктовых решений.

Один из ключевых компонентов Статистики – Logbroker, распределенное многодатацентровое решение по сбору и поставке данных. Ключевые особенности системы – возможность переживать отключение дата-центра, поддержка семантики exactly once на доставку сообщений и поддержка потоков реального времени (секунды задержки от возникновения события на источнике до получения на приемнике).

В ядре системы лежит Apache Kafka. Logbroker с помощью API изолирует пользователя от сырых потоков Apache Kafka, реализует процессы восстановления после сбоев (в том числе семантику exactly once) и сервисные процессы (междатацентровая репликация, раздача данных на кластеры расчета: YT, YaMR...).
Читать дальше →
Всего голосов 61: ↑56 и ↓5 +51
Просмотры 48K
Комментарии 20

«Разрывая ETL барьеры с помощью Spark Streaming» от Concur. Отчет о встрече

Анализ и проектирование систем *Big Data *
Из песочницы
Посетил сегодня встечу на тему «Breaking ETL barrier with Spark Streaming and Real Time Txn Volume Forecasting» и решил записать путевые заметки. Заметки получились немного циничные, но, надеюсь, интересные.



Встреча была организована компанией Concur, которая в основном работает на корпоративных клиентов, предоставляя им набор финансово-«туристических» услуг. Материл был интересный, уровень — легкий, обзор будет короткий.

Вкратце, смысл в том, чтобы заменить ETL на такое же примерно количество процессов, которые читают транзакционные логи и посылают их через Kafka в Spark Streaming, где они могут быть «лучше обработаны и проанализированны», и дальше сложены в OLAP (как и раньше). То есть это, по сути ETL, но real time, а не пакетный, и более программируемый.
Подробности
Всего голосов 13: ↑12 и ↓1 +11
Просмотры 9.1K
Комментарии 5

Как Spotify масштабирует Apache Storm

Блог компании CloudMTS Разработка веб-сайтов *Анализ и проектирование систем *Разработка мобильных приложений *Разработка под e-commerce *
Spotify — шведский сервис потокового воспроизведения музыки с которым сотрудничают такие компании как Sony, EMI, Warner, и Universal. Сервис Spotify был запущен в октябре 2008 года, сейчас он предоставляет более 30 млн композиций. Многие считают его попыткой повторить успех Napster и легализовать его модель. Шведам все это удалось едва ли не лучше всех в мире.

Сам сервис работает следующим образом (общее описание): алгоритм анализирует плейлисты пользователей с учетом точечной классификации по жанрам и сравнивает полученные «профили предпочтений» с миллионами других плейлистов. В результате — вы получаете песни, которые подходят вашим вкусам и не воспроизводились ранее.


/ фото Sunil Soundarapandian CC
Читать дальше →
Всего голосов 21: ↑16 и ↓5 +11
Просмотры 11K
Комментарии 3

Apache Spark или возвращение блудного пользователя

Блог компании Targetix Разработка веб-сайтов *Big Data *
Продолжаем цикл статей про DMP и технологический стек компании Targetix.

На это раз речь пойдет о применении в нашей практике Apache Spark и инструментe, позволяющем создавать ремаркетинговые аудитории.

Именно благодаря этому инструменту, однажды посмотрев лобзик, вы будете видеть его во всех уголках интернета до конца своей жизни.
Здесь мы и набили первые шишки в обращении с Apache Spark.

Архитектура и Spark-код под катом.


Читать дальше →
Всего голосов 13: ↑12 и ↓1 +11
Просмотры 12K
Комментарии 30

Badoo открывает исходные коды Live Streaming Daemon

Блог компании Badoo Разработка веб-сайтов *Программирование *Go *Разработка под Linux *


Для того чтобы мы могли считать статистику, наш сайт в своей работе генерирует огромное количество событий. Например, при отправке сообщения другому пользователю, при заходе пользователя на сайт, при смене местоположения и т.д. События представляют из себя строку в формате JSON или GPB (Google Protocol Buffers) и содержат время отправки, идентификатор пользователя, тип события, а также поля, относящиеся непосредственно к самому событию (например, координаты пользователя).

Каждую секунду генерируются сотни тысяч событий, и нам нужны инструменты, чтобы их собирать и анализировать эффективно и с минимальной задержкой. Мы рассматривали несколько существующих решений для этой задачи и до недавнего времени использовали демон под названием Scribe от Facebook. Он в целом нас устраивал и позволял делать все, что нам нужно. Однако в какой-то момент Facebook забросил свою разработку, и при некоторых условиях Scribe начал у нас падать (например, при перегрузке upstream-серверов). Самостоятельно устранить причину падений демона у нас не получилось, поэтому мы начали искать альтернативу.
Читать дальше →
Всего голосов 54: ↑49 и ↓5 +44
Просмотры 15K
Комментарии 33

Spotify: миграция подсистемы событий в Google Cloud (часть 1)

Блог компании Google Developers Высокая производительность *Мессенджеры *Google Cloud Platform *
Перевод
Всякий раз, когда пользователь выполняет действие в клиенте Spotify – такое как, например, прослушивание песни или поиск исполнителя – небольшое количество информации, событие, отправляется на наши сервера. Доставка событий, процесс безопасной и надежной транспортировки информации от клиентов по всему миру к нашей центральной системе обработки, — интересная задача. В серии этих статей мы рассмотрим некоторые решения, которые реализовали в этой области. Если быть более точными, то мы рассмотрим архитектуру нашей новой системы доставки событий и расскажем, почему решили развернуть ее в Google Cloud.

В этой первой статье мы объясним то, как работает наша текущая система доставки событий и расскажем о некоторых уроках, которые извлекли в ходе работы с ней. В следующей – рассмотрим создание новой системы и то, почему мы выбрали Cloud Pub/Sub в качестве транспортного механизма для всех событий. В третьей, и последней, статье мы объясним, как работаем со всеми событиями с помощью DataFlow, и насколько быстро все это происходит.

image
Читать дальше →
Всего голосов 25: ↑24 и ↓1 +23
Просмотры 5.3K
Комментарии 0