Как стать автором
Обновить

Доступны бесплатные уроки видеокурса по Apache Kafka

Блог компании Southbridge Высокая производительность *Системное администрирование *IT-инфраструктура *Apache *


Мы открыли доступ к базовым темам курса по Apache Kafka.


В программе две теоретические темы «Введение» и «Базовые основы технологии» и практическая тема «Установка Kafka». В ней поработаем с технологией руками:


  1. Развернём Kafka в самом простом её варианте — с одним брокером и одной нодой ZooKeeper.
  2. Запишем и прочитаем сообщения, посмотрим в конфиги и увидим, как данные хранятся на диске.
Читать дальше →
Всего голосов 18: ↑15 и ↓3 +12
Просмотры 9.4K
Комментарии 2

Продвинутый курс по Apache Kafka: 11 апреля старт группы с куратором

Блог компании Southbridge Высокая производительность *Системное администрирование *IT-инфраструктура *Apache *


Начать освоение Apache Kafka на продвинутом уровне можно будет самостоятельно 7 апреля, а при желании учиться в группе – 11 апреля. Программа рассчитана на системных администраторов, DBA и архитекторов, работающих в проекте с системами передачи сообщений.

Вы научитесь работать с Apache Kafka в реальном времени. Узнаете, как грамотно настраивать распределённый отказоустойчивый кластер, отслеживать метрики и равномерно распределять нагрузку.
Читать дальше →
Всего голосов 10: ↑8 и ↓2 +6
Просмотры 2.2K
Комментарии 0

Прошел первый в этом году Nexign Java Meetup

Блог компании Nexign Java *Apache *Микросервисы *

Прошел первый в этом году Nexign Java Meetup

На митапе поговорили с Екатериной Попковой (Nexign) о паттерне «Сага» в микросервисной архитектуре. Донат Фетисов («Билайн») поделился знаниями об Apache Kafka, которые часто приходится собирать из разных источников или приобретать с опытом.

Проведите два часа с удовольствием и пользой — посмотрите запись митапа!

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 324
Комментарии 0

Новости курса по Apache Kafka от Слёрм

Блог компании Southbridge

TL;DR

Курс: универсальное введение в Кафку от практиков.

Два формата: изучение видеокурса в одиночку или в группе. Группа рулит: 70% тех, кто стартовал в группе, проходит курс до конца.

Ближайшая группа стартует 3 февраля и завершается 10 марта. Сейчас курс стоит 60 000 ₽, с 1 января цена на прохождение в группе вырастет до 70 000 ₽.

Подробнее
Всего голосов 11: ↑11 и ↓0 +11
Просмотры 610
Комментарии 0

Слёрм запускает 3-дневный интенсив по Apache Kafka для разработчиков

Блог компании Southbridge

Мы рады анонсировать углубленный онлайн-интенсив по Apache Kafka для разработчиков на Java и Golang. За три дня вы станете разбираться в Кафке, как будто написали ее сами:

- сможете создавать типовые приложения с использованием инструмента;

- будете настраивать приложения так, чтобы они не развалились в проде;

- научитесь строить архитектуру между микросервисами.

Вас ждет полное погружение: 3 дня, 10 часов чистой практики, АМА-сессия со спикерами Слёрма, запись круса на два года, а на выходе – сертификат и полный набор ценных навыков.

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Просмотры 687
Комментарии 1

Вебинар «Битва брокеров сообщений: Kafka, RabbitMQ, SQS»: 23 июня в 19.00

Блог компании Яндекс Практикум Программирование *Go *Учебный процесс в IT Карьера в IT-индустрии
23 июня Яндекс Практикум проведёт вебинар «Битва брокеров сообщений: Kafka, RabbitMQ, SQS». На вебинаре менторы курса «Go-разработчик» расскажут, что такое брокеры сообщений, почему без них невозможно построить высоконагруженную систему и поделятся опытом использования брокеров на своих реальных проектах. Кроме этого, обсудят плюсы и минусы каждого брокера и разберут, как они помогут вам вырасти в специалиста мидл-уровня.


Читать дальше →
Всего голосов 3: ↑2 и ↓1 +1
Просмотры 1.1K
Комментарии 0

Извращения с Apache Kafka: забавный кейс из жизни

Блог компании Southbridge

На вебинаре Михаил Кобик расскажет о своём опыте создания Data Lake на ~80 ТБ с помощью Apache Kafka. Разберет, какие подводные камни могут возникать, если Retention выкручен в 9999999, и как жить, если Apache Kafka — единственный источник данных в информационной системе. 

Читать далее
Всего голосов 11: ↑9 и ↓2 +7
Просмотры 1.3K
Комментарии 0

I am Groot. Делаем свою аналитику на событиях

Блог компании Онлайн-кинотеатр Иви Высокая производительность *Разработка веб-сайтов *


Весной этого года я узнал о возможности базы данных HP Vertica создавать запросы с матчингом паттернов событий. Так называемый Events Pattern Matching хорошо ложился под задачу анализировать поведение пользователей в продуктах ivi.ru. Мы решили попробовать разобраться с воронками оплаты, с поиском проблемных мест на устройствах, глубже погрузиться в анализ трафика. Нашей команде очень нравится, как реализована аналитика у Mixpanel и Localytics (она как раз основана на событиях и их свойствах), поэтому многие идеи были позаимствованы у них.
Читать дальше →
Всего голосов 38: ↑31 и ↓7 +24
Просмотры 32K
Комментарии 48

Рекомендации на потоке

Блог компании E-Contenta Алгоритмы *Big Data *
Всем привет!

Сегодня мы расскажем о том, как с помощью потоковой обработки данных можно увеличить качество рекомендаций и снизить время отклика всей рекомендательной системы в 5 раз. Речь пойдет об одном из наших клиентов – сервисе потокового видео Rutube.


Читать дальше →
Всего голосов 18: ↑17 и ↓1 +16
Просмотры 12K
Комментарии 12

Семантика exactly-once в Apache Kafka

Блог компании Badoo Высокая производительность *Мессенджеры *Программирование *Разработка систем связи *
Перевод


Всем привет! Меня зовут Юрий Лилеков, я работаю в Server Team Badoo. На днях мне попалась довольно интересная статья о новой семантике exactly-once в Apache Kafka, которую я с радостью для вас перевёл.

Читать дальше →
Всего голосов 25: ↑25 и ↓0 +25
Просмотры 39K
Комментарии 7

Интеграция Apache CloudStack со сторонними системами. Подписка на события с помощью Apache Kafka

Системное администрирование *Виртуализация *Облачные вычисления *Серверное администрирование *DevOps *


В данной статье рассматривается подход к интеграции Apache CloudStack (ACS) со сторонними системами посредством экспорта событий в брокер очередей сообщений Apache Kafka.


В современном мире полноценное оказание услуг без интеграции продуктов практически невозможно. В случае сетевых и облачных сервисов, важной является интеграция с биллинговыми системами, системами мониторинга доступности, службами клиентского сервиса и прочими инфраструктурными и бизнес-ориентирванными компонентами.

Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Просмотры 4.5K
Комментарии 2

Создаем микросервисную архитектуру вместе с Apache Kafka и .NET Core 2.0

.NET *C# *
Из песочницы

Доброго времени суток! Apache Kafka – очень быстрый распределенный брокер сообщений, и сегодня я расскажу как его “готовить” и реализовать с его помощью простую микросервисную архитектуру из консольных приложений. Итак, всем, кто хочет познакомиться с Apache Kafka и опробовать ее в деле, добро пожаловать под кат.
Читать дальше →
Всего голосов 18: ↑16 и ↓2 +14
Просмотры 68K
Комментарии 28

Apache Kafka и миллионы сообщений в секунду

Блог компании TINKOFF Мессенджеры *Apache *

Мы в компании любим и уважаем Apache Kafka, и в ознаменование выхода ее недавнего обновления я решил подготовить статью про ее производительность. А еще рассказать немного про то, как выжать из нее максимум.
Читать дальше →
Всего голосов 43: ↑38 и ↓5 +33
Просмотры 76K
Комментарии 24

Строим распредёленное реактивное приложение и решаем задачи согласованности

Блог компании 2ГИС Высокая производительность *Анализ и проектирование систем *.NET *Распределённые системы *


Сегодня многие компании, начиная новый проект или улучшая существующие системы, задаются вопросом, какой вариант разработки более оправдан — воспользоваться «классическим» трехслойным подходом или же спроектировать систему как набор слабосвязанных компонентов?


В первом кейсе мы можем оптимально использовать весь накопленный опыт и существующую инфраструктуру, но придется терпеть долгие циклы планирований и релизов, сложности в тестировании и в обеспечении бесперебойной работы. Во втором же случае появляются риски в управлении инфраструктурой и самим распределенным приложением.


В этой статье я расскажу, как и почему мы в 2ГИС выбрали второй вариант для построения новой системы, как решали возникающие задачи и какие выгоды от этого получили. Под катом — про Amazon S3, Apache Kafka, Reactive Extensions (Rx), eventual consistency и GitHub, сжатые сроки и невозможность собрать команду необходимого размера из инженеров, использующих один стек технологий.

Интересно? Тогда вперед!
Всего голосов 34: ↑34 и ↓0 +34
Просмотры 11K
Комментарии 6

[Екатеринбург, анонс] java.ural.Meetup @2 — анонс второго Java-митапа + видео докладов с java.ural.Meetup @1

Блог компании Контур Программирование *Java *.NET *Конференции
В первый день зимы, 1 декабря, приглашаем принять участие во второй встрече java.ural.Meetup, которая пройдёт в конференц-зале в новом офисе Контура по адресу ул. Малопрудная, 5. Начало в 14:00.

Бонусом публикуем записи докладов со встречи java.ural.Meetup @1, прошедшей 15 марта в Екатеринбурге.

Что за java.ural.Meetup?


В начале года среди разработчиков Екатеринбурга разошёлся опрос «А нужны ли новые Java-движухи?». Была собрана положительная обратная связь — так мы решили, что митапам быть. Спустя почти два месяца был анонсирован митап. Ещё через две недели первая встреча java.ural.Meetup собрала более 60 разработчиков из Екатеринбурга. На встрече разработчики из Контура рассказали о своих актуальных задачах.

Под катом анонс второй встречи и видео докладов с первого митапа.
Читать дальше →
Всего голосов 12: ↑12 и ↓0 +12
Просмотры 2K
Комментарии 9

О стримах и таблицах в Kafka и Stream Processing, часть 1

Блог компании Контур Программирование *Java *Scala *Big Data *
Перевод
* Michael G. Noll — активный контрибьютор в Open Source проекты, в том числе в Apache Kafka и Apache Storm.

Статья будет полезна в первую очередь тем, кто только знакомится с Apache Kafka и/или потоковой обработкой [Stream Processing].


В этой статье, возможно, в первой из мини-серии, я хочу объяснить концепции Стримов [Streams] и Таблиц [Tables] в потоковой обработке и, в частности, в Apache Kafka. Надеюсь, у вас появится лучшее теоретическое представление и идеи, которые помогут вам решать ваши текущие и будущие задачи лучше и/или быстрее.

Содержание:

* Мотивация
* Стримы и Таблицы простым языком
* Иллюстрированные примеры
* Стримы и Таблицы в Kafka простым языком
* Пристальный взгляд на Kafka Streams, KSQL и аналоги в Scala
* Таблицы стоят на плечах гигантов (на стримах)
* Turning the Database Inside-Out
* Заключение
Читать дальше →
Всего голосов 19: ↑19 и ↓0 +19
Просмотры 50K
Комментарии 4

Apache Kafka – мой конспект

Мессенджеры *Java *
Это мой конспект, в котором коротко и по сути затрону такие понятия Kafka как:

— Тема (Topic)
— Подписчики (consumer)
— Издатель (producer)
— Группа (group), раздел (partition)
— Потоки (streams)

Kafka — основное


При изучении Kafka возникали вопросы, ответы на которые мне приходилось эксперементально получать на примерах, вот это и изложено в этом конспекте. Как стартовать и с чего начать я дам одну из ссылок ниже в материалах.

Apache Kafka – диспетчер сообщений на Java платформе. В Kafka есть тема сообщения в которую издатели пишут сообщения и есть подписчики в темах, которые читают эти сообщения, все сообщения в процессе диспетчеризации пишутся на диск и не зависит от потребителей.
Читать дальше →
Всего голосов 16: ↑15 и ↓1 +14
Просмотры 294K
Комментарии 10

Исследуем пределы пропускной способности Kafka в инфраструктуре Dropbox

Блог компании ITSumma Высокая производительность *Apache *Тестирование веб-сервисов *Облачные сервисы *
Перевод


Широкое использование технологий Apache-стека — очевидный тренд. И Kafka на острие популярности: нынче людей, знающих такой брокер сообщений, пожалуй, превосходит количество тех, кто привык рядом со словом Кафка видеть слово Франц.

Мы и сами активно используем эту технологию в наших проектах. Но ведь всегда интересно, а как оно получается у других? И вдвойне интересно, если это не просто пример из чьей-то практики, а целенаправленное тестирование технологии. Поэтому мы перевели свежую статью, в которой рассказывается о том, как Dropbox опытным путём искал границы возможностей и лимиты выносливости у Kafka. И нашёл что хотел.
Читать дальше →
Всего голосов 36: ↑36 и ↓0 +36
Просмотры 6.9K
Комментарии 4

Картографирование шума с помощью KSQL, Raspberry Pi и радиоприёмника

Блог компании ITSumma Алгоритмы *Apache *Геоинформационные сервисы *Разработка на Raspberry Pi *
Перевод


На первый взгляд, в этой истории есть всё, чтобы заслужить статус романтичного поста накануне 8 марта: самолёты, любовь, чуточка шпионажа и, наконец, котик (точнее, кошка). Трудно представить, что всё это имеет самое непосредственное отношение к Kafka, KSQL и эксперименту «как в домашних условиях с помощью информационных технологий найти самый шумный самолёт». Трудно, но придётся: именно такой эксперимент провёл Саймон Обьюри, а мы перевели статью его авторства с описанием всех подробностей процесса.
Читать дальше →
Всего голосов 44: ↑43 и ↓1 +42
Просмотры 8.7K
Комментарии 9

Серверные системы аналитики

Блог компании Adapty Хранение данных *Монетизация веб-сервисов *Монетизация мобильных приложений *Аналитика мобильных приложений *
Это вторая часть цикла статей об аналитических системах (ссылка на часть 1).

image

Сегодня уже не вызывает сомнений, что аккуратная обработка данных и интерпретация результатов могут помочь практически любому виду бизнеса. В связи с этим аналитические системы становятся все более нагруженными параметрами, растет количество триггеров и пользовательских ивентов в приложениях.

Из-за этого компании отдают своим аналитикам все больше и больше «сырой» информации для анализа и превращения ее в правильные решения. Важность системы аналитики для компании не должна быть недооцененной, а сама система должна быть надежной и устойчивой.
Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 4.7K
Комментарии 0