Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Доступны бесплатные уроки видеокурса по Apache Kafka

Блог компании Southbridge Высокая производительность *Системное администрирование *IT-инфраструктура *Apache *


Мы открыли доступ к базовым темам курса по Apache Kafka.


В программе две теоретические темы «Введение» и «Базовые основы технологии» и практическая тема «Установка Kafka». В ней поработаем с технологией руками:


  1. Развернём Kafka в самом простом её варианте — с одним брокером и одной нодой ZooKeeper.
  2. Запишем и прочитаем сообщения, посмотрим в конфиги и увидим, как данные хранятся на диске.
Читать дальше →
Всего голосов 18: ↑15 и ↓3 +12
Просмотры 7.3K
Комментарии 2

Продвинутый курс по Apache Kafka: 11 апреля старт группы с куратором

Блог компании Southbridge Высокая производительность *Системное администрирование *IT-инфраструктура *Apache *


Начать освоение Apache Kafka на продвинутом уровне можно будет самостоятельно 7 апреля, а при желании учиться в группе – 11 апреля. Программа рассчитана на системных администраторов, DBA и архитекторов, работающих в проекте с системами передачи сообщений.

Вы научитесь работать с Apache Kafka в реальном времени. Узнаете, как грамотно настраивать распределённый отказоустойчивый кластер, отслеживать метрики и равномерно распределять нагрузку.
Читать дальше →
Всего голосов 10: ↑8 и ↓2 +6
Просмотры 1.4K
Комментарии 0

I am Groot. Делаем свою аналитику на событиях

Блог компании Онлайн-кинотеатр IVI Высокая производительность *Разработка веб-сайтов *


Весной этого года я узнал о возможности базы данных HP Vertica создавать запросы с матчингом паттернов событий. Так называемый Events Pattern Matching хорошо ложился под задачу анализировать поведение пользователей в продуктах ivi.ru. Мы решили попробовать разобраться с воронками оплаты, с поиском проблемных мест на устройствах, глубже погрузиться в анализ трафика. Нашей команде очень нравится, как реализована аналитика у Mixpanel и Localytics (она как раз основана на событиях и их свойствах), поэтому многие идеи были позаимствованы у них.
Читать дальше →
Всего голосов 38: ↑31 и ↓7 +24
Просмотры 31K
Комментарии 48

Рекомендации на потоке

Блог компании E-Contenta Алгоритмы *Big Data *
Всем привет!

Сегодня мы расскажем о том, как с помощью потоковой обработки данных можно увеличить качество рекомендаций и снизить время отклика всей рекомендательной системы в 5 раз. Речь пойдет об одном из наших клиентов – сервисе потокового видео Rutube.


Читать дальше →
Всего голосов 18: ↑17 и ↓1 +16
Просмотры 12K
Комментарии 12

Семантика exactly-once в Apache Kafka

Блог компании Badoo Высокая производительность *Мессенджеры *Программирование *Разработка систем связи *
Перевод


Всем привет! Меня зовут Юрий Лилеков, я работаю в Server Team Badoo. На днях мне попалась довольно интересная статья о новой семантике exactly-once в Apache Kafka, которую я с радостью для вас перевёл.

Читать дальше →
Всего голосов 25: ↑25 и ↓0 +25
Просмотры 32K
Комментарии 7

Интеграция Apache CloudStack со сторонними системами. Подписка на события с помощью Apache Kafka

Системное администрирование *Виртуализация *Облачные вычисления *Серверное администрирование *DevOps *


В данной статье рассматривается подход к интеграции Apache CloudStack (ACS) со сторонними системами посредством экспорта событий в брокер очередей сообщений Apache Kafka.


В современном мире полноценное оказание услуг без интеграции продуктов практически невозможно. В случае сетевых и облачных сервисов, важной является интеграция с биллинговыми системами, системами мониторинга доступности, службами клиентского сервиса и прочими инфраструктурными и бизнес-ориентирванными компонентами.

Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Просмотры 4.4K
Комментарии 2

Создаем микросервисную архитектуру вместе с Apache Kafka и .NET Core 2.0

.NET *C# *
Из песочницы

Доброго времени суток! Apache Kafka – очень быстрый распределенный брокер сообщений, и сегодня я расскажу как его “готовить” и реализовать с его помощью простую микросервисную архитектуру из консольных приложений. Итак, всем, кто хочет познакомиться с Apache Kafka и опробовать ее в деле, добро пожаловать под кат.
Читать дальше →
Всего голосов 18: ↑16 и ↓2 +14
Просмотры 60K
Комментарии 28

Apache Kafka и миллионы сообщений в секунду

Блог компании TINKOFF Мессенджеры *Apache *

Мы в компании любим и уважаем Apache Kafka, и в ознаменование выхода ее недавнего обновления я решил подготовить статью про ее производительность. А еще рассказать немного про то, как выжать из нее максимум.
Читать дальше →
Всего голосов 43: ↑38 и ↓5 +33
Просмотры 73K
Комментарии 24

Строим распредёленное реактивное приложение и решаем задачи согласованности

Блог компании 2ГИС Высокая производительность *Анализ и проектирование систем *.NET *Распределённые системы *


Сегодня многие компании, начиная новый проект или улучшая существующие системы, задаются вопросом, какой вариант разработки более оправдан — воспользоваться «классическим» трехслойным подходом или же спроектировать систему как набор слабосвязанных компонентов?


В первом кейсе мы можем оптимально использовать весь накопленный опыт и существующую инфраструктуру, но придется терпеть долгие циклы планирований и релизов, сложности в тестировании и в обеспечении бесперебойной работы. Во втором же случае появляются риски в управлении инфраструктурой и самим распределенным приложением.


В этой статье я расскажу, как и почему мы в 2ГИС выбрали второй вариант для построения новой системы, как решали возникающие задачи и какие выгоды от этого получили. Под катом — про Amazon S3, Apache Kafka, Reactive Extensions (Rx), eventual consistency и GitHub, сжатые сроки и невозможность собрать команду необходимого размера из инженеров, использующих один стек технологий.

Интересно? Тогда вперед!
Всего голосов 34: ↑34 и ↓0 +34
Просмотры 11K
Комментарии 6

[Екатеринбург, анонс] java.ural.Meetup @2 — анонс второго Java-митапа + видео докладов с java.ural.Meetup @1

Блог компании Контур Программирование *Java *.NET *Конференции
В первый день зимы, 1 декабря, приглашаем принять участие во второй встрече java.ural.Meetup, которая пройдёт в конференц-зале в новом офисе Контура по адресу ул. Малопрудная, 5. Начало в 14:00.

Бонусом публикуем записи докладов со встречи java.ural.Meetup @1, прошедшей 15 марта в Екатеринбурге.

Что за java.ural.Meetup?


В начале года среди разработчиков Екатеринбурга разошёлся опрос «А нужны ли новые Java-движухи?». Была собрана положительная обратная связь — так мы решили, что митапам быть. Спустя почти два месяца был анонсирован митап. Ещё через две недели первая встреча java.ural.Meetup собрала более 60 разработчиков из Екатеринбурга. На встрече разработчики из Контура рассказали о своих актуальных задачах.

Под катом анонс второй встречи и видео докладов с первого митапа.
Читать дальше →
Всего голосов 12: ↑12 и ↓0 +12
Просмотры 1.9K
Комментарии 9

О стримах и таблицах в Kafka и Stream Processing, часть 1

Блог компании Контур Программирование *Java *Scala *Big Data *
Перевод
* Michael G. Noll — активный контрибьютор в Open Source проекты, в том числе в Apache Kafka и Apache Storm.

Статья будет полезна в первую очередь тем, кто только знакомится с Apache Kafka и/или потоковой обработкой [Stream Processing].


В этой статье, возможно, в первой из мини-серии, я хочу объяснить концепции Стримов [Streams] и Таблиц [Tables] в потоковой обработке и, в частности, в Apache Kafka. Надеюсь, у вас появится лучшее теоретическое представление и идеи, которые помогут вам решать ваши текущие и будущие задачи лучше и/или быстрее.

Содержание:

* Мотивация
* Стримы и Таблицы простым языком
* Иллюстрированные примеры
* Стримы и Таблицы в Kafka простым языком
* Пристальный взгляд на Kafka Streams, KSQL и аналоги в Scala
* Таблицы стоят на плечах гигантов (на стримах)
* Turning the Database Inside-Out
* Заключение
Читать дальше →
Всего голосов 19: ↑19 и ↓0 +19
Просмотры 44K
Комментарии 4

Apache Kafka – мой конспект

Мессенджеры *Java *
Это мой конспект, в котором коротко и по сути затрону такие понятия Kafka как:

— Тема (Topic)
— Подписчики (consumer)
— Издатель (producer)
— Группа (group), раздел (partition)
— Потоки (streams)

Kafka — основное


При изучении Kafka возникали вопросы, ответы на которые мне приходилось эксперементально получать на примерах, вот это и изложено в этом конспекте. Как стартовать и с чего начать я дам одну из ссылок ниже в материалах.

Apache Kafka – диспетчер сообщений на Java платформе. В Kafka есть тема сообщения в которую издатели пишут сообщения и есть подписчики в темах, которые читают эти сообщения, все сообщения в процессе диспетчеризации пишутся на диск и не зависит от потребителей.
Читать дальше →
Всего голосов 16: ↑15 и ↓1 +14
Просмотры 271K
Комментарии 10

Исследуем пределы пропускной способности Kafka в инфраструктуре Dropbox

Блог компании ITSumma Высокая производительность *Apache *Тестирование веб-сервисов *Облачные сервисы
Перевод


Широкое использование технологий Apache-стека — очевидный тренд. И Kafka на острие популярности: нынче людей, знающих такой брокер сообщений, пожалуй, превосходит количество тех, кто привык рядом со словом Кафка видеть слово Франц.

Мы и сами активно используем эту технологию в наших проектах. Но ведь всегда интересно, а как оно получается у других? И вдвойне интересно, если это не просто пример из чьей-то практики, а целенаправленное тестирование технологии. Поэтому мы перевели свежую статью, в которой рассказывается о том, как Dropbox опытным путём искал границы возможностей и лимиты выносливости у Kafka. И нашёл что хотел.
Читать дальше →
Всего голосов 36: ↑36 и ↓0 +36
Просмотры 6.4K
Комментарии 4

Картографирование шума с помощью KSQL, Raspberry Pi и радиоприёмника

Блог компании ITSumma Алгоритмы *Apache *Геоинформационные сервисы *Разработка на Raspberry Pi *
Перевод


На первый взгляд, в этой истории есть всё, чтобы заслужить статус романтичного поста накануне 8 марта: самолёты, любовь, чуточка шпионажа и, наконец, котик (точнее, кошка). Трудно представить, что всё это имеет самое непосредственное отношение к Kafka, KSQL и эксперименту «как в домашних условиях с помощью информационных технологий найти самый шумный самолёт». Трудно, но придётся: именно такой эксперимент провёл Саймон Обьюри, а мы перевели статью его авторства с описанием всех подробностей процесса.
Читать дальше →
Всего голосов 44: ↑43 и ↓1 +42
Просмотры 8.5K
Комментарии 9

Серверные системы аналитики

Блог компании Adapty Хранение данных *Монетизация веб-сервисов *Монетизация мобильных приложений *Аналитика мобильных приложений *
Это вторая часть цикла статей об аналитических системах (ссылка на часть 1).

image

Сегодня уже не вызывает сомнений, что аккуратная обработка данных и интерпретация результатов могут помочь практически любому виду бизнеса. В связи с этим аналитические системы становятся все более нагруженными параметрами, растет количество триггеров и пользовательских ивентов в приложениях.

Из-за этого компании отдают своим аналитикам все больше и больше «сырой» информации для анализа и превращения ее в правильные решения. Важность системы аналитики для компании не должна быть недооцененной, а сама система должна быть надежной и устойчивой.
Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 3.8K
Комментарии 0

Как IT-компания книжное издательство открывала — и выпустила книгу про Kafka

Блог компании ITSumma Apache *Профессиональная литература DIY или Сделай сам IT-компании


В последнее время некоторым начинает казаться, будто такой «консервативный» источник информации как книга начинает сдавать позиции и теряет актуальность. А зря: несмотря на то, что мы уже живём в эпоху цифровую и вообще работаем в IT, книжки мы любим и уважаем. Особенно такие, которые не просто учебник по конкретной технологии, а реальный источник общего знания. Особенно такие, которые не потеряют актуальность полгода спустя. Особенно такие, которые написаны хорошим языком, грамотно переведены и красиво оформлены.
И знаете, что оказалось? Таких книг нет.

Либо — либо — либо. А вот этой прекрасной книги, в которой сочетается всё, что думающий и практикующий специалист ценит, — её нет.

Поэтому мы решили, что она должна быть. И не одна — таких книг должно быть много. Решили — и открыли собственное издательство ITSumma Press: возможно, первое издательство в России, созданное IT-компанией.

Было потрачено много сил, времени и порядком денег. Но вот за день до конференции Uptime day 4 мы получили пилотный тираж и подержали первую изданную нами книгу в руках (весь тираж подарили участникам конференции в итоге). Невероятное ощущение! Никогда заранее не знаешь, куда в итоге может тебя привести твоя тяга к прекрасному. Первая книга, по понятным причинам, была своеобразным пробным шаром. Нам нужно было самим прощупать весь процесс книгоиздательства, понять, что мы можем привнести сразу, а над чем нужно будет подумать ещё. И по итогу мы остались очень довольны результатом. Это важное дело, которое мы хотим продолжать и развивать. А в этом тексте хочу просто рассказать, с чего всё начиналось, как мы спорили про название, как заключили договор с, ни много, ни мало, самими O’Reilly и сколько редактур надо провести, прежде чем отдать текст в прод в типографию.
Читать дальше →
Всего голосов 40: ↑38 и ↓2 +36
Просмотры 7.5K
Комментарии 12

А мишка-то, похоже, высоконагруженный

Блог компании Конференции Олега Бунина (Онтико) Высокая производительность *Разработка веб-сайтов *Программирование *Конференции
В конце июня Новосибирск второй раз принимал HighLoad++. Если в прошлом году эффект новинки сыграл свою немалую роль в том, что все всем были довольны, то в этот раз нам нужно было подготовиться гораздо тщательнее, чтобы сохранить и превзойти впечатление. В первую очередь с утроенной силой мы взялись за главное — программу. Теперь, когда выступления состоялись и даже уже выборочно пересмотрены по второму кругу, собраны и обработаны отзывы участников конференции, можно уверенно заявить, что удалась она на славу. 

Основу HighLoad++ Siberia составили 38 отличных докладов, полных опыта и глубочайшей экспертизы. Международные гиганты и региональные компании — все делились опытом работы с задачами, для решения которых стандартных средств просто не существует. А особенной конференцию сделали люди. Мы честно пытались понять, в чем дело, и как сделать настолько же душевные мероприятия в других местах, но нет — за непередаваемой дружественной атмосферой придется снова ехать в Сибирь, и мы только за. К тому же мы уже думаем над новинками.



Медведя привезли с собой, ни один представитель местной фауны не пострадал.
Всего голосов 38: ↑37 и ↓1 +36
Просмотры 6.8K
Комментарии 5

Любим читать ушами? Мысли о будущем ITSumma Press

Блог компании ITSumma Профессиональная литература Конференции DIY или Сделай сам Звук


Привет, Хабр!

Давненько мы не выбирались из своего издательского подвала и не общались с вами про наболевшее, да? Пора исправляться! И для начала хотим поделиться последними новостями о том, что происходило в жизни нашей книгопечатной.

Самое значительное из недавнего — это конференция Highload++, проходившая в Сколково. Там мы, в партнёрстве с «Онтико» @oleg-bunin и Олегом Буниным сделали подарок всем участникам: помимо привычных блокнотов, брошюр-каталогов, ручек и визиток, посетители получали нашу первую книгу — «Проектирование событийно-ориентированных систем».
Читать дальше →
Всего голосов 30: ↑30 и ↓0 +30
Просмотры 3.7K
Комментарии 6

Spring Boot приложение с использованием Kafka Streams

Блог компании МегаФон Java *Apache *Big Data *
Tutorial
Привет, Хабр! В этой статье мы рассмотрим, как в МегаФоне производят потоковую обработку данных, и разработаем простое Spring Boot приложение с использованием Kafka Streams.

Читать дальше →
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 7.8K
Комментарии 5

Шлюзы Java/.Net в интеграционных решениях на InterSystems IRIS

Блог компании InterSystems Мессенджеры *Java *.NET *
Перевод

Шлюзы в InterSystems IRIS это механизм взаимодействия между ядром InterSystems IRIS и прикладным кодом на языках Java/.Net. С помощью шлюзов вы можете работать как с объектами Java/.NET из ObjectScript так и с объектами ObjectScript и глобалами из Java/.NET. Шлюзы могут быть запущены где угодно - локально, на удаленном сервере, в докере.

В этой статье я покажу, как можно легко разработать и контейнеризовать интеграционную продукцию с .Net/Java кодом. А для взаимодействия с кодом на языках Java/.Net будем использовать PEX, предоставляющий возможность реализовать любой элемент интеграционной продукции на языках Java/.Net.

Для нашего примера мы разработаем интеграцию с Apache Kafka.

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Просмотры 851
Комментарии 0