Как стать автором
Обновить
108.34
Рейтинг
AvitoTech
У нас живут ваши объявления

Материалы с митапа по Кафке: СDC коннекторы, проблемы роста, Kubernetes

Блог компании AvitoTech Хранение данных *Хранилища данных *Конференции Kubernetes *

Привет! Недавно в нашем офисе прошёл митап по Кафке. Очные места на него разлетелись со скоростью света. Как сказал один из спикеров: «Кафка секси».


С коллегами из Booking.com, Confluent, и Авито мы обсуждали подчас нелёкую интеграцию и поддержку Кафки, последствия её скрещивания с Kubernetes, а также известные и собственноручно написанные коннекторы для PostgreSQL


Мы смонтировали видео докладов, собрали со спикеров презентации и отобрали красивые фотографии с митапа. Если вам интересно посмотреть и послушать — заходите под кат.



Видеозаписи докладов


Коннекторы: зачем вас так много — Анатолий Солдатов, Авито


Анатолий рассказал, что такое коннекторы, какие преимущества и недостатки есть у JDBC и Debezium, и как мы в Авито пришли к идее написания своего CDC коннектора.



00:00 — Представление спикера
04:09 — Что такое Kafka Connect, какие коннекторы существуют
18:10 — Для чего обычно используется Connect
23:47 — Первый кейс Авито: data-bus
28:20 — Второй кейс Авито: как мы сделали свой CDC коннектор
41:28 — Ответы на вопросы слушателей


Презентация Анатолия

Как приручить Apache Kafka? Опыт Booking.com — Александр Миронов, Booking.com


Александр поделился историями о ком, какие сложности возникли у его команды при работе с Кафкой, и как их решили.



00:00 — Представление спикера
06:22 — Какие проблемы появились при росте количества юзкейсов использования Кафки
08:58 — Создание абстракций для пользователей
14:15 — Аутентификация и секьюрити кластеров
23:53 — Сontrol plane, который всё связывает
27:41 — Забавные и не очень истории из практики
34:00 — Ответы на вопросы слушателей


Презентация Александра

Kafka на Kubernetes: а по Хуану ли сомбреро? — Виктор Гамов, Confluent


Виктор ответил на вопрос о том, стоит ли запускать Apache Kafka и обрабатывающие потоки приложения на Kubernetes.



00:00 — Представление спикера
05:19 — Проблемы запуска stateful-приложений на Kubernates
17:52 — Kubernetes pod
22:33 — Работа с хранилищем
28:24 — Custom Kubernetes controllers
48:58 — Rolling upgrade
58:05 — Ответы на вопросы слушателей


Презентация Виктора

Плейлист со всеми видео можно найти на нашем ютуб-канале.


Фотографии


Фотографии с митапа мы выложили в Фейсбуке и ВКонтакте. Посмотрите, как всё прошло, и отмечайте себя и друзей, если были на встрече.



Скоро вернемся с анонсами новых мероприятий в московском офисе Авито. До новых встреч!

Теги:
Хабы:
Всего голосов 16: ↑16 и ↓0 +16
Просмотры 5.8K
Комментарии 12
Комментарии Комментарии 12

Публикации

Информация

Сайт
avito.tech
Дата регистрации
Дата основания
2007
Численность
1 001–5 000 человек
Местоположение
Россия