Сегментируем 600 миллионов пользователей в режиме реального времени каждый день

[time2rfc]

Спасибо огромное за интересную статью! Я правильно понял что часть данных это кликстрим от ваших партнеров ?

[onexdrk]

Да, все верно. Выгрузки партнеров также могут быть как потоковые (прямая поставка в Kafka через различные интеграции) так и периодические выгрузки в виде файлов, эти файлы по приходу так же загружались в Kafka

[grinCo]

Кафка справлялась с батч апдейтами?

[grinCo]

Уточнее к предыдущему вопросу.
Сколько меседжей один файл для апдейта мог сгенерировать в среднем, максимум?

[onexdrk]

Под batch update вы имеете ввиду случай когда партнер выгружает большой файл и нам его нужно прокачать? Если так то да, но к слову таких партнеров было не много, с большинством удалось договориться на поставку данных в реальном времени.
По цифрам, график на первом слайде вполне реальный :) Там в пике порядка 100 тыс/сек, если брать среднесуточное среднее то порядка 60 тыс/сек

[fuCtor]

А вот от этого habr.com/company/dca/blog/260845 отказались получается? Или это параллельные вещи?

[onexdrk]

Изначально мы разрабатывали описанное в статье решение параллельно со «старым» realtime модулем. Когда новый сегментатор заработал на 100% трафика мы смогли отказаться от решения на Akka. Основное бизнес преимущество новой схемы по сравнению со старой в том, что тут мы каждый раз анализируем все данные пользователя, в старой же схеме в реальном времени анализировалась лишь пользовательская текущая активная сессия, чего не всегда хватало

[time2rfc]

Если не секрет, отчего не реализовали новое решение на Akka — ограничение фреймворка или экспертизы? Если вдруг были попытки пера на akka и уперлись во что-то, буду благодарен за чужие грабли.

[onexdrk]

В целом можно было сделать и на Akka, использовать свою реализацию Akka persistence с хранением / чтением состояния в HBase (тут стоило бы оценить сколько оперативной памяти потребуется на хранение всей истории визитов всех активных пользователей).

Мы все же решили отказаться от Akka в пользу простоты и прозрачности решения (тут как раз не хватало экспертизы с Akka, например тогда Akka была еще версии 2.3 и там было довольно много проблем с Akka cluster, например)

[time2rfc]

Спасибо! У вас очень получилась интересная статья, надеюсь не последняя.

[stratosmi]

экспертизы

По русски это называется «опыт» или «компетенция».

Экспертиза в русском — это другое. Это «исследование с целью оценки». Например, криминологическая экспертиза.

Но если бы вы писали по-английски, то было бы все правильно.

[time2rfc]

Спасибо огромное, что помогаете мне становиться лучше.