Comments 12
Спасибо огромное за интересную статью! Я правильно понял что часть данных это кликстрим от ваших партнеров ?
Сколько меседжей один файл для апдейта мог сгенерировать в среднем, максимум?
Под batch update вы имеете ввиду случай когда партнер выгружает большой файл и нам его нужно прокачать? Если так то да, но к слову таких партнеров было не много, с большинством удалось договориться на поставку данных в реальном времени.
По цифрам, график на первом слайде вполне реальный :) Там в пике порядка 100 тыс/сек, если брать среднесуточное среднее то порядка 60 тыс/сек
Если не секрет, отчего не реализовали новое решение на Akka — ограничение фреймворка или экспертизы? Если вдруг были попытки пера на akka и уперлись во что-то, буду благодарен за чужие грабли.
В целом можно было сделать и на Akka, использовать свою реализацию Akka persistence с хранением / чтением состояния в HBase (тут стоило бы оценить сколько оперативной памяти потребуется на хранение всей истории визитов всех активных пользователей).
Мы все же решили отказаться от Akka в пользу простоты и прозрачности решения (тут как раз не хватало экспертизы с Akka, например тогда Akka была еще версии 2.3 и там было довольно много проблем с Akka cluster, например)
экспертизы
По русски это называется «опыт» или «компетенция».
Экспертиза в русском — это другое. Это «исследование с целью оценки». Например, криминологическая экспертиза.
Но если бы вы писали по-английски, то было бы все правильно.
Сегментируем 600 миллионов пользователей в режиме реального времени каждый день