Как стать автором
Обновить

Как мы построили облачную инфраструктуру обработки данных для кросс-продуктовой аналитики

Время на прочтение 10 мин
Количество просмотров 19K
Всего голосов 13: ↑12 и ↓1 +11
Комментарии 13

Комментарии 13

На параграфе «Какой выбрать сервис сбора событий?» я умер весь. Где Amazon Kinesis Firehose??? Если выбран Amazon Redshift, то для сбора событий ничего более естественного, чем Amazon Kinesis Firehose — придумать невозможно.
Amazon Kinesis Firehose предназначен для стриминга данных с сервера, а у нас стояла задача собирать события из самых разных сервисов, в том числе мобильных приложений, которые работают в офлайн-режиме. Firehose сам по себе эту задачу не решает. Можно было бы написать свое решение для сбора и хранения событий на мобильном устройстве и отправки их на сервер при подключении к интернету, решить кучу побочных проблем, вроде правильного расчёта времени события, но зачем это делать, если есть недорогие готовые решения?
Exponea же. В связке с GBQ, используемой для долгосрочного хранения — и аналитика и персонализация и маркетинговые коммуникации, кроссканально. Зато будет база in-memory, терабайты за секунды без семплинга.
Спасибо, не знал про такой сервис. Подозреваю, что он обойдется дороже $12K в год. Запросил у них цены, отпишусь по результатам.
Ну, у нас прайс за 570 евро в месяц, хотя мы небольшие. Но зато это фул-стек а не отдельные тулзы.
Подозреваю, что это у вас цена для старых пользователей.
Мне ответили так:
«Прайс ззависит от количества одновременно хранимых событий в базе быстрого доступа. Тут, правда, очень сложно судить о активности в ваших мобильных приложениях, не знаком с ними, но я думаю, что вам стоит ориентироваться на 25М — 50М — 100М. Это, соответственно, €2200 / 3400 / 4700 в месяц.»
Уже два года почти, да. У нас меньше тариф. Но вы по сравнению с нами побольше будете.
Глеб, а сколько потребителей?
Сколько людей строит отчетность?
Работает только в вебе или есть мобильные приложения?
У нас сейчас 5 человек, которые пишут отчеты, около 30 менеджеров, которые имеют доступ ко всем отчетам и активно пользуются ими в Redash, и еще много рядовых сотрудников, которым выдан доступ только к конкретным отчетам.
Мобильного приложения у Redash нету, но просматривать отчеты с телефона вполне реально, там адаптивная верстка.
Слушайте, а зачем пять человек? Что они все делают?

Да много чего делают. Я занимаюсь продуктовой аналитикой. Мой коллега сейчас делает модель прогноза оттока клиентов Отдел статистики делает отчёты для операционного отдела,

А почему даже не попробовали Clickhouse?
Clickhouse пока (!) мало распространен, но очень быстр, по скорости транзакций не уступает Vertica а местами отрабатывает быстрее.
Передо мной стояла задача выбрать такое хранилище данных, в которое можно было бы загружать события с мобильных устройств и реплицировать данные из других баз, а потом делать на нем аналитические отчёты в облаке, и всё это на готовых сервисах, без программирования.
Насколько мне известно, для ClickHouse просто не существует таких сервисов, есть только API. По крайней мере, ни один из приведённых в статье сервисов с ClickHouse не работает, поэтому я и не рассматривал её всерьёз, только упомянул вскользь.
Если вы знаете такие сервисы, буду благодарен за информацию о них.
Зарегистрируйтесь на Хабре , чтобы оставить комментарий