Смотрите, тут вот о чем речь. Несколько лет назад было только две опции, либо обычная база, например, Postgres, либо большие данные и Hadoop. Сейчас у быстрорастущего стартапа есть опция использовать облачное аналитическое хранилище типа BigQuery или Redshift, куда класть довольно много данных, но обойтись без дата-инженера в течение довольно большого времени.
Мы как раз ищем дата-инженера, написал об этом в конце. А тезис статьи в том, что без него можно обойтись до поры до времени, аналитики сами могут все настроить, а дата-инженер потом просто поможет оптимизировать и ускорить их работу.
В начале статьи сказано, что она не про то, какие метрики как отслеживать — про это уже вагон и маленькая тележка статей написаны, — а про то, как масштабировать аналитику, когда стартап растёт.
Ну и пока ваш стартап маленький, вам дейстивтельно всё равно, что туда прикрутить, лишь бы это не отжирало ваши деньги и время, это как раз и объясняется в главах про первые две стадии стартапа.
Но потом в какой-то момент вам придётся нанимать много аналитиков и строить систему для их совместной работы. Тут как раз и начинаются проблемы и можно сильно огрести, если сделать неправильный выбор.
Поскольку это перевод, то я стремился сохранить все детали исходного текста. Столкнулся с тем, что если вставить эмодзи как есть, то они просто не отображаются на Хабре. Пришлось вставлять их картинками и я забыл проставить высоту, получились слишком большими. Сейчас исправил, надеюсь, теперь не так раздражают.
Действительно никаких ограничений на использование API нет, кроме общечеловеческих, типа не ронять наши сервера. Мы предоставляем API как есть без каких-либо гарантий. Ну и вы сами несете ответственность за соблюдение законов и авторских прав при его использовании.
Передо мной стояла задача выбрать такое хранилище данных, в которое можно было бы загружать события с мобильных устройств и реплицировать данные из других баз, а потом делать на нем аналитические отчёты в облаке, и всё это на готовых сервисах, без программирования.
Насколько мне известно, для ClickHouse просто не существует таких сервисов, есть только API. По крайней мере, ни один из приведённых в статье сервисов с ClickHouse не работает, поэтому я и не рассматривал её всерьёз, только упомянул вскользь.
Если вы знаете такие сервисы, буду благодарен за информацию о них.
Да много чего делают. Я занимаюсь продуктовой аналитикой. Мой коллега сейчас делает модель прогноза оттока клиентов Отдел статистики делает отчёты для операционного отдела,
У нас сейчас 5 человек, которые пишут отчеты, около 30 менеджеров, которые имеют доступ ко всем отчетам и активно пользуются ими в Redash, и еще много рядовых сотрудников, которым выдан доступ только к конкретным отчетам.
Мобильного приложения у Redash нету, но просматривать отчеты с телефона вполне реально, там адаптивная верстка.
Подозреваю, что это у вас цена для старых пользователей.
Мне ответили так:
«Прайс ззависит от количества одновременно хранимых событий в базе быстрого доступа. Тут, правда, очень сложно судить о активности в ваших мобильных приложениях, не знаком с ними, но я думаю, что вам стоит ориентироваться на 25М — 50М — 100М. Это, соответственно, €2200 / 3400 / 4700 в месяц.»
Amazon Kinesis Firehose предназначен для стриминга данных с сервера, а у нас стояла задача собирать события из самых разных сервисов, в том числе мобильных приложений, которые работают в офлайн-режиме. Firehose сам по себе эту задачу не решает. Можно было бы написать свое решение для сбора и хранения событий на мобильном устройстве и отправки их на сервер при подключении к интернету, решить кучу побочных проблем, вроде правильного расчёта времени события, но зачем это делать, если есть недорогие готовые решения?
А так, да, Snowflake одна из отличных опций.
Мы как раз ищем дата-инженера, написал об этом в конце. А тезис статьи в том, что без него можно обойтись до поры до времени, аналитики сами могут все настроить, а дата-инженер потом просто поможет оптимизировать и ускорить их работу.
А на графике доля запросов, содержащих семь и более слов колеблется в диапазоне между 1 и 2 процентами.
Ну и пока ваш стартап маленький, вам дейстивтельно всё равно, что туда прикрутить, лишь бы это не отжирало ваши деньги и время, это как раз и объясняется в главах про первые две стадии стартапа.
Но потом в какой-то момент вам придётся нанимать много аналитиков и строить систему для их совместной работы. Тут как раз и начинаются проблемы и можно сильно огрести, если сделать неправильный выбор.
бюрократия 80-го левела
У нас в словаре нет синонимов, к сожалению, поэтому в API их пока не планируется.
Насколько мне известно, для ClickHouse просто не существует таких сервисов, есть только API. По крайней мере, ни один из приведённых в статье сервисов с ClickHouse не работает, поэтому я и не рассматривал её всерьёз, только упомянул вскользь.
Если вы знаете такие сервисы, буду благодарен за информацию о них.
Да много чего делают. Я занимаюсь продуктовой аналитикой. Мой коллега сейчас делает модель прогноза оттока клиентов Отдел статистики делает отчёты для операционного отдела,
Мобильного приложения у Redash нету, но просматривать отчеты с телефона вполне реально, там адаптивная верстка.
Мне ответили так:
«Прайс ззависит от количества одновременно хранимых событий в базе быстрого доступа. Тут, правда, очень сложно судить о активности в ваших мобильных приложениях, не знаком с ними, но я думаю, что вам стоит ориентироваться на 25М — 50М — 100М. Это, соответственно, €2200 / 3400 / 4700 в месяц.»