Комментарии 12
Очень хороший пример но меня интересует вопрос того, как Табло подружили с Кликхаусом?
Не скажу, что это было просто, но вполне выполнимо. Если по пунктам:
1) Установка ODBC-драйвера для Tableau Desktop и Tableau Server (Linux). Ставил тот, что лежит в репозитории Clickhouse. Набил шишек, но в итоге справился. Все описал в Confluence и теперь настройка всего окружения происходит быстро и без боли. В июле вот Altinity еще выкатили свою версию коннектора: https://docs.altinity.com/integrations/clickhouse-and-tableau/tableau-desktop-with-clickhouse/. Ее мы не тестили, тк хватает того, что есть + переезжаем на HDFS.
2) Live connection или Extract. Выбрал второе. Почему? У Tableau сложности с использованием Clickhouse на live connection: часто возникают ошибки, связанные с разным типом данных во время выполнения join операций. Костыльно решаемо, но ради чего? Сервер нагружаем не мы одни. В extract грузим агрегаты для повышения производительности дашбордов. Создаются extract без проблем. И получается, что выбор был в пользу контроля над нагрузкой и надежностью.
Если понадобится рассказать подробнее, то дайте знать. Распишу в лс =)
Спасибо, хорошая статья. Имеем такой же стек (кликхаус в виде DWH, Airflow, только в конце используем PBI). Почему думаете в сторону HDFS и какую роль в архитектуре тогда видите для кликхауса? Только витрины для сложной аналитики?
Хочется продолжения)
Причин было несколько:
1) Переезд в облака. Там проще масштабироваться. Гибкие возможности для оптимизации мощности и стоимости за счет кол-ва работающих одновременно нод.
2) Драйвер Presto лучше взаимодействует с Tableau чем драйвер Clickhouse. На live connection и extract не встретили ошибок, которые произошли не по нашей вине. Тут получаем надежность.
3) Нашей команде дата-инженеров такое решение удобнее в работе и в этих технологиях у них опыта больше чем с тем же Clickhouse.
От Clickhouse хотим уйти совсем. При этом есть еще одна идея, которую очень хочется протестировать. И тут я бы взял паузу и рассказал уже про нее после проведения тестов =)
Все хорошо с табло, кроме цены. Сколько у вас в итоге стоит решение целиком(ресурсы +лицензии) и какой объём?
Я разделю ответ на два пункта:
1) Коммунальные ресурсы, то есть, которые мы делим с другими командами (тот же сервер, сначала, и далее кластер) - тут я не отвечу сходу. Мы эти ресурсы делили и делим с другими командами. Сейчас при переезде в облака уживаться стало комфортно и просто. Думаю, что к следующей статье я накоплю аналитику по этому вопросу и дам более точный ответ.
2) Лицензии. Вот тут у меня больше деталей. Их может быть несколько типов https://www.tableau.com/pricing/teams-orgs (там же цены). Для старта мы взяли 100 viewers, 9 creators, 6 explorers. По опыту скажу, что лучше их покупать у дистрибьютеров, так как возможны более конкурентные условия. Важно понимать, кому из пользователей какой тип лицензии нужен. От этого тоже будет хорошая экономия. Этим летом мы достигли лимита по лицензиям и докупили еще. Помимо растущего кол-ва viewers со стартом программы обучения нам потребуется больше creators и explorers.
А сколько занял процесс перехода по времени и по деньгам?
Хороший вопрос)
Тут я разделю на несколько этапов:
1) с марта 2020 по август 2020 - период cusdev, демонстраций, первичного обучения и создания первых дашбордов. Здесь был, на мой взгляд, самый важный этап в получении доверия со стороны пользователей.
2) сентябрь 2020 - декабрь 2020 - создание новых и ключевых дашбордов для бизнеса и продуктовой команды, по всем направлениям бизнеса и продуктовым вертикалям
3) январь 2021 - по настоящее время - период активного роста по кол-ву пользователей, запросов, начало процесса распределения BI-инженеров по командам
Закончился ли для меня этот процесс перехода полностью? Нет =) Почему? Потому что, на мой взгляд, он будет завершен окончательно после того, как мы полностью откажемся от Grafana.
По стоимости посмотрите, пожалуйста, мой ответ на комментарии выше.
Интересно, а платить за "100 viewers, 9 creators, 6 explorers" с какого этапа стали? Это в районе 2000 долларов в месяц, не такая уж маленькая сумма. Обычно руководство сложно убедить отдавать деньги, когда уже есть работающее бесплатное решение, пусть и не такое хорошее (Grafana). Все-таки задачи решаются, зачем что-то платить. Или было понимание, что с графаной трудно?
Тут исходили из следующего:
1) Функционал Tableau как bi-инструмента шире чем у Grafana. Грубо говоря Tableau лучше ответит на вопрос "почему?"
2) Развитие self-service аналитики. Tableau как инструмент для self-service проще в освоении чем Grafana. При этом не забываем про наличие большего функционала.
3) Скорость разработки. В Tableau многие вещи можно построить при помощи drag-and-drop. В Grafana построение дашборда сложнее для бизнес-пользователя и занимает дольше времени.
4) Эффективность для бизнеса и продукта. Тут исходили из их потребностей, собрав которое было ясно, что нужен полноценный bi-инструмент
Начала читать статью и уже приготовилась писать вопрос, почему Tableau? Лично в работе сталкивалась только с Power BI, его вполне пока хватало.
Я считаю, что, в первую очередь, при выборе инструмента необходимо исходить из поставленной задачи. Далее идет личный опыт и экспертиза, особенности архитектуры, размер бюджета и прочее. Положительного опыта работы с Tableau у меня больше всего. И экспертизы в нем тоже. Есть понимание, что он справится с поставленной задачей. Это решение, которому я доверяю. В котором уверен.
При этом еще раз хочу отметить, что Tableau - это один из лидеров рынка. Ровно таким же фаворитом считается и Power BI. Это важно, что выбранный вами инструмент справляется с поставленными задачами! Значит, на мой взгляд, для вашего сценария ваш выбор верный =)
Как мы внедрили BI-платформу и начали развивать self-service аналитику