Привет, вспомнил креды от ака что бы написать ответ.
Мы в компании развернули Airbyte который льет в Clickhouse подключенный к Metabase. До этого пользовались Metabase подключенным к главной Постгрес БД и были счастливы. Но захотели все в одном ДатаВарехус.
С чем столкнулись - Метабейс не режет JSON который лежит в столбце Clickhouse на отдельные столбцы, в отличие от Постгрес БД.
В Аербайт же Т (трансформ) - платная фича. Очень дорогая. У них он Мапинг называется. Т.е. ни резать Json ни изменять типы поля я там не могу.
У нас компания не ИТ, выделенных датааналитиков нет, делаю методом тыка все. В итоге сейчас имеем собранную в кликхаус информацию со всех усюд, но использовать ее в метабейсе корректно не можем.
Большинство описанного связанно с тем, что 1С и BAS, держат нас в заложниках.
Работай мы в софте, с открытой, хорошо читаемой базой данных - BI инструмент был бы не только визуализатором, а и полноценным инструментом аналитика с нуля позволяя создавать те разрезы и форматы отчетов которые нужны. Даже без sql и конвертаторов запросов.
Моя главная претензия к этому продукту в том, что подосоеденившись через ide или bi к базе на прямую, просматривая таблицы, вы или полностью или частино не сможете разобрать бизнесовый смысл их наполнения, а сами однородные таблицы будут разбиты на части (несколько таблиц).
По итого выходит, что во многих местах мы боремся с ветряными мельницами, которых с другим софтом просто не существовало бы.
Специально завел акаунт, что бы прокоментировать: статья, правильна и рабочая, но если вы аналитик, или просто хотите выходить за рамки таблиц и начинать что-то с чем-то интегрировать - то на бигквери с гуглтаблицах лучше не якорится. Мелкие проблемы будут лезть со всех сторон. Если вам нужно что-то что бы подсоединить его как бд и дальше манипулировать - берите любой ноукод бд инстурмент - teable, nocodb и тд. Когда прийдется вы подключитесь к ней как к бд и будете работать без прослойки.
со всем согласен, но альтернативы?
Сори, но это не статья, а рандомный скриншот визора калейдоскопа "на тему"
вы правы, мы уже сами дошли до этого подхода
метабейс умеет автоматом разрезать json у Mysql подобных бд, очень удобно. В таблицах показывает их как отдельные столбцы.
Привет, вспомнил креды от ака что бы написать ответ.
Мы в компании развернули Airbyte который льет в Clickhouse подключенный к Metabase. До этого пользовались Metabase подключенным к главной Постгрес БД и были счастливы. Но захотели все в одном ДатаВарехус.
С чем столкнулись - Метабейс не режет JSON который лежит в столбце Clickhouse на отдельные столбцы, в отличие от Постгрес БД.
В Аербайт же Т (трансформ) - платная фича. Очень дорогая. У них он Мапинг называется.
Т.е. ни резать Json ни изменять типы поля я там не могу.
У нас компания не ИТ, выделенных датааналитиков нет, делаю методом тыка все.
В итоге сейчас имеем собранную в кликхаус информацию со всех усюд, но использовать ее в метабейсе корректно не можем.
Посоветуйте куды бы вы копали на моем месте?
Большинство описанного связанно с тем, что 1С и BAS, держат нас в заложниках.
Работай мы в софте, с открытой, хорошо читаемой базой данных - BI инструмент был бы не только визуализатором, а и полноценным инструментом аналитика с нуля позволяя создавать те разрезы и форматы отчетов которые нужны. Даже без sql и конвертаторов запросов.
Моя главная претензия к этому продукту в том, что подосоеденившись через ide или bi к базе на прямую, просматривая таблицы, вы или полностью или частино не сможете разобрать бизнесовый смысл их наполнения, а сами однородные таблицы будут разбиты на части (несколько таблиц).
По итого выходит, что во многих местах мы боремся с ветряными мельницами, которых с другим софтом просто не существовало бы.
Спасибо за статью. После прочтения и общения с ллм по поводу уточняющих вопросов ± разобрался.
Очень не хватает дополнительных поясняющих схем
Специально завел акаунт, что бы прокоментировать: статья, правильна и рабочая, но если вы аналитик, или просто хотите выходить за рамки таблиц и начинать что-то с чем-то интегрировать - то на бигквери с гуглтаблицах лучше не якорится. Мелкие проблемы будут лезть со всех сторон. Если вам нужно что-то что бы подсоединить его как бд и дальше манипулировать - берите любой ноукод бд инстурмент - teable, nocodb и тд. Когда прийдется вы подключитесь к ней как к бд и будете работать без прослойки.