Комментарии 16
Какой кошмар этот российский BI после Qlik/Tableau/PowerBI... Если ETL/ELT и построение модели данных происходит за пределами BI системы, то корректнее называть её системой визуализации подготовленных данных. 5 разработчиков на 20 пользователей - это дикое соотношение, на мой взгляд
Насколько я понимаю, в Visiology модель данных полностью внутри системы создается.
Картинки из корпоративного блога Visiology, включая статью, которую я прокомментировал, говорят о несколько другом:
Накидать условную "звезду" или "снежинку" из готовых таблиц, на мой взгляд, это не совсем то же самое, что построить модель данных со слоями и всем остальным. Для большинства продуктов российского BI, насколько я помню, задача выбора определённых листов из xls(x) остаётся невыполнимой. Надеюсь, эта ситуация со временем изменится, но, пока что, это серьёзный даунгрейд, ибо, пока в профильных сообществах говорят о data driven организациях, не-айти бизнес продолжает генерить 100500 форм экселей ежедневно.
Использовать Loginom или нет, создавать свое DHW (тот же кликхаус) или валить все напрямую в Visiology решает пользователь. Ребята из PT решили так. А мы пользуем внутреннее хранилище V, а в качестве ETL - Vixtract. То есть получается все в комплекте.
Этот пример - это лишь одна из референсных архитектур, которую, кстати, часто используют и с Qlik/PBI/Tableau - очень много раз видел, когда ETL в Qlik используется только на уровне 'SELECT * FROM xxx.xxx', а все данные уже подготовлены на уровне КХД. Это дело вкуса и особенностей конкретной задачи. При желании всю модель можно и внутри Visiology сделать, более того, в третьей версии там гораздо больше возможностей, чем у традиционной снежинки/созвездия.
ETL, да, внешний - но можно использовать тот же самый ViXtract от Visiology - open-source и бесплатно. Действительно, для работы с ViXtract придется поразбираться с Python, но тут я выражу свое мнение, с которым вы, конечно, вправе не согласиться. Если смотреть с точки зрения специалиста, который хочет развиваться и оставаться востребованным, в 2023 году я бы лучше вкладывал силы в изучение Python для ETL, а не в проприетарный Qlik load script - и возможности шире, и компетенция более широко применима. А если говорить про язык аналитических запросов - то учил бы DAX, а не Qlik Expressions, потому что он уже больше 70% рынка занимает, по нему на порядки больше материалов доступно. Хотя, справедливости ради, у Qlik Expressions есть свои преимущества по сравнению с DAX, но не принципиальные.
с Qlik/PBI/Tableau - очень много раз видел, когда ETL в Qlik используется только на уровне 'SELECT * FROM xxx.xxx', а все данные уже подготовлены на уровне КХД
Я тоже видел много вариантов корпоративного забивания гвоздей микроскопом
более того, в третьей версии там гораздо больше возможностей, чем у традиционной снежинки/созвездия.
По какой-то причине этот факт не находит отражения в документации к системе
Поддержка модели данных “созвездие”
Возможность использовать несколько таблиц фактов при построении модели данных, что делает возможным использование схемы “созвездие“ помимо схемы “звезда”. При использовании данной схемы вы можете объединять данные, полученные из разных источников. https://visiology-doc.atlassian.net/wiki/spaces/3v4/overview
В текущей версии данные могут быть получены из двух источников:
из базы данных, с помощью JDBC;
из CVS файла.
на платформе установлены JDBC драйвера для следующих баз данных:
MySQL
PostgreSQL
ClickHouse
https://visiology-doc.atlassian.net/wiki/spaces/v3/pages/2393468/JDBC
Получается, из "коробки" система предлагает достаточно бедный набор возможностей, который предполагается расширить путём создания кастомных решений или за пределами системы.
"забивание гвоздей микроскопом" - это как раз попытка впихнуть в отчетную систему и ETL и DWH и MDM с DQ до кучи. А то потом получается как-то так:
https://habr.com/ru/articles/732734/
А что касается загрузки "человекозаполняемых" Excel в BI, то по моему мнению и опыту, с точки зрения бизнеса - это зло. Потому что в этом случае BI перестает выполнять свою функцию источника качественных доверенных данных для принятия решений - все ошибки заполнения и импорта просто переезжают в отчеты. Понятно, что не все готовы к полной автоматизации всего (да это и не нужно часто), но если пачки Excel файлов уже возникли, значит есть потребность хотя бы в low-code автоматизации, благо, инструментов сейчас достаточно. В Visiology для решения этой задачи есть специальный модуль - Smart Forms.
Тут тоже оговорюсь, что в любом правиле бывают исключения, иногда пачки Excel файлов реально имеет смысл импортировать - для этого у Visiology есть специальный инструмент, ViLoader, как раз оптимизированный под работу с формами ручного ввода. Но по моему опыту - это даже не 1 из 10, а гораздо реже встречается.
Вообще с одной стороны вы правы...но с другой нет. ) если вам не нужно переходить на российский bi - то и хорошо. А если нужно? Тогда что? Тем более что я неплохо знаком с Visiology и у ребят все норм с моделями данных и etl...а на тройке - вообще прилично.
если вам не нужно переходить на российский bi - то и хорошо. А если нужно? Тогда что?
Тут каждый решает для себя сам. Когда моя прошлая компания стала сворачивать направление клика - она стала для меня бывшей работой.
Ну если вы такой qlikофил, то зачем читаете вообще про российский BI? ) Ведь если то, что не клик - фуфло по определению, то дискуссия бессмысленна...
Дело не в "фуфло по определению", а в том, чтобы понимать технологическую дистанцию между бывшими вариантами "отраслевых стандартов" и их импортозаместителями. Вы читали саму статью и мой исходный комментарий? То решение, которое может быть приемлемым для ИТ, компании, способной выделить 1 разработчика на 4 пользователей, с высокой долей вероятности окажется неподъёмным для организаций, где счёт пользователей BI систем идёт на тысячи.
Мы пользуемся Visiology уже несколько лет, и за это время система вообще нереально подросла. Да, скажем, 3 года назад, было тяжеловато в некоторых вопросах. Но сейчас уже в 2 версии можно нормально работать. Правда третью ждем уже очень сильно. :)
Выглядит симпатично, но донат чарт на 9 категорий - это больно) По-моему, горизонтальный бар чарт здесь был бы уместнее.
Опыт PT: BI на страже кибербезопасности