• Витрины данных DATA VAULT

      В предыдущих статьях, мы познакомились с основами DATA VAULT, расширением DATA VAULT до более подходящего для анализа состояния и созданием BUSINESS DATA VAULT. Настало время завершать серию третьей статьей.

      Как я анонсировал в предыдущей публикации, эта статья будет посвящена теме BI, а точнее подготовке DATA VAULT в качестве источника данных для BI. Рассмотрим, как создать таблицы фактов и измерений и, тем самым, создать схему звезда.

      Когда я начал изучать англоязычные материалы по теме создания витрин данных над DATA VAULT у меня возникло ощущение достаточной сложности процесса. Так как статьи имеют внушительный объем, там присутствуют отсылки к изменениям в формулировках, появившихся в методологии Data Vault 2.0, обозначается важность этих формулировок.

      Однако, углубившись в перевод, стало понятно, что процесс этот не так уж и сложен. Но, возможно у вас сложится другое мнение.

      И так, давайте переходить к сути.
      Читать дальше →
    • Развитие DATA VAULT и переход к BUSINESS DATA VAULT

        В предыдущей статье я рассказал об основах DATA VAULT, описал основные элементы DATA VAULT и их назначение. На этом нельзя считать тему DATA VAULT исчерпанной, необходимо поговорить о следующих ступенях эволюции DATA VAULT.

        И в этой статье я сконцентрируюсь на развитии DATA VAULT и переходу к BUSINESS DATA VAULT или просто BUSINESS VAULT.

        Причины появления BUSINESS DATA VAULT


        Следует отметить, DATA VAULT имея определенные сильные стороны не лишен недостатков. Одним из таких недостатков является сложность в написании аналитических запросов. Запросы имеют значительное количество JOIN’ов, код получается длинным и громоздким. Также данные попадающие в DATA VAULT не подвергаются никаким преобразованиям, поэтому с точки зрения бизнеса DATA VAULT в чистом виде не имеет безусловной ценности.
        Читать дальше →
      • Основы Data Vault

        • Tutorial

        В настоящее время, в сфере анализа данных и BI, уже не возможно не встретить такое понятия как DATA VAULT. Однако, на мой взгляд, есть некоторый недостаток информации по этой теме, особенно в русскоязычном сегменте интернета.


        Можно найти интересные статьи о применении DATA VAULT в компаниях, однако основы и методология освещены недостаточно.


        В англоязычном сегменте, дела обстоят значительно лучше. Можно купить книги авторов-изобретателей методологии DATA VAULT, но есть и статьи в открытом доступе, которые уделяют внимание именно основам.


        Будучи вдохновленным одной из таких статей, я попытаюсь передать базовые вещи методологии DATA VAULT на русском языке.

        Читать дальше →
        • +10
        • 3,4k
        • 2
      • Куда движется рынок BI-аналитики в 2019 году

          Занимаясь BI с 2013 года, я прошел достаточно интересный и длинный путь в этом бизнесе. На старте моей карьеры это был динамичный рынок, многие не понимали, что это за инструменты и зачем они нужны, но все были впечатлены визуальной составляющей продуктов. С тех пор появились новые продукты, пришло понимание как правильно и эффективно использовать инструменты BI, на мой взгляд, рынок стал узким и скучным.

          Что нужно рынку BI для роста


          Сейчас наиболее известные продукты на рынке BI: Qlik, Power BI, Tableau. Когда я читаю очередное ТЗ на создание корпоративной BI-системы, сразу понимаю апологет какого продукта его писал. На рынке ощущается нехватка свежих идей.

          В 2018 году Gartner, известная консалтинговая компания, ориентирующаяся на исследования в IT, заявила, что в скором времени BI изменится и станет AI (Augmented Intelligence) — этот инструмент будет решать более широкий спектр задач. Однако чтобы период дополненной аналитики пришел компаниям придется немало потрудиться в таких направлениях как:

          • Интеграция с облачными сервисами, что в целом является мейнстримом в современном мире IT;
          • Внедрение ML и AI (Artificial intelligence) в свои продукты, которые также уже вошли в нашу жизнь и их проникновение продолжится;
          • Дальнейшее развитие подходов к демократизации данных, например: NLP (natural language processing) который позволит пользователям коммуницировать с системной, практически на человеческом языке;
          • Разработка собственных ботов, способных воспринимать как текстовые, так и голосовые запросы.

          Давайте попробуем оценить насколько корректны выводы консалтинговой компании рассмотрев события 2019 года.
          Читать дальше →
        • Закат эпохи Big Data

          Множество иностранных авторов сходятся к тому, что эпоха Big Data подошла к концу. И в данном случае под термином Big Data понимаются технологии, основанные на Hadoop. Многие авторы, даже могут с уверенностью назвать дату, когда Big Data оставила этот мир и эта дата — 05.06.2019.

          Что же произошло в этот знаменательный день?

          В этот день, компания MAPR обещала приостановить свою работу, если не сможет найти средства для дальнейшего функционирования. Позднее, в августе 2019 года MAPR был приобретен компанией HP. Но возвращаясь к июню нельзя не отметить, трагичность этого периода для рынка Big Data. В этом месяце произошел обвал биржевых котировок акций компании CLOUDERA – ведущего игрока на обозначенном рынке, которая произвела слияние с хронически неприбыльным HORTOWORKS в январе этого же года. Обвал был весьма существенен и составил 43%, в конечном итоге капитализация CLOUDERA снизилась с 4,1 до 1,4 миллиарда долларов.

          Невозможно не сказать, что слухи о надувании пузыря в сфере технологий, базирующихся на Hadoop, ходили еще с декабря 2014 года, но он мужественно продержался еще почти пять лет. Слухи эти основывались на отказе Google, компании в которой зародилась технология Hadoop, от своего изобретения. Но технология, прижилась, на время перехода компаний к облачным средствам обработки и бурного развития искусственного интеллекта. Поэтому, оборачиваясь назад, можно с уверенностью сказать, что кончина была ожидаемой.

          Таким образом, эра Big Data подошла к концу, но в процессе работы над большими данными компании осознали все нюансы работы над ними, выгоды, которые Big Data может принести бизнесу, а также научились пользоваться искусственным интеллектом для извлечения ценности из сырых данных.

          Тем интереснее становится вопрос о том, что же придет на смену этой технологии и как будут дальше развиваться технологии аналитики.
          Читать дальше →