Статьи / Профиль ASenterprise / Хабр

Andrey Sviridov@ASenterprise

Data Enthusiast, BI analyst

ПрофильСтатьи6ПостыНовостиКомментарии11

@ASenterprise 18 авг 2021 в 12:33

Эра электромобилей или эра мертвых батарей?

6 мин

23K

Социальные сетиТранспортЭкологияУрбанизм

Если проанализировать существующий поток новостей об автомобильном мире можно отметить, что уже никто не испытывает сомнений в том, что в скором времени мы все с вами будем ездить на полностью электрических автомобиля.

Европейские правительства заверяют, что к середине столетия полностью откажутся от использования двигателей внутреннего сгорания в своих странах. Знаменитые автоконцерны, вторят им, что в ближайшее время полностью переориентируют производство на электромобили.

Все действия по переходу на электромобили подаются под соусом заботы об экологии.

Однако, эта замечательная “зеленая” повестка мало затрагивает вопрос утилизации отработанных батарей. В принципе, до недавнего времени я считал этот вопрос неразрешимым, а точнее решаться он будет только тогда, когда весь мир, в добавок к горам пластика, заполнят отработанные батареи размером со столешницу кухонного стола или даже больше. И только тогда медиа обратит внимание на эту проблему.

Но тем не менее, не теряя веру в здравомыслие человечества, я решил посмотреть, что пишет по этому вопросу англоязычная пресса и предлагаю вашему вниманию некоторый анализ найденной информации.

+15

331

@ASenterprise 4 июн 2020 в 08:31

Витрины данных DATA VAULT

3 мин

11K

SQL * Data Mining * Data Engineering * Big Data *

В предыдущих статьях, мы познакомились с основами DATA VAULT, расширением DATA VAULT до более подходящего для анализа состояния и созданием BUSINESS DATA VAULT. Настало время завершать серию третьей статьей.

Как я анонсировал в предыдущей публикации, эта статья будет посвящена теме BI, а точнее подготовке DATA VAULT в качестве источника данных для BI. Рассмотрим, как создать таблицы фактов и измерений и, тем самым, создать схему звезда.

Когда я начал изучать англоязычные материалы по теме создания витрин данных над DATA VAULT у меня возникло ощущение достаточной сложности процесса. Так как статьи имеют внушительный объем, там присутствуют отсылки к изменениям в формулировках, появившихся в методологии Data Vault 2.0, обозначается важность этих формулировок.

Однако, углубившись в перевод, стало понятно, что процесс этот не так уж и сложен. Но, возможно у вас сложится другое мнение.

И так, давайте переходить к сути.

Читать дальше →

@ASenterprise 28 мая 2020 в 07:24

Развитие DATA VAULT и переход к BUSINESS DATA VAULT

4 мин

17K

SQL * Data Mining * Data Engineering * Big Data *

В предыдущей статье я рассказал об основах DATA VAULT, описал основные элементы DATA VAULT и их назначение. На этом нельзя считать тему DATA VAULT исчерпанной, необходимо поговорить о следующих ступенях эволюции DATA VAULT.

И в этой статье я сконцентрируюсь на развитии DATA VAULT и переходу к BUSINESS DATA VAULT или просто BUSINESS VAULT.

Причины появления BUSINESS DATA VAULT

Следует отметить, DATA VAULT имея определенные сильные стороны не лишен недостатков. Одним из таких недостатков является сложность в написании аналитических запросов. Запросы имеют значительное количество JOIN’ов, код получается длинным и громоздким. Также данные попадающие в DATA VAULT не подвергаются никаким преобразованиям, поэтому с точки зрения бизнеса DATA VAULT в чистом виде не имеет безусловной ценности.

Читать дальше →

@ASenterprise 20 мая 2020 в 13:21

Основы Data Vault

4 мин

31K

Big Data * Data Engineering * Data Mining * SQL *

Туториал

В настоящее время, в сфере анализа данных и BI, уже не возможно не встретить такое понятия как DATA VAULT. Однако, на мой взгляд, есть некоторый недостаток информации по этой теме, особенно в русскоязычном сегменте интернета.

Можно найти интересные статьи о применении DATA VAULT в компаниях, однако основы и методология освещены недостаточно.

В англоязычном сегменте, дела обстоят значительно лучше. Можно купить книги авторов-изобретателей методологии DATA VAULT, но есть и статьи в открытом доступе, которые уделяют внимание именно основам.

Будучи вдохновленным одной из таких статей, я попытаюсь передать базовые вещи методологии DATA VAULT на русском языке.

Читать дальше →

@ASenterprise 12 ноя 2019 в 07:15

Куда движется рынок BI-аналитики в 2019 году

5 мин

8.6K

Визуализация данных * IT-компанииBig Data *

Занимаясь BI с 2013 года, я прошел достаточно интересный и длинный путь в этом бизнесе. На старте моей карьеры это был динамичный рынок, многие не понимали, что это за инструменты и зачем они нужны, но все были впечатлены визуальной составляющей продуктов. С тех пор появились новые продукты, пришло понимание как правильно и эффективно использовать инструменты BI, на мой взгляд, рынок стал узким и скучным.

Что нужно рынку BI для роста

Сейчас наиболее известные продукты на рынке BI: Qlik, Power BI, Tableau. Когда я читаю очередное ТЗ на создание корпоративной BI-системы, сразу понимаю апологет какого продукта его писал. На рынке ощущается нехватка свежих идей.

В 2018 году Gartner, известная консалтинговая компания, ориентирующаяся на исследования в IT, заявила, что в скором времени BI изменится и станет AI (Augmented Intelligence) — этот инструмент будет решать более широкий спектр задач. Однако чтобы период дополненной аналитики пришел компаниям придется немало потрудиться в таких направлениях как:

Интеграция с облачными сервисами, что в целом является мейнстримом в современном мире IT;
Внедрение ML и AI (Artificial intelligence) в свои продукты, которые также уже вошли в нашу жизнь и их проникновение продолжится;
Дальнейшее развитие подходов к демократизации данных, например: NLP (natural language processing) который позволит пользователям коммуницировать с системной, практически на человеческом языке;
Разработка собственных ботов, способных воспринимать как текстовые, так и голосовые запросы.

Давайте попробуем оценить насколько корректны выводы консалтинговой компании рассмотрев события 2019 года.

Читать дальше →

@ASenterprise 29 окт 2019 в 11:08

Закат эпохи Big Data

4 мин

18K

Big Data * Data Mining * Hadoop * Искусственный интеллектОблачные сервисы *

Из песочницы

Множество иностранных авторов сходятся к тому, что эпоха Big Data подошла к концу. И в данном случае под термином Big Data понимаются технологии, основанные на Hadoop. Многие авторы, даже могут с уверенностью назвать дату, когда Big Data оставила этот мир и эта дата — 05.06.2019.

Что же произошло в этот знаменательный день?

В этот день, компания MAPR обещала приостановить свою работу, если не сможет найти средства для дальнейшего функционирования. Позднее, в августе 2019 года MAPR был приобретен компанией HP. Но возвращаясь к июню нельзя не отметить, трагичность этого периода для рынка Big Data. В этом месяце произошел обвал биржевых котировок акций компании CLOUDERA – ведущего игрока на обозначенном рынке, которая произвела слияние с хронически неприбыльным HORTOWORKS в январе этого же года. Обвал был весьма существенен и составил 43%, в конечном итоге капитализация CLOUDERA снизилась с 4,1 до 1,4 миллиарда долларов.

Невозможно не сказать, что слухи о надувании пузыря в сфере технологий, базирующихся на Hadoop, ходили еще с декабря 2014 года, но он мужественно продержался еще почти пять лет. Слухи эти основывались на отказе Google, компании в которой зародилась технология Hadoop, от своего изобретения. Но технология, прижилась, на время перехода компаний к облачным средствам обработки и бурного развития искусственного интеллекта. Поэтому, оборачиваясь назад, можно с уверенностью сказать, что кончина была ожидаемой.

Таким образом, эра Big Data подошла к концу, но в процессе работы над большими данными компании осознали все нюансы работы над ними, выгоды, которые Big Data может принести бизнесу, а также научились пользоваться искусственным интеллектом для извлечения ценности из сырых данных.

Тем интереснее становится вопрос о том, что же придет на смену этой технологии и как будут дальше развиваться технологии аналитики.

Читать дальше →