Как стать автором
Обновить
40.67

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Порог рейтинга
Уровень сложности

Бизнес-аналитик — мастер переговоров или как не сойти с ума, работая с требованиями

Время на прочтение 11 мин
Количество просмотров 4.1K

Друзья аналитики и ценители данных!

Меня зовут Виктория и я считаю, что аналитика - это не просто работа, а образ жизни. 10 лет погружения в мир данных научили меня выжимать инсайты из сухих цифр и видеть скрытые закономерности.

Сейчас я также руковожу отделом аналитики в IT-компании и выступаю в роли PM по внедрению BI-систем и построению DWH. Хочу начать делиться своим опытом, фактами и советами о том, как аналитику выстроить карьеру в этой сфере. В будущих статьях смогу подробно рассказать про Data Governance, поделиться опытом внедрения аналитических систем в различных компаниях и о том, как избежать типичных ошибок в аналитике.

Поехали разбираться вместе! Это моя первая статья на Хабре, и я рада поделиться своими знаниями и опытом с этим замечательным сообществом.

Бизнес-аналитик - мастер переговоров или как не сойти с ума, работая с требованиями

Представьте, что вы - бизнес-аналитик в консалтинговой компании, и перед вами стоит задача внедрить систему бизнес-аналитики (BI) для клиента, чей проект продаж страдает от разобщенности и несогласованности. Каждый отдел в этой компании считает ключевые показатели по-своему, используя свои методики и инструменты. Отдел продаж фокусируется на выручке и конверсиях, финансисты - на марже и затратах, а маркетологи оперируют такими метриками, как ROI, CAC и LTV.

И вот вы, вооруженный знаниями и опытом, приходите в эту компанию, чтобы навести порядок и создать единую версию правды с помощью BI-системы. Но это не просто техническая задача - вам предстоит стать дипломатом, переговорщиком и психологом в одном лице, чтобы найти общий язык со всеми заинтересованными сторонами и преодолеть их разногласия.

Читать далее
Всего голосов 16: ↑15 и ↓1 +14
Комментарии 5

Новости

Охота на недостающий тип данных

Уровень сложности Средний
Время на прочтение 11 мин
Количество просмотров 10K
Направленный граф — это набор узлов, связанных стрелками (рёбрами). Как узлы, так и рёбра могут содержать данные. Вот несколько примеров:

Все графы созданы с помощью graphviz (источник)

В сфере разработки ПО графы используются повсеместно:

  1. Зависимости пакетов, как и импорт модулей, формируют направленные графы.
  2. Интернет — это граф, состоящий из ссылок между веб-страницами.
  3. При проверке моделей анализ выполняется путём изучения «пространства состояний» всех возможных конфигураций. Узлы — это состояния, а рёбра — это допустимые переходы между ними.
  4. Реляционные базы данных — это графы, в которых узлы являются записями, а рёбра — внешними ключами.
  5. Графы — это обобщение связанных списков, двоичных деревьев и хэш-таблиц.1

Кроме того, графы также широко используются в бизнес-логике. Научные работы со ссылками формируют графы цитат. Транспортные сети представляют графы маршрутов. Социальные сети — это графы связей. Если вы работаете в сфере разработки, то рано или поздно встретитесь с графами.

Я вижу графы повсюду и использую их для анализа всевозможных систем. В то же время я побаиваюсь использовать их в коде. Какой из популярных языков программирования ни возьми, поддержка графов в них практически отсутствует. Ни в одном её нет в виде встроенного типа, очень мало где они прописаны в стандартной библиотеке, и у многих языков нет для этой функциональности надёжного стороннего пакета. Чаще всего мне приходится создавать графы с нуля. Существует большой разрыв между тем, как часто инженерам ПО могут понадобиться графы и тем, в какой степени экосистема их поддерживает. Где все графовые типы?
Читать дальше →
Всего голосов 62: ↑60 и ↓2 +58
Комментарии 20

Проверь себя: Ты — знаток мира BI?

Уровень сложности Сложный
Время на прочтение 2 мин
Количество просмотров 1.4K

Привет, Хабр! А сейчас у нас на кону интересное развлечение. Мы предлагаем вам угадать двух тайных экспертов марафона по визуализции “Ничего Лишнего”, которые будут принимать участие в двух днях работы с участниками. Под катом — краткие характеристики наших героев, а также варианты ответов. Проверьте себя, насколько вы знаете мир BI (или проверьте свою интуицию, что тоже забавно).

Читать далее
Всего голосов 9: ↑6 и ↓3 +3
Комментарии 0

Марафон DataYoga “Ничего лишнего” — кому будет полезна неделя лучших практик визуализации данных

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 1.6K

Привет, Хабр! Сегодня мы хотим поделиться одним интересным событием, которое не может оставить равнодушным никого из сферы BI и визуализации данных. Марафон  будет проходить с 18 по 22 марта в онлайн-режиме (разумеется бесплатно) и включит в себя наработки ведущих визуализаторов и дата-йогов. Это будет настоящее погружение для тех, кто уже в BI и аналитике, а также для тех, кто еще только думает о расширении своих компетенций (или пока вообще не понимает, почему за “построение диаграмм” сегодня обещают хорошие зарплаты). Все подробности о Марафоне и ссылка на регистрацию — под катом.

Хочу стать дата-йогом!
Всего голосов 8: ↑6 и ↓2 +4
Комментарии 1

Истории

G2 Market Research vs Gartner: слон или тигр?

Время на прочтение 7 мин
Количество просмотров 180

Мы в Кругах Громова любим исследования. Можно было бы даже сказать «собаку на них съели», но собакенов мы любим не меньше, чем исследования, и, конечно, есть никого не собираемся. Как бы там ни было, нам интересно – и, конечно, познавательно – наблюдать и изучать работу крупных мировых игроков. Сегодня решили поделиться с вами результатами сравнения двух «рапторов» – Gartner и G2 Market Research.

Читать далее
Всего голосов 7: ↑4 и ↓3 +1
Комментарии 0

Системы генерации отчетов

Уровень сложности Простой
Время на прочтение 8 мин
Количество просмотров 2.4K

Это обзор систем построения отчетов. Какие бывают, зачем они нужны и куда все это движется. В рассмотренных далее системах речь пойдет только об отчетах. А отчет – это выборка данных из источника по заданным критериям. Другой функционал данных систем не будет рассматриваться. Со всеми системами отчетности о которых пойдет речь, я либо работал напрямую, либо они использовались в проектах, в которых я участвовал.

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Комментарии 13

Подробный гайд: Как собрать дашборд в FineBI за 30 минут

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 3.6K

Хабр, привет! 

Меня зовут Александр Ларин, я руководитель центра технической поддержки и обучения в GlowByte и лидер самого большого в России сообщества FineBI.

В данной статье я хотел бы показать новичкам основы работы в FineBI: как подключиться к источнику данных, создать на его основе датасет, провести обработку данных, собрать свой первый дашборд – и всё это сделать буквально за 30 минут.  А тех, кому этого будет недостаточно, приглашаю на наши курсы

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 4

Методы очистки данных в Pandas

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 4.9K

Привет, Хабр!

Аналитики данных часто сталкиваются с грязными данными, которые могут существенно замедлить процесс анализа. Грязны данные – это пропущенные значения, дубликаты, неконсистентные данные. Пропущенные значения заставляют нас гадать, что же было замыслено нашим коллегой; дубликаты вводят в заблуждение, умножая одно и то же на количество их копий, а неконсистентные данные заставляют нас сомневаться в каждой цифре.

Очищать грязные данные можно c Pandas. Рассмотрим основные методы.

Читать далее
Всего голосов 13: ↑11 и ↓2 +9
Комментарии 2

SQL и python для анализа цен на новостройки в СПб или ценнейший навык для маркетолога в 2024

Уровень сложности Простой
Время на прочтение 14 мин
Количество просмотров 10K

«Зачем мне SQL и python?» — задают резонный вопрос маркетологи или менеджеры по продукту, особенно в сфере недвижимости, оптовой торговли, услуг для бизнеса: «У нас нет миллионов строк данных, нет логов, мы успешно работаем с несколькими таблицами в excel».

Да действительно, у вас может не быть корпоративного хранилища данных в компании, и основой автоматизации работы с данными является Power query (что сейчас в РФ делать все труднее и труднее). Но у вас точно есть данные, которые вы получаете от смежных отделов, из CRM/CDP, MES, АСУ ТП. Эти данные приходят регулярно в виде файлов, и вы сопоставляете эти данные друг с другом с помощью ВПР, фильтруете воронкой, чистите с помощью «Найти или заменить», делайте сводники с помощью функции Pivot table.

Читать далее
Всего голосов 16: ↑15 и ↓1 +14
Комментарии 16

Одномерный лес и все прочее

Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 3.5K

Объяснение «на пальцах» и реализация решающего дерева, случайного леса и бустинга.

Дерево принятия решений (также называют деревом классификации или регрессионным деревом) — средство поддержки принятия решений, использующееся в машинном обучении, анализе данных и статистике. Структура дерева представляет собой «листья» и «ветки». На рёбрах («ветках») дерева решения записаны признаки, от которых зависит целевая функция, в «листьях» записаны значения целевой функции, а в остальных узлах — признаки, по которым различаются случаи. Чтобы классифицировать новый случай, надо спуститься по дереву до листа и выдать соответствующее значение.

Читать далее
Всего голосов 10: ↑10 и ↓0 +10
Комментарии 1

Semantic BPM. Семантика и синтаксис бизнес-процессов

Уровень сложности Средний
Время на прочтение 26 мин
Количество просмотров 2K

Онтологический инжиниринг в области Управления бизнес-процессами (BPM). Семантический BPM (Business Process Management), впрочем, как и семантический ЕА (Enterprise Architecture), – это заимствование концепций (подходов к описанию и онтологизации) \ инструментов Linked Data к указанным направлениям (формализация процессов и архитектур предприятий).

«Красная нить»: когда мы формализуем процессы - мы говорим об одном и том же, но на разных языках (нотациях), поэтому стандартизация Языка семантики, онтологических концептов BPM (EA) – важная, но еще недостаточно популяризированная составляющая развития BPM (следующий этап, ВРМ 3.0). Отделение («мух от котлет») семантики от синтаксиса позволит «рафинировать» понятийный (смысловой) анализ бизнес-процессов и при их аналитике оперировать базовыми (семантическими) концептами (образами). 

В Semantic BPM, как и в Semantic Web (семантическая паутина), смысл представленного процесса \ архитектуры понятен не только человеку, но и машинам и они могут его читать и обрабатывать. Эти смыслы, обычно передаваемые «человек – человек» на языке синтаксиса / графической грамматики через нотации VAD, EPC, BPMN, UML (плюс еще несколько десятков подобных вариантов \ форматов «обертывания», включая Дракон), исходно формализуются на языке семантики (стек Linked Data или аналогичный) и уже потом упаковываются в схемы с конкретной нотацией («пишутся» на языке какой-либо нотации). Для единого понимания смысловой составляющей схем применяется общая ВРМ-онтология, толковый словарь ВРМ. 

Читать далее
Всего голосов 7: ↑6 и ↓1 +5
Комментарии 8

Кратко про FP в Julia

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 1.6K

В отличие от императивного подхода, где выражается последовательность операций, функциональное программирование (FP) сосредотачивается на "что" и "как" должно быть вычислено, а не на "когда". Это приводит к более чистому, модульному и легко тестируемому коду.

Juliа поддерживает анонимные функции, замыкания, и имеет систему типов, которая позволяет писать высокооптимизированный код без потери читаемости и удобства.

Читать далее
Всего голосов 16: ↑14 и ↓2 +12
Комментарии 5

Аналоговые индикаторы против цифровых. Жертвы маркетинга против ретроградов

Уровень сложности Простой
Время на прочтение 3 мин
Количество просмотров 5.7K

На просторах сети частенько можно наткнуться на споры про то, что же лучше - стрелочные приборы или цифровые.

Что же лучше? Предлагаю проверить на практике c помощью программы-теста, которая измеряет время, необходимое на считывание значений со стрелочного индикатора и цифрового.

Читать далее
Всего голосов 7: ↑5 и ↓2 +3
Комментарии 97

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн

FineBI под микроскопом: Обзор новых функций и улучшений в Q1 2024

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 1.6K

Хабр, привет! 

Меня зовут Александр Ларин, я являюсь руководителем центра технической поддержки и обучения в GlowByte, а также лидером самого большого в России сообщества FineBI.

Сегодня в нашем фокусе – обновления, которые не оставят равнодушными ни одного бизнес-аналитика. Призываю поднять планку ваших знаний о современных инструментах анализа данных. Если вы, как и я, жаждете узнать о последних обновлениях в мире бизнес-аналитики, то эта статья именно для вас. Развивайтесь вместе с FineBI, чтобы быть на шаг впереди конкурентов в мире данных и аналитики. А тех, кому этого будет недостаточно, приглашаю на наши курсы.

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 0

Единая модель безопасности в Дельта BI

Уровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 301

Для многих компаний анализ больших данных становится обыденной задачей. Этому способствует развитие технологий и снижение стоимости систем хранения. Поэтому сегодня многие компании могут собирать и хранить большие объемы разнородных данных. Кроме сбора и хранения данных, часто возникает необходимость их преобразования в удобный для пользователей вид, в чем помогают различные BI-системы.

Согласно исследованию IDC «Аналитика больших данных» более 50% опрошенных заявляют, что одним из ключевых факторов, влияющих на выбор решения для анализа больших данных является безопасность.

А как обстоят дела с безопасностью в Дельта BI?

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Комментарии 0

7 направлений оптимизации ClickHouse, которые помогают в BI

Уровень сложности Средний
Время на прочтение 12 мин
Количество просмотров 9.2K

Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации. 

А что там с оптимизацией ClickHouse?
Всего голосов 27: ↑26 и ↓1 +25
Комментарии 2

О пройденном пути, полученных результатах и наших планах в мониторинге

Уровень сложности Простой
Время на прочтение 15 мин
Количество просмотров 2.2K

Да, эта тема обсуждалась уже не раз, но мы хотим показать именно наш, более комплексный подход. В большинстве статей рассказывается именно о узконаправленных проблемах мониторинга и вариантах их решения, мы же хотим рассказать о пройденном пути, полученных результатах и наших планах.

Мы работаем в большой компании, где требования к производимому ПО очень высоки. Наши сервисы без сомнения можно назвать высоконагруженными системами. 

Об элементах инфраструктуры и её производительности коллеги уже рассказали в статьях Как мы мониторим наши сервисы и Как мы переводим наш мониторинг в наблюдаемость, так что сейчас на этих темах останавливаться не будем.

Читать далее
Всего голосов 18: ↑17 и ↓1 +16
Комментарии 4

Z-test

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 2.5K

Привет, Хабр!

Z-тест, известный также как z-критерий Фишера, представляет собой набор статистических методов для проверки гипотез, которые базируются на предположении о нормальном распределении данных. Эти методы используются для анализа, являются ли средние значения двух наборов данных одинаковыми, при условии, что дисперсия генеральной совокупности известна. Еще они применяются для анализа стандартизированных выборочных средних. Расчёт Z-статистики производится путём деления разности между анализируемой случайной величиной и её математическим ожиданием на стандартную ошибку этой величины.

В этой статье рассмотрим, что такое Z-тест, чем он полезен и сравним его с t-тестом.

Читать далее
Всего голосов 15: ↑14 и ↓1 +13
Комментарии 0

Рейтинги в сфере BI — какая от них польза?

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 1.7K

Завтра, 15 февраля в 11-00 мы проводим круглый стол на тему оценки рейтингов BI, и я хочу пригласить всех желающих принять участие в этой онлайн-дискуссии. Мы планируем обсудить, почему в сфере BI рейтинги так сильно отличаются друг от друга, узнать напрямую у главных редакторов и руководителей аналитических отделов, чем они руководствуются, составляя те или иные рейтинги, а также спросить у заказчиков, обращались ли они к рейтингам, когда выбирали BI-платформу. Хотите принять участие и задать свои вопросы маститым экспертам? Все подробности под катом.

Читать далее
Всего голосов 11: ↑8 и ↓3 +5
Комментарии 1

Merlion Framework или как упростить работу с временными рядами

Время на прочтение 11 мин
Количество просмотров 2.6K

Единственная причина для существования времени — чтобы все не  случилось одновременно.

Альберт Эйнштейн

Привет! Меня зовут Дмитрий, я дата-инженер в SM Lab, и в этом посте хочу рассказать вам о Merlion Framework. В посте мы рассмотрим его архитектуру, полезные функции и отличия от аналогов, разберём пару практических примеров, а также посмотрим, как всё считать и на какие метрики стоит обращать внимание.

В нашем мире время является незаметным четвертым измерением, по оси которого можно упорядочивать разные события.

Временной ряд – это набор данных, описывающих изменения какой-либо переменной во времени. 

Задача анализа и предсказания временных рядов остаётся актуальной для бизнеса, ведь  для успешного планирования возникает необходимость прогнозирования, например, следующих показателей:

Читать далее
Всего голосов 19: ↑19 и ↓0 +19
Комментарии 4

Вклад авторов