Визуализация данных *

Привет, Хабр! Сегодня мы отправимся в увлекательное путешествие по просторам Вселенной, не вставая из-за компьютера. Задумывались ли вы, как планеты удерживаются на своих орбитах, почему галактики не разлетаются в разные стороны, и что заставляет яблоки падать на землю (да-да, снова этот старина Ньютон)? Ответ один – гравитация! Эта невидимая, но всемогущая сила правит бал во Вселенной, от мельчайших пылинок до гигантских скоплений галактик. Мы разберёмся, как из простых законов рождаются сложные и красивые взаимодействия, напишем код, который оживит наши виртуальные миры, и, возможно, даже почувствуем себя немного демиургами, управляющими судьбами звёзд.

Привет, Хабр! На связи Кирилл Мазуров, продуктовый аналитик в Garage Eight. Прошлая статья с советами по визуализации данных собрала больше 70 сохранений, поэтому написал вторую часть и дополнил ее примерами кода. 

Подготовка презентаций до сих пор остаётся головной болью для многих компаний: ручной перенос графиков из BI в PowerPoint, устаревшие данные и бесконечные правки шаблонов. В Modus BI мы решили эту проблему, добавив функцию экспорта дашбордов прямо в презентации. Рассказываем, как это работает, почему это удобно и какие ограничения пока остаются.

Централизованная аналитика — это фундамент эффективного принятия решений в компании. Чтобы данные действительно работали на бизнес, они должны пройти путь от извлечения до представления в понятной форме. Один из наиболее известных и проверенных временем подходов — архитектура, построенная на четырех ключевых модулях: интеграция, обработка, представление и управление. В этой статье мы познакомимся с каждым из них, а также рассмотрим один из рабочих вариантов реализации (DQ, BI, метаданные и др.).

На связи Анна Астахова, директор по развитию ИТ-интегратора «Белый код». Сегодня бизнесу также, как и студентам, нужны знания. На примере одного из проектов рассказываю, как работает бизнес-аналитика в образовании. 

В большой организации, службы поддержки которой завязаны на сотни тысяч, а то и на миллионы клиентов, иногда даже относительно простое решение по автоматизации рутинных процессов позволяет серьезно повысить эффективность работы. В Росгосстрахе одним из таких решений стало создание Внутреннего сервисного портала, который помог упростить и ускорить решение задач конечными исполнителями из бек-офиса и разгрузить команды инженеров, разработчиков и аналитиков.

Это, безусловно, не наше ноу-хау в классическом понимании этого термина — мне кажется, сегодня любая современная компания должна заботиться об оптимизации и автоматизации обработки поступающих обращений от клиентов, партнеров и регуляторов. Но мы уже заметили положительный эффект от того, что с помощью портала многие запросы удается решить на первой линии поддержки — довольно быстро и без привлечения дополнительных ресурсов.

Простота — это тоже прогресс

Современный бизнес нуждается в гибкой и быстрой аналитике. Однако далеко не у всех компаний есть ресурсы, чтобы внедрить полноценное хранилище данных, построить витрины, разработать десятки отчётов и BI-дашбордов. И даже если такая система существует, запросы от пользователей зачастую выходят за пределы заранее разработанных визуализаций: "А можно посмотреть это по неделям, но только по новым клиентам и только для региона X, исключая сегмент Y?".

В этой статье я покажу, как с помощью Power BI и Excel можно построить модель, которая:

- Даёт пользователям гибкость при анализе данных

- Использует Power BI как логическую модель

- Позволяет работать с моделью напрямую из Excel — без SQL и без BI-дэшбордов

Мир вокруг нас стремительно меняется – активно развиваются технологии, усложняются и трансформируются бизнес-процессы компаний, миллионы операций, которые раньше выполнялись сотрудниками вручную, сейчас автоматизируются и роботизируются.

Эти глобальные изменения предоставляют массу возможностей каждому. Но насколько вы уверены, что даже с учетом всех изменений и внедренных новшеств процессы в компании работают по-настоящему эффективно? Process mining – это технология, которая ставит под сомнение ваши предположения и поможет высвободить незадействованные ранее резервы для оптимизации.

Компания «Газпром нефть» уделяет особое внимание цифровому развитию и активно внедряет инновационные решения в бизнес-процессы. Именно поэтому еще в 2016 году компания начала активно пилотировать технологию process-mining, а уже в 2019 году и разрабатывать свою собственную аналитическую платформу Промайн.

Изначально Промайн разрабатывался для целей внутреннего аудита, что было продиктовано, в первую очередь, необходимостью автоматизации рутинных процедур и перехода от выборочного тестирования к полному анализу имеющихся данных. На первых этапах Промайн применялся для анализа непроизводственных процессов – закупки, продажи, управление персоналом, казначейские операции и др. По мере накопления практического опыта и компетенций, технология была масштабирована на сложные производственные процессы компании.

В настоящее время компания «Газпром нефть» является лидером Российского рынка по масштабам использования технологий process mining, накоплен значительный багаж практических знаний и компетенций. Только в периметре компании «Газпром нефть» Промайн активно используется:

Компания «Газпром нефть» вышла на рынок с новой концепцией: компания не просто предлагает продукт Промайн, использующий в своей основе технологию process mining, а делится многолетним опытом внедрения и применения технологии process mining на сотнях бизнес-процессов. Это не просто инструмент, а целостный подход, включающий экспертизу, уникальную методологию анализа и практический опыт, накопленный на множестве проектов. Именно поэтому решения компании адаптированы к реальным бизнес-условиям и дают максимальный эффект, повышая операционную эффективность. Имея такой багаж знаний и опыта практического применения, компания помогает своим клиентам наиболее быстро, эффективно и успешно внедрять данную технологию.

История и развитие

Компания «Газпром нефть» начала пилотировать технологии process mining с 2016 года и разрабатывать собственное решение в 2019 году, одновременно применяя его в следующих бизнес направлениях: добыча углеводородов, нефтепереработка, логистика и складское хозяйство, строительство, управление надёжностью, оптовые и розничные продажи, казначейство, управление персоналом и др.

Сегодня Промайн используют сотни пользователей. Среди них уже не только аудиторы, но и топ-менеджмент, руководители подразделений, чьи процессы мониторятся в онлайн-режиме. Однако ключевой особенностью применения Промайн в «Газпром нефти» является не только процессная аналитика. Компания создала из этого инструмента большую аналитическую платформу, которая позволяет контролировать эффективность процессов в онлайн-режиме.

Обычно для создания Телеграм-бота нужно знать какой-нибудь язык программирования и арендовать виртуальный веб-сервер. Теперь api2app позволяет создавать в графическом режиме не только веб-приложения, мини-приложения для ВК, но и чат-ботов для Телеграм. Если у вас есть готовое API, то для создания бота Вы можете обойтись без программирования, а бекенд-программисты могут сэкономить время.

В этом уроке расскажу как быстро создать простого Телеграм-бота.

Арт‑рынок непонятен для многих и работает по своим неписанным законам, которые иногда непонятны даже для самих участников рынка. Более того, процессы, происходящие в этой сфере зачастую противоречат сами себе, и бывает сложно делать верные выводы и строить прогнозы.

Но, что точно не вызывает сомнений — что коронокризис дал арт‑рынку тот самый пинок, который сдвинул с места очень консервативную неповоротливую прекрасную, но смотрящую свысока на всех вокруг, машину арт‑рынка.

После взлета онлайн‑продаж 2020–2021 гг. существенная часть арт‑рынка стала использовать те же инструменты, что другие классические рынки товаров:

Когда владельцы бизнеса просят команду IT «добавить аналитику» в продукт, часто это заканчивается болью — и для разработчиков и для самого бизнеса. За последние несколько лет я участвовал в построении аналитических решений более чем в 10 компаниях — от стартапов до крупных корпораций. Почти во всех компаниях среднего уровня, только начинающих выстраивать BI-аналитику, я видел одну и ту же ошибку: попытку встроить аналитику в архитектуру приложения как обычный модуль. Это не работает, и вот почему.

Всем привет, меня зовут Виталий, аналитик данных и автор телеграмм канала "Детектив данных" и тон поста во многом определяет этот факт.

Однажды на мой красивый дашборд пришёл руководитель одного из направлений с претензией что его направление в конкретном регионе дало минус 60 тысяч процентов - хотя на самом деле там должно быть плюс, так как показатель аналогичного периода прошлого ушёл в минуса по определённой причине.

Так и появилась, да и вскоре решилась, проблема со знаком и выявлена ошибка в элементарной формуле которую использовали все коллеги вокруг

Следующий фундаментальный вопрос который возник, и который еще предстоит решить - это как раз эти злополучные тысячи процентов - на верхних уровнях их не видно, но при накидывания фильтров в определенных разрезах эти значения ломают как и графики, так и гистограммы в таблицах. Да и кажется что такие значения - они и не нужны - все прекрасно понимают что тысячи процентов прироста - это скорее выбросы связанные с пересегментацией, возвратами и кривыми данными какого-нибудь иного вида. Мы же от нуля не можем посчитать прирост, тогда с какой стати мы должны его считать от отрицательного значения?

А пока решал проблему - сама собой и пришла идея обернуть этот "кейс" в детективный формат. Приятного чтения!

1 акт. «Минус на минус»

В один туманно-серый вечер понедельника к детективу данных в дверь постучал встревоженный дата аналитик. Он держал в руках старый учебник по математике весь исписанный формулами и процентами.
«Привет, детектив! Тут что-то не так. Я анализировал продажи по формулам из интернета и книг. Но они нас обманывали! Формула неправильная.»

Ситуационный центр (СЦ) в классическом представлении — это специально оборудованное рабочее место, оснащенное средствами связи и отображения информации о мониторинге, результатов анализа, процессе оперативного реагирования ситуации. Ключевым компонентом является программный комплекс, собирающий и анализирующий данные из разных источников, автоматизирующий контроль предотвращения аварий и устранения их последствий.

Цель статьи — показать на примере энергетической отрасли, как внедрение таких технологий позволило автоматизировать разрозненные бизнес-процессы, повысить эффективность оперативного реагирования, а также улучшить качество оказываемых услуг. Будет представлен пример реализации базового функционала системы для энергетической отрасли. В дальнейшем планирую более детальное описание используемых технологий.

Меня зовут Олег, и в Яндексе мы с командой занимаемся Python-обвязкой вокруг нашей базы данных YDB. Python знаменит «батарейками в комплекте», широким ассортиментом библиотек на все случаи жизни, включая богатую экосистему для работы с базами данных. Есть свой интерфейс DBAPI (PEP-249), несколько конкурирующих ORM и многочисленные уровни абстракции между софтом и базами. В этой статье — о том, как мы делали полноценную интеграцию нашей базы данных с Apache Superset: чтобы достаточно было выбрать YDB из выпадающего меню и начать визуализировать аналитические данные.

Как мы в PIX BI приручили таблицы, чтобы выжимать максимум из данных

Когда мы думаем о таблицах, сразу приходит на ум Excel — этот старший брат всех электронных таблиц, который, несмотря на свои достоинства, часто становится… Но — давайте не будем подсвечивать ничьи недостатки, а лучше поговорим о достоинствах! Таблицы смело можно назвать визуализацией данных еще со времен древних цивилизаций. Их использовали для учета всего — от ракушек на базаре до золотых статуй в храмах. Современные аналитики хорошо знают истинную ценность таблиц и доверяют им.

Когда мы накапливаем достаточно опыта работы с таблицами в Excel, когда исследователь, сидящий в каждом аналитике, топает ногами и требует расширения его контроля над данными, — вот тут и начинается наше путешествие в мир BI-систем.

Да, работать с таблицами в self-service системах, таких как PIX BI, удобнее, чем в Excel. Почему? Во-первых, это просто. Все элементы интерфейса интуитивно понятны. Не нужно фантазировать с формулами или изображать из себя мега-специалиста, чтобы увидеть, как растут ваши продажи. Все происходит наглядно, быстро и без лишних нервов.

Во-вторых, BI-системы предлагают интерактивность: можно легко настраивать фильтры, сортировки и даже комбинировать данные без риска испортить всю таблицу. Вся информация собирается в одном месте, как старые, дорогие сердцу игрушки — с уютом и любовью!

Итак, в этой статье я подробнее разберу, как работать с таблицами в BI и какие фишки можно использовать. Конечно, на примере продукта, который мы создаем — PIX BI. Открываем двери нового, яркого мира аналитики!

Всех приветствую! Зовут меня Павел, работаю в Datapulse. Создаем различные решения для автоматизации DWH.

Мы живем в переходном периоде, когда на смену традиционным инструментам и подходам в data-engineer приходят новые. То, что еще вчера казалось стандартом де-факто, сегодня все чаще воспринимается как анахронизм. Пример тому - война GUI («гуевых») ETL инструментов со скриптовыми закончилась безоговорочной победой последних. Скрипты взяли верх благодаря своей масштабируемости, возможности применения Git и лучшей интеграции в процессы CI/CD.

А что же с BI? Мы привыкли к мастодонтам: PowerBI, Tableau, Qlik. Либо open-source: Superset, Metabase. Они в свое время стали стандартом, захватив большую часть рынка, а sales manager получали очень неплохие премии за их внедрение. И, казалось, время молочных рек и кисельных берегов не закончится никогда. Компании продолжат тратить кучу денег на красивенькие графики, которыми не пользуются, а в сообществе аналитиков будут лишь рассуждать о том, как доказать упертому менеджеру, что дашборд-вундервафля в PowerBI гораздо удобнее старого доброго Excel (шутка).

А времена эти, если и не прошли, то близятся к закату. Старые короли чахнут и умирают. Приветствуем новых!

> Данная статья -- результат моего выступления на конференции AMITA. И первый шаг в создании диссертации. Тема еще требует проработки, но кажется мне перспективной. Поэтому этой статьей я хочу призвать силу хабрасообщества -- для критики, обсуждения или поддержки (как пойдет).

Проектирование хранилища «от интерфейсов» (когда сначала прорабатывается интерфейс дашборда, а потом определяются необходимые для его работы данные и алгоритмы их обработки), по моему мнению, при внедрении в масштабах всего предприятия становится излишне сложным, так как вместе с количеством пользователей возрастает и количество интерфейсов.

Последовательный же перебор всех стейкхолдеров приводит к появлению фактически разных метрик под одним и тем же названием, а так же к формированию интерфейсов «из того, что есть», а не из тех данных, которые действительно требуются. Нередко в таком случае дизайн интерфейса выходит на первое место относительно полноты и реальной необходимости представляемых им данных.

Можно ли научить Python рисовать? Эта статья — не сухой туториал, а настоящая история экспериментов с генеративным искусством. В ней рассказывается о создании цифровых картин с помощью случайностей, математики, шума Перлина и любви к визуальному абсурду. Много кода, немного философии и никакой нейросети — только чистый Python и жажда выразительности.