Обновить
56.17

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Порог рейтинга
Уровень сложности

api2app: Создание чат-бота для Телеграм

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров2.9K

Обычно для создания Телеграм-бота нужно знать какой-нибудь язык программирования и арендовать виртуальный веб-сервер. Теперь api2app позволяет создавать в графическом режиме не только веб-приложения, мини-приложения для ВК, но и чат-ботов для Телеграм. Если у вас есть готовое API, то для создания бота Вы можете обойтись без программирования, а бекенд-программисты могут сэкономить время.

В этом уроке расскажу как быстро создать простого Телеграм-бота.

Читать далее

Книга: «Магия Excel для непрограммистов. Сводные таблицы, Power Query, дашборды и многое другое»

Время на прочтение3 мин
Количество просмотров16K
Привет, Хаброжители!

В бизнесе тот, кто владеет искусством превращения сырых данных в четкие инсайты, получает неоспоримое преимущество. Книга Томаса Фрагейла «Магия Excel для непрограммистов. Сводные таблицы, Power Query, дашборды и многое другое» раскрывает секреты мастерской работы с информацией, доступные каждому офисному сотруднику.

Автор, сертифицированный инструктор Microsoft с 40-летним стажем, создал практическое руководство по цифровому выживанию в мире, где требования к отчетности растут экспоненциально. Его методология прошла проверку в корпорациях из списка Fortune 500, государственных учреждениях и образовательных структурах.
Читать дальше →

Анализ тенденций арт-рынка

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров704

Арт‑рынок непонятен для многих и работает по своим неписанным законам, которые иногда непонятны даже для самих участников рынка. Более того, процессы, происходящие в этой сфере зачастую противоречат сами себе, и бывает сложно делать верные выводы и строить прогнозы.

Но, что точно не вызывает сомнений — что коронокризис дал арт‑рынку тот самый пинок, который сдвинул с места очень консервативную неповоротливую прекрасную, но смотрящую свысока на всех вокруг, машину арт‑рынка.

После взлета онлайн‑продаж 2020–2021 гг. существенная часть арт‑рынка стала использовать те же инструменты, что другие классические рынки товаров:

Читать далее

Почему стандартные подходы к разработке не работают в аналитике: взгляд изнутри

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров6.3K

Когда владельцы бизнеса просят команду IT «добавить аналитику» в продукт, часто это заканчивается болью — и для разработчиков и для самого бизнеса. За последние несколько лет я участвовал в построении аналитических решений более чем в 10 компаниях — от стартапов до крупных корпораций. Почти во всех компаниях среднего уровня, только начинающих выстраивать BI-аналитику, я видел одну и ту же ошибку: попытку встроить аналитику в архитектуру приложения как обычный модуль. Это не работает, и вот почему.

Читать далее

Процент лжи

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров1.8K

Всем привет, меня зовут Виталий, аналитик данных и автор телеграмм канала "Детектив данных" и тон поста во многом определяет этот факт.

Однажды на мой красивый дашборд пришёл руководитель одного из направлений с претензией что его направление в конкретном регионе дало минус 60 тысяч процентов - хотя на самом деле там должно быть плюс, так как показатель аналогичного периода прошлого ушёл в минуса по определённой причине.

Так и появилась, да и вскоре решилась, проблема со знаком и выявлена ошибка в элементарной формуле которую использовали все коллеги вокруг

Следующий фундаментальный вопрос который возник, и который еще предстоит решить - это как раз эти злополучные тысячи процентов - на верхних уровнях их не видно, но при накидывания фильтров в определенных разрезах эти значения ломают как и графики, так и гистограммы в таблицах. Да и кажется что такие значения - они и не нужны - все прекрасно понимают что тысячи процентов прироста - это скорее выбросы связанные с пересегментацией, возвратами и кривыми данными какого-нибудь иного вида. Мы же от нуля не можем посчитать прирост, тогда с какой стати мы должны его считать от отрицательного значения?

А пока решал проблему - сама собой и пришла идея обернуть этот "кейс" в детективный формат. Приятного чтения!

1 акт. «Минус на минус»

В один туманно-серый вечер понедельника к детективу данных в дверь постучал встревоженный дата аналитик. Он держал в руках старый учебник по математике весь исписанный формулами и процентами.
«Привет, детектив! Тут что-то не так. Я анализировал продажи по формулам из интернета и книг. Но они нас обманывали! Формула неправильная

Читать далее

Современный ситуационный центр: как автоматизировать необъятное

Время на прочтение6 мин
Количество просмотров4.6K

Ситуационный центр (СЦ) в классическом представлении — это специально оборудованное рабочее место, оснащенное средствами связи и отображения информации о мониторинге, результатов анализа, процессе оперативного реагирования ситуации. Ключевым компонентом является программный комплекс, собирающий и анализирующий данные из разных источников, автоматизирующий контроль предотвращения аварий и устранения их последствий.

Цель статьи — показать на примере энергетической отрасли, как внедрение таких технологий позволило автоматизировать разрозненные бизнес-процессы, повысить эффективность оперативного реагирования, а также улучшить качество оказываемых услуг. Будет представлен пример реализации базового функционала системы для энергетической отрасли. В дальнейшем планирую более детальное описание используемых технологий.

Читать далее

Релиз диалекта YDB для SQLAlchemy: как мы сделали интеграцию с Apache Superset

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров2.3K

Меня зовут Олег, и в Яндексе мы с командой занимаемся Python-обвязкой вокруг нашей базы данных YDB. Python знаменит «батарейками в комплекте», широким ассортиментом библиотек на все случаи жизни, включая богатую экосистему для работы с базами данных. Есть свой интерфейс DBAPI (PEP-249), несколько конкурирующих ORM и многочисленные уровни абстракции между софтом и базами. В этой статье — о том, как мы делали полноценную интеграцию нашей базы данных с Apache Superset: чтобы достаточно было выбрать YDB из выпадающего меню и начать визуализировать аналитические данные.

Читать далее

Как мы в PIX BI научились выжимать максимум из данных с помощью таблиц

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров3.1K

Как мы в PIX BI приручили таблицы, чтобы выжимать максимум из данных

Когда мы думаем о таблицах, сразу приходит на ум Excel — этот старший брат всех электронных таблиц, который, несмотря на свои достоинства, часто становится… Но — давайте не будем подсвечивать ничьи недостатки, а лучше поговорим о достоинствах! Таблицы смело можно назвать визуализацией данных еще со времен древних цивилизаций. Их использовали для учета всего — от ракушек на базаре до золотых статуй в храмах. Современные аналитики хорошо знают истинную ценность таблиц и доверяют им.

Когда мы накапливаем достаточно опыта работы с таблицами в Excel, когда исследователь, сидящий в каждом аналитике, топает ногами и требует расширения его контроля над данными, — вот тут и начинается наше путешествие в мир BI-систем.

Да, работать с таблицами в self-service системах, таких как PIX BI, удобнее, чем в Excel. Почему? Во-первых, это просто. Все элементы интерфейса интуитивно понятны. Не нужно фантазировать с формулами или изображать из себя мега-специалиста, чтобы увидеть, как растут ваши продажи. Все происходит наглядно, быстро и без лишних нервов.

Во-вторых, BI-системы предлагают интерактивность: можно легко настраивать фильтры, сортировки и даже комбинировать данные без риска испортить всю таблицу. Вся информация собирается в одном месте, как старые, дорогие сердцу игрушки — с уютом и любовью!

Итак, в этой статье я подробнее разберу, как работать с таблицами в BI и какие фишки можно использовать. Конечно, на примере продукта, который мы создаем — PIX BI. Открываем двери нового, яркого мира аналитики!

Читать далее

BI умер, да здравствует BI

Уровень сложностиПростой
Время на прочтение11 мин
Количество просмотров8.1K

Всех приветствую! Зовут меня Павел, работаю в Datapulse. Создаем различные решения для автоматизации DWH.

Мы живем в переходном периоде, когда на смену традиционным инструментам и подходам в data-engineer приходят новые. То, что еще вчера казалось стандартом де-факто, сегодня все чаще воспринимается как анахронизм. Пример тому - война GUI («гуевых») ETL инструментов со скриптовыми закончилась безоговорочной победой последних. Скрипты взяли верх благодаря своей масштабируемости, возможности применения Git и лучшей интеграции в процессы CI/CD.

А что же с BI? Мы привыкли к мастодонтам: PowerBI, Tableau, Qlik. Либо open-source: Superset, Metabase. Они в свое время стали стандартом, захватив большую часть рынка, а sales manager получали очень неплохие премии за их внедрение. И, казалось, время молочных рек и кисельных берегов не закончится никогда. Компании продолжат тратить кучу денег на красивенькие графики, которыми не пользуются, а в сообществе аналитиков будут лишь рассуждать о том, как доказать упертому менеджеру, что дашборд-вундервафля в PowerBI гораздо удобнее старого доброго Excel (шутка).

А времена эти, если и не прошли, то близятся к закату. Старые короли чахнут и умирают. Приветствуем новых!

Читать далее

Использование системной модели для проектирования аналитических хранилищ. Часть 1: описание модели для проектирования

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров476

> Данная статья -- результат моего выступления на конференции AMITA. И первый шаг в создании диссертации. Тема еще требует проработки, но кажется мне перспективной. Поэтому этой статьей я хочу призвать силу хабрасообщества -- для критики, обсуждения или поддержки (как пойдет).

Проектирование хранилища «от интерфейсов» (когда сначала прорабатывается интерфейс дашборда, а потом определяются необходимые для его работы данные и алгоритмы их обработки), по моему мнению, при внедрении в масштабах всего предприятия становится излишне сложным, так как вместе с количеством пользователей возрастает и количество интерфейсов.

Последовательный же перебор всех стейкхолдеров приводит к появлению фактически разных метрик под одним и тем же названием, а так же к формированию интерфейсов «из того, что есть», а не из тех данных, которые действительно требуются. Нередко в таком случае дизайн интерфейса выходит на первое место относительно полноты и реальной необходимости представляемых им данных.

Читать далее

Три примера, как BI помогает ИТ-директору крупной компании мониторить производительность и снижать нагрузку на систему

Время на прочтение5 мин
Количество просмотров1.9K

На связи Анна Астахова, директор по развитию ИТ-интегратор «Белый код». Много общаюсь с ИТ-директорами и знаю, что для многих важный показатель — производительность системы. И здесь бизнес-аналитика также полезна. Загруженные часы, некорректное использование журнала заказов, большое количество отчетов —  рассказываю на примере недавнего кейса, какие решения приняли в компании, когда проанализировали показатели производительности.

Читать далее

Markdown презентации по-новому: контроллер Nintendo, интерактивный блокнот и немного магии

Уровень сложностиПростой
Время на прочтение38 мин
Количество просмотров3K

Как превратить скучные слайды в интерактивную демонстрацию, где код можно запускать прямо на месте? В этой статье попробуем перенести презентацию в браузер, а затем — в «блокнот». Интерактивные среды, такие как Jupyter Notebook, Observable, Mathematica, WLJS Notebook, позволяют создавать живые презентации, лекции и наглядные материалы для коллег или студентов. Они незаменимы и для визуализации моделей, симуляций и любых данных.

Под катом — примеры, пошаговый разбор и демо вживую.

Читать далее

Как геймификация в BI влияет на мотивацию сотрудников

Время на прочтение6 мин
Количество просмотров1.5K

Эффективная мотивация сотрудников все больше становится одной из ключевых факторов успеха бизнеса. В этой статье я расскажу, как внедрение игровых элементов в BI может повысить вовлеченность команды, как геймификация помогает сделать работу с данными более увлекательной, и какие инструменты вы можете попробовать внедрить у себя. Поехали!

Читать далее

Ближайшие события

Выбираем BI-системы: обзор архитектуры, технологий и выбора

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров11K

Я часто пользуюсь в работе BI системами и всегда было интересно, что же там под капотом, насколько это сложная система. Спойлер - очень сложная! И я решил разобраться в вопросе и чуть более подробно. После подготовки этой статьи стало реальнее понятнее, откуда же все таки готовилось нападение, как работает тот же Power BI. Но вероятно, нужно будет перечитать некоторые моменты дважды. В тех местах, и понятиях, которые я сам не с первого раза понял, я добавлял дополнительное описание.

Читать далее

Графика и Python: 6 GUI-инструментов, которые пригодятся разработчикам в 2025 году

Время на прочтение33 мин
Количество просмотров28K

Привет, Хабр! Меня зовут Леша Жиряков, я техлид бэкенд-команды витрины KION, а еще в МТС я возглавляю Python-гильдию.

В 2025 году Python остается одним из самых популярных языков программирования, а его возможности для создания графических интерфейсов (GUI) продолжают радовать разработчиков. В этой подборке — шесть лучших инструментов, которые выделяются функциями, активностью сообщества и фишками. Погружаемся в мир кнопок, окон и виджетов — от проверенной классики до ярких новичков GitHub.

Читать далее

Аналитика по скидке: когда клиенты готовы платить только впечатлениями

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров1.1K

Аналитика по скидке: когда клиенты готовы платить только впечатлениями

Если данные новая нефть, то почему за нее не готовы платить?

Как измерить ценность внедрения аналитики?

Читать далее

Некоторые особенности создания диаграммы Санки (Sankey Diagram) на Python, библиотека plotly

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров3.3K

Разбираемся как упаковывать данные в диаграмму Sankey, от этапа проектирования до сборки финальных кортежей.

Читать далее

Анализ данных: от EDA до Tinder-битвы графиков

Время на прочтение6 мин
Количество просмотров1.9K

Всем привет! Меня зовут Максим Шаланкин, и я веду несколько образовательных блоков в нашей школе аналитиков данных в МТС. Сегодня я хочу рассказать, как мы организовали необычное занятие по анализу данных: в нем студенты соревновались за звание лучшего в игре, напоминающей Tinder, но для графиков предварительного анализа (EDA). Эта активность не только помогла освоить ключевые навыки визуализации, но и сделала процесс обучения увлекательным и запоминающимся, демонстрируя практическую значимость качественного анализа данных.

В этом материале я расскажу, как мы вообще обучаем EDA, какие нюансы есть в процессе и как мы делаем его интересным с помощью игры. История и графики победителей под катом.

Читать далее

Pet-проект: «Граф Компетенций»

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров3.2K

Как-то всем отделам дали задание: предоставить матрицы компетенций. Все поняли его по-своему. Я не был исключением. Речь пойдёт о том, зачем нужен более высокий уровень абстракции для матрицы компетенций, и как он называется?

Читать про граф компетенций

Генерация цветовых градиентов для дашбордов Dash и отдельных графиков Plotly

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров1.3K

Создание цветовых градиентов для дашбордов в Dash/Plotly

Проблема: при создании интерактивных дашбордов часто возникает сложность с автоматической цветовой разметкой категорий, количество которых может динамически меняться.

Решение: автор делится методом создания адаптивных цветовых схем‑градиентов, которые автоматически подстраиваются под количество категорий без ручного задания цветов.

В статье вы узнаете:

Как избежать проблем с ручным назначением цветов

Как предотвратить «заканчивание» заранее подготовленных цветовых палитр

Как создать равномерные цветовые градиенты в рамках заданной схемы

Практические примеры реализации на Plotly и Dash

Для кого: разработчики дашбордов, работающие с Plotly и Dash, которые хотят оптимизировать процесс визуализации категориальных данных.

Что внутри: готовые решения для автоматического создания цветовых градиентов, которые можно легко интегрировать в свои проекты.

Читать далее