Визуализация данных *

Как строить систему отчетности? Расскажет Рома Бунин! 

В мае в гости к аналитическому комьюнити Garage Eight заглянул Рома Бунин, специалист по визуализации данных и развитию BI-систем, Head of Data Nebius Group, а также автор канала Reveal the Data. На встрече он рассказал про Dashboard Map. Этот фреймворк позволяет заранее оценить, какая аналитика нужна внутри команды, и подготовить инструменты для разных типов задач. 

Лекцию записали и теперь делимся с вами!

Из нее узнаете: 
> зачем нужно заранее проектировать архитектуру системы дашбордов;
> из каких шагов состоит проектирование; 
> как заполнять Dashboard Map;
> как провести сессию проектирования;
> что делать после сессии;
> примеры систем дашбордов.

Смотрите на удобной платформе: YouTube | VK Видео

BI-система помогает аптечным сетям управлять продажами быстро и эффективно

Если вы хотите оперативно принимать решения, опираясь на точные данные, приглашаем вас на вебинар-демонстрацию решения по BI-аналитике специально для аптечных сетей.

• Дата: 24 июня

• Время: 12:00 мск

• Бонус для участников: скидка 10% на проведение предпроектного обследования

С помощью BI-аналитики можно собирать и визуализировать ключевые показатели работы аптечной сети: от продаж до эффективности персонала. Вы получите полную картину в виде понятных графиков и диаграмм. А главное, сможете быстро скорректировать стратегию работы, особенно во время сезонных пиковых нагрузок.

Этим инструментом уже пользуются некоторые аптеки. В одном из недавних кейсов рассказывала, как крупная сеть, включающая более 250 точек, получила возможность анализировать остатки и продажи. Например, система показывает, как долго товары лежат без движения, а также предрассчитывает, на сколько хватит запасов. 

На вебинаре руководитель проектного отдела Анна Светличная расскажет:

• какое решение поможет управлять аптечной сетью на основе данных,

• почему бизнес-аналитика становится стандартом в аптечном ритейле,

• как с помощью BI можно находить точки роста и управлять показателями в реальном времени.

Также проведем демонстрацию продукта на примере данных аптечных сетей и ответим на ваши вопросы.

Регистрируйтесь по ссылке

Как я снова отравилась из-за океана — и при чём тут аналитика данных

1. Температура, тошнота, диарея — это происходит со мной каждый раз после серфинга в дождливый сезон, когда в море сливается всё, что угодно — от мусора до банальных 💩.

2. В северной части Тихого океана, на полпути между Гавайями и Калифорнией, вращается 100 000 тонн пластикового мусора. Добро пожаловать в Большое мусорное пятно — область, втрое больше Франции. Оно выглядит так же катастрофично, как и звучит: сверху напоминает гигантский пластиковый суп.

И это лишь 2 примера, подтверждающие: мусор в океане — это глобальный кризис, а не локальная история. Скоро мы вообще не зайдём в океан?

➡ Ежегодно в океаны, реки и озёра попадает 19–23 млн тонн пластика — как если бы каждую минуту в воду сбрасывали 2 000 мусоровозов.

➡ На поверхности океанов плавает около 170 трлн пластиковых частиц, а на дне может быть в 10 000 раз больше.

➡ Ежегодно из-за мусора в океане погибают 100 миллионов морских животных. Страдают и морские растения, которые участвуют в производстве 70% кислорода.

➡ В исследовании микропластик нашли в 99% морепродуктов. Это вызывает тревогу из-за возможного влияния на пищеварительную, эндокринную и другие системы организма.

Все ссылки на исследования опубликовала тут.

Чем помогает аналитика в этой проблеме?

В мире есть некоммерческие и частные организации, борющиеся с загрязнением. Например, The Ocean Cleanup очищает океаны от пластика с помощью инновационных технологий.

1. Определяют источники загрязнения, чтобы “поймать проблему на старте”

💡 80% пластика попадает в океан через ~1000 рек.

Чтобы найти эти «артерии загрязнения», анализируют спутниковые данные, гидрологические карты, поведение мусора в воде, данные о населении и инфраструктуре. Это позволяет не просто «ловить мусор в океане», а перехватывать его у истока — в реках.

2. Предсказывают, куда поплывёт мусор, чтобы точнее планировать очистку

— Камеры на мостах фиксируют мусор в реках
— GPS-буи и радары отслеживают его путь в океане
— ИИ-модели показывают, где и когда он соберётся в “мусорные вихри”

Это помогает запускать очистку точно там и тогда, где она даст максимальный эффект.

3. Визуализация, которая не оставляет равнодушным

Цифры — это важно, но именно визуализация заставляет почувствовать масштаб. Данные превращают в наглядные дашборды, которые:
— Показывают, где океан «захлёбывается» от пластика
— Делают проблему видимой и понятной
— Помогают влиять на решения политиков и доноров

Дашборды по загрязнению пластиком можно посмотреть тут.

4. Прогнозы на будущее и машинное обучение

Чтобы не просто тушить пожары, а предотвращать их, аналитики обучают модели, которые помогают заглянуть вперёд:
— Что будет с океаном, если мы продолжим жить «как обычно»?
— А что изменится, если сократим пластик хотя бы на 20%?
— Где появятся новые точки бедствия через 5 лет?

Такие организации нанимают аналитиков данных и стажёров — есть вакансии по визуализации, машинному обучению, компьютерному зрению, анализу временных рядов (ссылки на вакансии опубликовала тут).

Или можно стать гражданским учёным и внести свой вклад, документируя пластиковое загрязнение с помощью специальных приложений (Ocean Cleanup Survey App или Debris Tracker).

Есть такая программа - Microsoft Excel. Полезная штука, но её активно применяют не совсем для обработки данных, ей пользуются для визуализации процессов, алгоритмов. Базовых инструментов хватает чтобы делать много интересных вещей, но до сего дня, когда мне нужен был скриншот части таблицы, я просто делал его с помощью Win+Shift+S. Но, зная давно о том что в Whatsapp можно вставлять таблицу в виде картинки, я как-то не подумал что так можно делать быстро и точно скриншоты участков, особенно если хочется сделать потом анимацию GIF.

То есть выделяем участок в Excel, копируем в буфер обмена, переключаемся в десктопную версию Whatsapp и вставляем. Кусок таблицы вставится как PNG картинка, которую прям на том же экране можно скачать в один клик. Но и это еще не всё, я открыл Paint.Net и вставил из буфера кусок таблицы и он вставился как картинка. Чудеса.

Да-да, я знаю, что вы могли о таком знать уже лет 10 XD ну что поделать, может кто-то такой же как я жираф.

Радио-серфинг: как исследовать короткие волны без спецоборудования

В университете Твенте [1] есть коротковолновый приемник, к которому можно подключиться через обычный браузер [ссылка] и исследовать ответы тысяч радиостанций по всему миру (в режиме реального времени).

С помощью ресурса можно:
1️⃣ Слушать радиолюбительские передачи, авиационные каналы, морскую связь и многое другое
2️⃣ Исследовать разные частоты и находить интересные сигналы
3️⃣ Делать записи эфиров, чтобы потом прогонять их через декодеры
4️⃣ Погрузиться в мир радио, даже если у вас нет собственного оборудования

Этот ресурс — настоящий портал в мир радио. Даже если вы, как и я, не станете радиолюбителем, это отличный способ узнать что-то новое.

Вот несколько интересных частот с которых можно начать:
🇳🇱 1008.00 кГц — Radio Twenty Gold (Нидерланды)
🇷🇺 4625.00 кГц — легендарная "Жужжалка" (УВБ-76). Загадочный сигнал, о котором ходят легенды. Подробнее можно почитать здесь (https://www.rbc.ru/base/18/12/2024/6762bb5c9a7947e14d132352)
🇫🇷 9790.00 кГц — Radio France
🇷🇴11930 кГц — Radio Romania International

Если вам понравился пост и вы хотите узнавать больше о подобных инструментах, то можете подписаться на мой авторский Telegram-канал!

P.S. ещё на ресурсе есть онлайн чат, в котором вы можете общаться с другими радиолюбителями

Redash в Amvera Cloud

Сегодня мы выпускаем Redash, как преднастроенный сервис.

Redash позволяет осуществлять запросы к базам данных и визуализировать результаты. Это хороший и простой BI-инструмент, которым мы пользуемся сами.

Для установки Redash необходимо заполнить по инструкции несколько переменных/секретов для подключения к PostgreSQL и Redis, и выбрать тариф от 290 р./мес.

Amvera Cloud — это облако для простого деплоя приложений через git push. Встроенный CI/CD, бэкапы и мониторинг позволяют развернуть проект тремя командами в IDE и не думать о настойке инфраструктуры. А встроенное проксирование к OpenAI, облегчает работу с LLM. Amvera проще, чем использование VPS.

Очень быстрая графика в Matplotlib (Python). Достигли 2-х кратного ускорения в сравнении с предыдущей версией. Python исходник в моем телеграм

Изучаем глубины Matplotlib: ваш анимированный логотип на ваших графиках

(как бы брэндирование, исходник)

Необычное! Исходник прототипа игры Пинг-Понг на MatPlotLib (научная графика на python) с высоким FPS .

Ранее в моей >>статье на Хабр было рассмотрено применение PyGame для построения графиков, а теперь, наоборот, делаем игру на системе построения научных графиков. В предыдущей версии при попытке вывода текста с высоким FPS возникали сильные "тормоза", В текущей версии эта проблема решена.

В коде для отрисовки всех элементов игры используются только объекты MatPlotLib: теннисные ракетки - это столбцовые диаграммы, мячик - это scatter диаграмма, само игровое поле - это объект figure из MatPlotLib, текст также выводится через встроенные в MatPlotLib функции. Для анимации используется встроенный в MatPlotLib объект Animation + update(). FPS=40 (сорок!).

P.S. желтая столбцовая диаграмма - это распределение координат по оси Y, в которых ракетка отбивает мячик. Обновляется при каждом ударе ракеткой по мячику.

Из комментариев к статье о гитарном тюнере выяснилось, что многие НЕ верят, что можно вычислять ОЧЕНЬ ТОЧНО частоту синусоидального сигнала по очень небольшому количеству отсчетов не равному степени двойки для FFT и намного точнее чем FFT на том же количестве отсчетов и том же временном интервале накопления данных. Например, ошибка определения частоты может быть 0.05 Гц при небольшом количестве отсчетов на интервале 0.1 сек (FFT дало бы ошибку в 10 Гц = 1/0.1 сек) . Однако, кажется, это возможно. Вот ссылка на мой код на Python (>>исходник) (в телеграм) Коллеги, прошу проверить код, возможно я где-то ошибся.

Представлена полная версия интерактивной карты мира — TimeMap, которая охватывает всю историю человечества и самые важные события. Можно отследить изменения границ государств, правителей, войны и битвы. И всё это со времён древних шумеров до начала 21 века. Ко всему подвязаны статьи с Вики — можно нажать на любой флаг и быстро узнать историю древнего государства.

По итогам жарких обсуждений и критики по поводу медленного кода и плохого fps в тесте вывода на экран графика sin()+noise для Matplolib были внесены усовершенствования и привлечен ИИ для полировки. Исходная статья и код https://habr.com/ru/articles/878002/

Отказ от медленного вывода текста, применение FuncAnimation вместо простого цикла, применение мэджик команды для подключения PyQT backend. FPS поднялся с 12 до 35. Подробности читайте в исходной статье https://habr.com/ru/articles/878002/

м

Написана статья о тестировании (и сравнении FPS) на скорость рисования 2D графиков на python популярных и относительно малоизвестных графических пакетов 2D и 3D (Mayavi 3D, PyVista, Matplotlib, PyQTGraph, Plotly, PyGame, Arcade, pyOpenGL, VisPy, Bokeh) Возникли некоторые технические проблемы и срок публикации пока не ясен (надеюсь, на следующей неделе). Поэтому, заинтересовавшиеся коллеги, прошу подписаться на мой профиль на хабре, чтобы не пропустить публикацию этой статьи. В статье будут видео с отрисовкой в реальном времени 2D графиков и будут измерены FPS. Специально использовался слабенький мини ПК без дискретки. Тем не мене FPS достигал в некоторых случаях 100. Пример видео ниже:

https://habr.com/ru/articles/878002/

Файлы к статье

Конец профессии? Может ли ИИ заменить аналитиков?

Всем привет на связи data dreamen!

На фоне новостей о выходе новых моделей ИИ — DeepSeek и Qwen2.5-Max, которые, судя по тестам, местами даже превосходят решения OpenAI, снова возникает вопрос: что будет дальше? Сможет ли ИИ заменить меня, аналитика? И что мне с этим делать?

Если коротко — пока нет. Это подтверждает исследование Всемирного экономического форума: профессии, связанные с аналитикой данных и Data Science, занимают 11-е место среди самых перспективных к 2030 году. DWH-инженеры находятся на 6-м месте, а специалисты по Big Data и вовсе возглавляют этот список.

Однако, несмотря на высокий спрос на аналитиков, ИИ все же серьезно повлияет на рынок и характер работы в этой сфере. Вопрос в том, как именно.

① Автоматизация инструментов. ИИ будет активно заменять рутинные задачи, в том числе у аналитиков. Написание кода, выгрузка данных, подготовка отчетов — всё это будет автоматизироваться, минимизируя ручной труд.

② Развитие self-service. Чем больше задач автоматизируется, тем меньше заказчикам потребуется обращаться к аналитикам напрямую. Многие вопросы смогут решаться через self-service инструменты, снижая нагрузку на команду аналитики.

③ Масштабирование и рост зоны ответственности. ИИ возьмёт на себя базовые аналитические задачи, а аналитикам останутся более сложные, стратегические и ответственные решения — там, где автоматизация не справляется.

Что все таки ИИ не сможет сделать с аналитиками?

① Разработка и принятие нестандартных решений. ИИ — это модель, обученная на данных, но он не обладает креативностью и не умеет находить альтернативные пути решения. Когда нужно выйти за рамки типовых сценариев, роль человека остаётся ключевой.

② Контекст, бизнес-логика и коммерческая тайна. Во многих компаниях процессы настолько сложны, что даже человеку требуется несколько лет, чтобы в них разобраться. ИИ может помогать, но учесть все нюансы и скрытые факторы ему пока не под силу. К тому же, передача коммерческих данных открытым моделям может быть небезопасной.

③ Коммуникация. Аналитика — это не только цифры, но и умение "продать" свои выводы бизнесу, донести ценность и добиться внедрения решений. Даже идеальный расчет не будет полезен, если его не смогли правильно презентовать. Ну и, конечно, навыки постановки ТЗ у заказчиков пока не оставляют шансов ИИ полностью заменить аналитиков.

Что же в итоге нас ждет?

Скорее всего, компании будут разрабатывать собственные решения или внедрять рыночные инструменты для автоматизации аналитики, например:

• конвертеры текстовых запросов в SQL-скрипты

• АВ-платформы, которые смогут работать без участия аналитиков

• визуализаторы данных, создающие отчёты по текстовому запросу

В результате акцент в работе аналитиков сместится: на первый план выйдут не базовые хард-скиллы (SQL, Python, BI-инструменты), а умение применять их в сложных и нестандартных ситуациях.

📉 К сожалению, это сильнее всего ударит по джунам — для принятия сложных решений нужен опыт, а простые задачи постепенно автоматизируются.

Но те, кто сможет адаптироваться, будут только в выигрыше! 🚀

Подписывайтесь на тг, там еще больше полезного и интересного про аналитику - https://t.me/data_dreamen

⁠⁠

Лучшие книги для освоения Excel

Excel — мощный инструмент для анализа данных, построения графиков и сводных таблиц. Чтобы освоить его возможности, составили подборку книг для начинающих и опытных пользователей.

Excel 2019 для чайников (Грег Харвей) — книга охватывает основные функции Excel: создание таблиц, работу с формулами, графиками и сводными таблицами. Подходит для начинающих пользователей. По книге можно научиться работать и в актуальной версии офисного пакета — значительных изменений между версиями нет.

Практикум по работе с приложением MS Excel. Задания 1–12 (Николай Морозов) — практическое руководство с заданиями для развития конкретных навыков работы с Excel — от ввода данных до решения финансовых задач.

Excel 2019. Библия пользователя (Джон Уокенбах, Ричард Куслейка, Майкл Александер) — подробное руководство включая шаблоны, форматирование, диаграммы, сводные таблицы и основы Visual Basic. Рассматриваются методы работы с большими объёмами данных и оптимизации процессов.

Сводные таблицы в Microsoft Excel 2021 и Microsoft 365 (Билл Джелен) — книга для начинающих. Практические примеры и советы, которые помогут освоить таблицы на высоком уровне.

Excel. Трюки и эффекты (Джон Уокенбах) — сборник советов и приёмов для повышения продуктивности работы в Excel, включая нестандартные решения и оптимизацию процессов. В книге много примеров и всё написано простым языком, чтобы облегчить понимание информации. Подойдет начинающим и опытным пользователям.

Microsoft Excel: Мастер Формул (Майкл Александер) — книга о создании и использовании формул в Excel, с продвинутыми техниками для решения сложных задач. К формулам стоит приступать после освоения базовых навыков.

Бизнес-моделирование и анализ данных. Решение актуальных задач с помощью Microsoft Excel (Уэйн Лесли Винстон) — о сложных формулах и системах, моделировании и аналитике данных. Книга учит делать выводы и давать рекомендации для бизнеса, решать сложные математические задачи.

MS Excel и VBA для моделирования различных задач (Джеффри Камински) — книга сочетает изучение Excel и Visual Basic for Applications (VBA), позволяя автоматизировать задачи и создавать модели для различных сценариев. Подходит для продвинутых пользователей.

→ Курс «Excel для работы» поможет научиться анализировать данные, работать с большими таблицами и визуализировать результаты, чтобы эффективнее решать рабочие задачи.

Пет-проект на 2025: модель кровообращение человека для спортивной физиологии

Эта идея пришла мне в голову совсем недавно. Беглое изучение научных работ показало востребованность данной тематики и отсутствие реальных публичных наглядных интерактивных моделей на python. Ниже очень примерный рисунок как бы могла бы выглядеть визуально такая модель.

Для предварительной проработки возможности создания такой модели пока нашел только следующий пакеты и системы:

• OpenModelica — это открытая платформа для моделирования и симуляции, поддерживающая язык Modelica. OpenModelica Connection Editor (OMEdit) позволяет создавать и симулировать модели гидравлических систем.

• PyFMI — это библиотека Python для работы с моделями, созданными в Modelica. Она позволяет загружать и симулировать модели, созданные в OpenModelica, непосредственно из Python.

• PySMO — (Python Simulation Modeling): Это библиотека Python для моделирования и симуляции различных физических систем, включая гидравлические.

• PyDSTool — (Python Dynamical Systems Toolkit): Это инструмент для моделирования и анализа динамических систем.

Поделитесь, пожалуйста, в комментариях своим опытом использования подобных систем для моделирования гидравлики.

MATPLOTLib: технологическое превосходство

Мы все, конечно, знаем, что старый добрый Matplotlib является одной из самых популярных библиотек для визуализации данных в Python, и он предлагает широкий спектр функций и методов для создания разнообразных графиков. Однако есть еще и Plotly, Bokeh и D3.js, которые также являются мощными инструментами для визуализации. Мое мнение, что Matplotlib предоставляет более гибкие и детализированные возможности для настройки графиков. Matplotlib хорошо работает с осями координат, что позволяет пользователям легко изменять масштабы, деления и метки осей. Кроме того, Matplotlib поддерживает встроенные афинные преобразования, такие как поворот, масштабирование и сдвиг. Пример на графике выше. Толстая линия на графике не сплошная, она сгенерирована из случайных точек. Это становится видно при увеличении, что сделано афинными преобразованиями, причем не предобработкой данных, а прямо сама matplotlib это делает без программирования.

GlowByte приглашает на конференцию «PIX Day: Процессы, аналитика и роботы – для людей»

Друзья, 5 декабря в Москве пройдет PIX Day — первая большая конференция, посвященная всей экосистеме продуктов PIX Robotics и опыту её использования ведущими российскими компаниями.

В рамках мероприятия участники обсудят, как вывести аналитику данных и эффективность процессов на новый уровень и сделать бизнес умнее — с помощью программных роботов, ИИ и не только.

Что будет на PIX DAY:
✔️Погружение в экосистему продуктов PIX;
✔️Реальные кейсы по RPA и BI от крупнейших компаний, в числе которых: Зетта Страхование, Банк Уралсиб, Норникель, НПФ Будущее, Иннотех и многие другие.
✔️Мастер-классы по управлению процессами, роботизации с ИИ и визуализациям;
✔️Технологическая выставка партнеров;
✔️Полезные знакомства, общение и нетворкинг;
✔️Вручение наград PIX Awards.

👉 Зарегистрироваться 👈

Когда: 5 декабря, 10:00-17:00
Где: Офлайн в Москве

Если вы искали личной встречи с нами, это отличный повод пообщаться!
До встречи на стенде GlowByte!

Как Spotify добилась успеха на рынке и как аналитика помогает развитию?

Spotify — №1 среди музыкальных стриминговых сервисов по количеству ежемесячных активных пользователей (MAU). По данным компании, более 515 млн человек используют Spotify ежемесячно, а 210 млн — это подписчики на платные версии сервиса.

Пользователи могут слушать любимую музыку и подкасты по подписке или бесплатно с рекламой.

Что стоит за этим успехом?

Эксперименты. В Spotify регулярно проводят эксперименты с интерфейсом, рекомендациями и новыми функциями, чтобы улучшать сервис.
Все статьи про эксперименты

Дашборды. В 2023 году в Spotify создали более 4900 дашбордов в Tableau и Google’s Looker Studio. Чтобы было легче контролировать качество, был разработан Dashboard Quality Framework — чек-лист, который включает пункты, связанные с визуальным дизайном, удобством использования, инсайтами и доверием.
Статья и чек-лист дизайна дашборда

Дата платформа. В Spotify считают, что с ростом объема и сложности данных роль мощной платформы становится критичной для получения ценных инсайтов и стимулирования инноваций.
О платформе данных в Spotify - Часть 1
О платформе данных в Spotify - Часть 2

Машинное обучение. Spotify активно использует машинное обучение для улучшения пользовательского опыта и создания персонализированных музыкальных рекомендаций.
Все статьи Spotify про машинное обучение

Тут писала про 15 бесплатных подкастов по аналитике и не только на английском.

Вебинар: «BPM + BI: Комплексное решение для управления процессами и данными»

Кто проводит: Михаил Греков, директор по развитию BI-системы Analytic Workspace, эксперт по b2b-продуктам.

Кому полезно: руководителям IT-отделов, менеджерам по развитию бизнеса, специалистам по управлению ресурсами, бизнес-аналитикам.

Почему это важно:

Microsoft Power BI ушёл из России, и компаниям нужно новое решение для полного цикла анализа данных:

• обработки (ETL);

• простой и расширенной визуализации;

• использования для машинного обучения. 

Дополнительным способом увеличить эффект может стать интеграция BI-решений с BPM-системой для автоматизации бизнес-процессов. Такая платформа позволяет:

• вовремя замечать рисковые ситуации и решать их;

• формировать полную картину с результатами бизнеса и в реальном времени видеть, как те или иные решения на них влияют;

• экономить ресурсы на обслуживание «зоопарка» отдельных программных решений. 

Что узнают участники:

• как внедрение BI может дополнить возможности BPM-системы;

• как использовать BPM и BI в управлении сложными проектами и ресурсами;

• как применить BI-аналитику в управлении клиентами (CRM);

• как реализовать комплексное решение для работы с сетью торговых точек.

Подробнее о программе ➡️

Как попасть:

Участие бесплатное, по предварительной регистрации. Вебинар состоится 11 октября в 13:00.