Визуализация данных *

Redash в Amvera Cloud

Сегодня мы выпускаем Redash, как преднастроенный сервис.

Redash позволяет осуществлять запросы к базам данных и визуализировать результаты. Это хороший и простой BI-инструмент, которым мы пользуемся сами.

Для установки Redash необходимо заполнить по инструкции несколько переменных/секретов для подключения к PostgreSQL и Redis, и выбрать тариф от 290 р./мес.

Amvera Cloud — это облако для простого деплоя приложений через git push. Встроенный CI/CD, бэкапы и мониторинг позволяют развернуть проект тремя командами в IDE и не думать о настойке инфраструктуры. А встроенное проксирование к OpenAI, облегчает работу с LLM. Amvera проще, чем использование VPS.

Очень быстрая графика в Matplotlib (Python). Достигли 2-х кратного ускорения в сравнении с предыдущей версией. Python исходник в моем телеграм

Изучаем глубины Matplotlib: ваш анимированный логотип на ваших графиках

(как бы брэндирование, исходник)

Необычное! Исходник прототипа игры Пинг-Понг на MatPlotLib (научная графика на python) с высоким FPS .

Ранее в моей >>статье на Хабр было рассмотрено применение PyGame для построения графиков, а теперь, наоборот, делаем игру на системе построения научных графиков. В предыдущей версии при попытке вывода текста с высоким FPS возникали сильные "тормоза", В текущей версии эта проблема решена.

В коде для отрисовки всех элементов игры используются только объекты MatPlotLib: теннисные ракетки - это столбцовые диаграммы, мячик - это scatter диаграмма, само игровое поле - это объект figure из MatPlotLib, текст также выводится через встроенные в MatPlotLib функции. Для анимации используется встроенный в MatPlotLib объект Animation + update(). FPS=40 (сорок!).

P.S. желтая столбцовая диаграмма - это распределение координат по оси Y, в которых ракетка отбивает мячик. Обновляется при каждом ударе ракеткой по мячику.

Из комментариев к статье о гитарном тюнере выяснилось, что многие НЕ верят, что можно вычислять ОЧЕНЬ ТОЧНО частоту синусоидального сигнала по очень небольшому количеству отсчетов не равному степени двойки для FFT и намного точнее чем FFT на том же количестве отсчетов и том же временном интервале накопления данных. Например, ошибка определения частоты может быть 0.05 Гц при небольшом количестве отсчетов на интервале 0.1 сек (FFT дало бы ошибку в 10 Гц = 1/0.1 сек) . Однако, кажется, это возможно. Вот ссылка на мой код на Python (>>исходник) (в телеграм) Коллеги, прошу проверить код, возможно я где-то ошибся.

Представлена полная версия интерактивной карты мира — TimeMap, которая охватывает всю историю человечества и самые важные события. Можно отследить изменения границ государств, правителей, войны и битвы. И всё это со времён древних шумеров до начала 21 века. Ко всему подвязаны статьи с Вики — можно нажать на любой флаг и быстро узнать историю древнего государства.

По итогам жарких обсуждений и критики по поводу медленного кода и плохого fps в тесте вывода на экран графика sin()+noise для Matplolib были внесены усовершенствования и привлечен ИИ для полировки. Исходная статья и код https://habr.com/ru/articles/878002/

Отказ от медленного вывода текста, применение FuncAnimation вместо простого цикла, применение мэджик команды для подключения PyQT backend. FPS поднялся с 12 до 35. Подробности читайте в исходной статье https://habr.com/ru/articles/878002/

м

Написана статья о тестировании (и сравнении FPS) на скорость рисования 2D графиков на python популярных и относительно малоизвестных графических пакетов 2D и 3D (Mayavi 3D, PyVista, Matplotlib, PyQTGraph, Plotly, PyGame, Arcade, pyOpenGL, VisPy, Bokeh) Возникли некоторые технические проблемы и срок публикации пока не ясен (надеюсь, на следующей неделе). Поэтому, заинтересовавшиеся коллеги, прошу подписаться на мой профиль на хабре, чтобы не пропустить публикацию этой статьи. В статье будут видео с отрисовкой в реальном времени 2D графиков и будут измерены FPS. Специально использовался слабенький мини ПК без дискретки. Тем не мене FPS достигал в некоторых случаях 100. Пример видео ниже:

https://habr.com/ru/articles/878002/

Файлы к статье

Конец профессии? Может ли ИИ заменить аналитиков?

Всем привет на связи data dreamen!

На фоне новостей о выходе новых моделей ИИ — DeepSeek и Qwen2.5-Max, которые, судя по тестам, местами даже превосходят решения OpenAI, снова возникает вопрос: что будет дальше? Сможет ли ИИ заменить меня, аналитика? И что мне с этим делать?

Если коротко — пока нет. Это подтверждает исследование Всемирного экономического форума: профессии, связанные с аналитикой данных и Data Science, занимают 11-е место среди самых перспективных к 2030 году. DWH-инженеры находятся на 6-м месте, а специалисты по Big Data и вовсе возглавляют этот список.

Однако, несмотря на высокий спрос на аналитиков, ИИ все же серьезно повлияет на рынок и характер работы в этой сфере. Вопрос в том, как именно.

① Автоматизация инструментов. ИИ будет активно заменять рутинные задачи, в том числе у аналитиков. Написание кода, выгрузка данных, подготовка отчетов — всё это будет автоматизироваться, минимизируя ручной труд.

② Развитие self-service. Чем больше задач автоматизируется, тем меньше заказчикам потребуется обращаться к аналитикам напрямую. Многие вопросы смогут решаться через self-service инструменты, снижая нагрузку на команду аналитики.

③ Масштабирование и рост зоны ответственности. ИИ возьмёт на себя базовые аналитические задачи, а аналитикам останутся более сложные, стратегические и ответственные решения — там, где автоматизация не справляется.

Что все таки ИИ не сможет сделать с аналитиками?

① Разработка и принятие нестандартных решений. ИИ — это модель, обученная на данных, но он не обладает креативностью и не умеет находить альтернативные пути решения. Когда нужно выйти за рамки типовых сценариев, роль человека остаётся ключевой.

② Контекст, бизнес-логика и коммерческая тайна. Во многих компаниях процессы настолько сложны, что даже человеку требуется несколько лет, чтобы в них разобраться. ИИ может помогать, но учесть все нюансы и скрытые факторы ему пока не под силу. К тому же, передача коммерческих данных открытым моделям может быть небезопасной.

③ Коммуникация. Аналитика — это не только цифры, но и умение "продать" свои выводы бизнесу, донести ценность и добиться внедрения решений. Даже идеальный расчет не будет полезен, если его не смогли правильно презентовать. Ну и, конечно, навыки постановки ТЗ у заказчиков пока не оставляют шансов ИИ полностью заменить аналитиков.

Что же в итоге нас ждет?

Скорее всего, компании будут разрабатывать собственные решения или внедрять рыночные инструменты для автоматизации аналитики, например:

• конвертеры текстовых запросов в SQL-скрипты

• АВ-платформы, которые смогут работать без участия аналитиков

• визуализаторы данных, создающие отчёты по текстовому запросу

В результате акцент в работе аналитиков сместится: на первый план выйдут не базовые хард-скиллы (SQL, Python, BI-инструменты), а умение применять их в сложных и нестандартных ситуациях.

📉 К сожалению, это сильнее всего ударит по джунам — для принятия сложных решений нужен опыт, а простые задачи постепенно автоматизируются.

Но те, кто сможет адаптироваться, будут только в выигрыше! 🚀

Подписывайтесь на тг, там еще больше полезного и интересного про аналитику - https://t.me/data_dreamen

⁠⁠

Лучшие книги для освоения Excel

Excel — мощный инструмент для анализа данных, построения графиков и сводных таблиц. Чтобы освоить его возможности, составили подборку книг для начинающих и опытных пользователей.

Excel 2019 для чайников (Грег Харвей) — книга охватывает основные функции Excel: создание таблиц, работу с формулами, графиками и сводными таблицами. Подходит для начинающих пользователей. По книге можно научиться работать и в актуальной версии офисного пакета — значительных изменений между версиями нет.

Практикум по работе с приложением MS Excel. Задания 1–12 (Николай Морозов) — практическое руководство с заданиями для развития конкретных навыков работы с Excel — от ввода данных до решения финансовых задач.

Excel 2019. Библия пользователя (Джон Уокенбах, Ричард Куслейка, Майкл Александер) — подробное руководство включая шаблоны, форматирование, диаграммы, сводные таблицы и основы Visual Basic. Рассматриваются методы работы с большими объёмами данных и оптимизации процессов.

Сводные таблицы в Microsoft Excel 2021 и Microsoft 365 (Билл Джелен) — книга для начинающих. Практические примеры и советы, которые помогут освоить таблицы на высоком уровне.

Excel. Трюки и эффекты (Джон Уокенбах) — сборник советов и приёмов для повышения продуктивности работы в Excel, включая нестандартные решения и оптимизацию процессов. В книге много примеров и всё написано простым языком, чтобы облегчить понимание информации. Подойдет начинающим и опытным пользователям.

Microsoft Excel: Мастер Формул (Майкл Александер) — книга о создании и использовании формул в Excel, с продвинутыми техниками для решения сложных задач. К формулам стоит приступать после освоения базовых навыков.

Бизнес-моделирование и анализ данных. Решение актуальных задач с помощью Microsoft Excel (Уэйн Лесли Винстон) — о сложных формулах и системах, моделировании и аналитике данных. Книга учит делать выводы и давать рекомендации для бизнеса, решать сложные математические задачи.

MS Excel и VBA для моделирования различных задач (Джеффри Камински) — книга сочетает изучение Excel и Visual Basic for Applications (VBA), позволяя автоматизировать задачи и создавать модели для различных сценариев. Подходит для продвинутых пользователей.

→ Курс «Excel для работы» поможет научиться анализировать данные, работать с большими таблицами и визуализировать результаты, чтобы эффективнее решать рабочие задачи.

Пет-проект на 2025: модель кровообращение человека для спортивной физиологии

Эта идея пришла мне в голову совсем недавно. Беглое изучение научных работ показало востребованность данной тематики и отсутствие реальных публичных наглядных интерактивных моделей на python. Ниже очень примерный рисунок как бы могла бы выглядеть визуально такая модель.

Для предварительной проработки возможности создания такой модели пока нашел только следующий пакеты и системы:

• OpenModelica — это открытая платформа для моделирования и симуляции, поддерживающая язык Modelica. OpenModelica Connection Editor (OMEdit) позволяет создавать и симулировать модели гидравлических систем.

• PyFMI — это библиотека Python для работы с моделями, созданными в Modelica. Она позволяет загружать и симулировать модели, созданные в OpenModelica, непосредственно из Python.

• PySMO — (Python Simulation Modeling): Это библиотека Python для моделирования и симуляции различных физических систем, включая гидравлические.

• PyDSTool — (Python Dynamical Systems Toolkit): Это инструмент для моделирования и анализа динамических систем.

Поделитесь, пожалуйста, в комментариях своим опытом использования подобных систем для моделирования гидравлики.

MATPLOTLib: технологическое превосходство

Мы все, конечно, знаем, что старый добрый Matplotlib является одной из самых популярных библиотек для визуализации данных в Python, и он предлагает широкий спектр функций и методов для создания разнообразных графиков. Однако есть еще и Plotly, Bokeh и D3.js, которые также являются мощными инструментами для визуализации. Мое мнение, что Matplotlib предоставляет более гибкие и детализированные возможности для настройки графиков. Matplotlib хорошо работает с осями координат, что позволяет пользователям легко изменять масштабы, деления и метки осей. Кроме того, Matplotlib поддерживает встроенные афинные преобразования, такие как поворот, масштабирование и сдвиг. Пример на графике выше. Толстая линия на графике не сплошная, она сгенерирована из случайных точек. Это становится видно при увеличении, что сделано афинными преобразованиями, причем не предобработкой данных, а прямо сама matplotlib это делает без программирования.

GlowByte приглашает на конференцию «PIX Day: Процессы, аналитика и роботы – для людей»

Друзья, 5 декабря в Москве пройдет PIX Day — первая большая конференция, посвященная всей экосистеме продуктов PIX Robotics и опыту её использования ведущими российскими компаниями.

В рамках мероприятия участники обсудят, как вывести аналитику данных и эффективность процессов на новый уровень и сделать бизнес умнее — с помощью программных роботов, ИИ и не только.

Что будет на PIX DAY:
✔️Погружение в экосистему продуктов PIX;
✔️Реальные кейсы по RPA и BI от крупнейших компаний, в числе которых: Зетта Страхование, Банк Уралсиб, Норникель, НПФ Будущее, Иннотех и многие другие.
✔️Мастер-классы по управлению процессами, роботизации с ИИ и визуализациям;
✔️Технологическая выставка партнеров;
✔️Полезные знакомства, общение и нетворкинг;
✔️Вручение наград PIX Awards.

👉 Зарегистрироваться 👈

Когда: 5 декабря, 10:00-17:00
Где: Офлайн в Москве

Если вы искали личной встречи с нами, это отличный повод пообщаться!
До встречи на стенде GlowByte!

Как Spotify добилась успеха на рынке и как аналитика помогает развитию?

Spotify — №1 среди музыкальных стриминговых сервисов по количеству ежемесячных активных пользователей (MAU). По данным компании, более 515 млн человек используют Spotify ежемесячно, а 210 млн — это подписчики на платные версии сервиса.

Пользователи могут слушать любимую музыку и подкасты по подписке или бесплатно с рекламой.

Что стоит за этим успехом?

Эксперименты. В Spotify регулярно проводят эксперименты с интерфейсом, рекомендациями и новыми функциями, чтобы улучшать сервис.
Все статьи про эксперименты

Дашборды. В 2023 году в Spotify создали более 4900 дашбордов в Tableau и Google’s Looker Studio. Чтобы было легче контролировать качество, был разработан Dashboard Quality Framework — чек-лист, который включает пункты, связанные с визуальным дизайном, удобством использования, инсайтами и доверием.
Статья и чек-лист дизайна дашборда

Дата платформа. В Spotify считают, что с ростом объема и сложности данных роль мощной платформы становится критичной для получения ценных инсайтов и стимулирования инноваций.
О платформе данных в Spotify - Часть 1
О платформе данных в Spotify - Часть 2

Машинное обучение. Spotify активно использует машинное обучение для улучшения пользовательского опыта и создания персонализированных музыкальных рекомендаций.
Все статьи Spotify про машинное обучение

Тут писала про 15 бесплатных подкастов по аналитике и не только на английском.

Вебинар: «BPM + BI: Комплексное решение для управления процессами и данными»

Кто проводит: Михаил Греков, директор по развитию BI-системы Analytic Workspace, эксперт по b2b-продуктам.

Кому полезно: руководителям IT-отделов, менеджерам по развитию бизнеса, специалистам по управлению ресурсами, бизнес-аналитикам.

Почему это важно:

Microsoft Power BI ушёл из России, и компаниям нужно новое решение для полного цикла анализа данных:

• обработки (ETL);

• простой и расширенной визуализации;

• использования для машинного обучения. 

Дополнительным способом увеличить эффект может стать интеграция BI-решений с BPM-системой для автоматизации бизнес-процессов. Такая платформа позволяет:

• вовремя замечать рисковые ситуации и решать их;

• формировать полную картину с результатами бизнеса и в реальном времени видеть, как те или иные решения на них влияют;

• экономить ресурсы на обслуживание «зоопарка» отдельных программных решений. 

Что узнают участники:

• как внедрение BI может дополнить возможности BPM-системы;

• как использовать BPM и BI в управлении сложными проектами и ресурсами;

• как применить BI-аналитику в управлении клиентами (CRM);

• как реализовать комплексное решение для работы с сетью торговых точек.

Подробнее о программе ➡️

Как попасть:

Участие бесплатное, по предварительной регистрации. Вебинар состоится 11 октября в 13:00.

Сентябрь в самом разгаре! Последние теплые дни четвертого месяца лета. То самое время, когда на улице жарко, а в цифровом пространстве всё просто кипит! Сегодня небольшой информационный пост о том, где можно сейчас бесплатно поучиться премудростям BI.

1. Пиксы запустили Цифровой триатлон. Каждую неделю идет трек по одной из платформ. На этой неделе экватор по PIX BI. Много экспертов, много мнений, весь контент очень сильно связан с ex Qlik тусовкой. Клиенты, эксперты, организаторы - все когда то занимались, внедряли, обучали Qlik. Такое импортозамещение даже получается. https://triathlon.pix.ru Информацию кидают в группу в телеге: https://t.me/BI_PIX_Chat Плюс компания анонсировала БЕСПЛАТНУЮ персональную редакцию своей платформы. Надеемся это не разводняк! 

2. Коллеги из Глобайт привезли Азиатский вариант марафона. Ретрит по теме Fine Bi. Вся информационная поддержка идет в группе https://t.me/FineBIChat в разбивке по темам. Много интересного, новые фичи, опыт клиентов. Классика марафонов от Дата Йога.

3. AW запустили на наш взгляд тяжелую, но очень интересную историю для конкретной группы продвинутых аналитиков. Все подробности в группе https://t.me/awcommunity такой марафон, который перетекает в хакатон и заканчивается собственной конференцией в Москве. 

Отличная возможность попробовать три разных блюда, не выходя из дома! Вперед к новым знаниям!

Продолжаем улучшать наш инструмент анализа планов PostgreSQL explain.tensor.ru. Сегодня мы представляем новую подсказку-рекомендацию и расширенный вариант визуального представления хода выполнения (посмотреть пример):

Ловим кривые индексные условия

Периодически приходится разбирать ситуации, когда вроде бы давно уже отлаженный запрос к PostgreSQL начинает "съезжать с катушек" и дико "тупить".

Зачастую оказывается, что виной тому передача в качестве параметра-массива для ключа индекса какого-то заведомо-ложного условия типа пустого массива (= ANY('{}'::integer[])) или NULL (= ANY(NULL::integer[])).

В таких случаях некоторые версии PostgreSQL начинают себя не очень хорошо вести, пытаясь сканировать индекс без указания этого ключа... и получаем тормоза.

В принципе, это ответственность самого разработчика передавать корректные значения. Но чтобы вам было удобнее находить такие кейсы, мы сделали новую подсказку в анализе плана.

Ход выполнения запроса

Выполнение запроса - это проход дерева плана "снизу - вверх", но сам план при этом представляет из себя дерево "сверху - вниз". Неудобненько...

Помимо узлов самого плана, в полное время выполнения запроса входит плюсом еще и время планирования (Planning Time) и время передачи данных (Execution Time), которые могут составлять весьма солидную долю.

Чтобы более наглядно увидеть ход выполнения запроса, мы добавили под "шеврон" navbar'а иерархическое представление времени отработки узлов именно в порядке выполнения.

Дэвид Бресслер — автор Formula Bot, дополнения для Excel и Google Sheets, которое с помощью ИИ помогает писать формулы и автоматизировать задачи, а также обрабатывать и анализировать данные. Дополнение платное и пользуется популярностью, поэтому приносит Бресслеру десятки тысяч долларов дохода каждый месяц.

На днях Дэвид поделился наблюдением: при общении с клиентами сразу в четырёх случаях подряд ему рассказали, что впервые услышали про Formula Bot от ChatGPT. В твите Бресслер также приводит скриншот общения с ChatGPT, где на вопрос об умных инструментах для Excel большая языковая модель GPT-4o рекомендует продукт Дэвида. При этом БЯМ поставила встроенный в Excel майкрософтовский инструмент Ideas лишь вторым пунктом списка рекомендаций.

Formula Bot занимает первые строчки разнообразных рейтингов ИИ-дополнений для Excel, поэтому удивительного мало. Подобный ответ GPT-4o выдаёт не всегда. Сам Дэвид связывает проявление эффектами с чем-то уровня SEO.

Как утверждает Бресслер, ChatGPT не приводит много клиентов, в лучшем случае это дополнительные 10 %. Впрочем, в комментариях к твитам его всё равно просят научить приёмам поисковой оптимизации для ChatGPT.

Возможно, поисковая оптимизация для включения в текстовый датасет предобучения БЯМ когда-нибудь действительно станет востребованной.

Впечатлился случайно найденным ресурсом и убил час, чтобы(, несмотря на кривое юзабилити,) найти оглавление. Вот оно:

https://opendsa-server.cs.vt.edu/home/books
(Sample OpenDSA eTextbooks)

Это один из (потенциально многих) несвязанных инстансов открытого движка для прохождения курсов по Computer Science и создания новых. Крутая его фишка: визуализация алгоритмов, структур данных и концепций, таких как стили вызовов функций - ещё и с упражнениями для закрепления.

Контента бездна, рекомендую прокликать ссылки.

Почему у китайского FineBi от FanRuan на Гартнер всего 2(!) отзыва против тысяч отзывов у PBI, Qlik, Tableau?

Официально на сайте китайского вендора написано от 9 апреля 2024 года: «Стоит отметить, что FanRuan в очередной раз удостоилась почетного упоминания после того, как была признана в 2021 и 2022 годах. FanRuan остается единственным независимым поставщиком бизнес-решений из Китая, который был включен в отчет, что еще раз подчеркивает ее достижения и присутствие в отрасли».

Упомянули уже три раза, в квадрант не включили, условия попадания в квадрант выполнять даже не пытаются … не ужели это заградительные барьеры от китайской экспансии на северо-американский рынок и, понимая это, вендор просто не тратит денег на накачку отзывами свой аккаунт-бренд на Gartner.com Или там нет шансов просто продать свой продукт?

https://www.gartner.com/reviews/market/analytics-business-intelligence-platforms/vendor/fanruan-software/product/finebi