Обновить
128K+

Визуализация данных *

Облекаем данные в красивую оболочку

52,99
Рейтинг
Сначала показывать
Порог рейтинга
Уровень сложности

BI-трансформация: как данные разрушают корпоративные культуры

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели4K

Внедрение систем бизнес-аналитики — больше чем установка ПО и настройка ETL-процессов. Это изменение подхода к принятию решений и коммуникации внутри компании. Интуиция и должностная иерархия уступают место объективным фактам. 

Но путь к data-driven культуре требует преодоления не только технических барьеров, но и человеческих факторов: приверженности ручным процессам, страха ответственности и недоверия к данным. Рассмотрим, как BI-трансформация меняет корпоративную культуру и с какими трудностями можно столкнуться.

Читать далее

Диван Гервера: опыт построения, рекомендации по изготовлению и перемещению в узких коридорах

Уровень сложностиСредний
Время на прочтение15 мин
Охват и читатели8.9K

В мире существует множество производителей диванов, например: Poltrona Frau, Ligne Roset, Minotti, Edra, COR, W. SCHILLIG (все эти производители из Европы), некоторые из них занимаются изготовлением мебели уже очень давно. Их диваны иногда получают собственные названия, поэтические и оригинальные. Есть также много выдающихся дизайнеров мебели, для спроектированных ими диванов помимо собственного названия также часто указывается имя дизайнера, например, диван "Ма джонг" Ханса Хопфера. Однако мне хотелось бы рассказать о диване, названном в честь математика, сконструировавшего его теоретически. Не уверен, что существуют воплощения этого дивана в виде реального предмета мебели, но он является довольно известным среди ученых, да и просто любителей математических головоломок

Читать далее

Контентный модуль APM на OpenTelemetry — архитектура, метрики, выводы

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели8.2K

В статье рассматривается применение трассировок стандарта OpenTelemetry для реализации инструментов мониторинга микросервисов на базе продукта Smart Monitor. Решаются задачи инвентаризации сервисов и ресурсов, анализа трассировок и формирования модели здоровья микросервисных архитектур.

Читать далее

IoT по-взрослому — сбор данных с датчиков для Умного дома на одноплатнике Repka Pi 4 под управлением NapiLinux

Уровень сложностиСредний
Время на прочтение24 мин
Охват и читатели15K

Для тех, кто создает системы сбора данных с датчиков и мониторинга метрик для умных домов и промышленного оборудования есть хорошая новость. Теперь такие системы можно собирать с применением Российского одноплатного компьютера Repka Pi (который в т. ч. есть в реестре Минпромторга) и недавно появившейся Российской операционной системы Napi Linux, специально созданной для решения подобных задач и, что важно, с открытым кодом.

К микрокомпьютеру Repka Pi через порты USB, Ethernet, GPIO, в т. ч. SPI, I2C, Uart и другие интерфейсы можно подключать различное оборудование с целью мониторинга средствами ОС Napi Linux.

Операционная система Napi Linux разработана для встраиваемых (Embedded) систем.

Читать далее

Автоматическое определение параметров хранения в базе данных

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели7.6K

Предлагается к рассмотрению метод динамического определения форматов хранения и типов индексации в таблицах аналитической базы данных Dimension DB. На основе метаданных из источников данных (SQL-запросов, таблиц или представлений) определяется формат хранения или представления данных, а по текущему распределению данных, автоматически определяется тип индексирования.

Читать далее

Лайфхаки BI SuperSet (часть 1)

Уровень сложностиПростой
Время на прочтение4 мин
Охват и читатели11K

10 базовых и не очень лайфхаков по работе с BI Apache SuperSet, чтобы сделать её проще и эффективней.

Читать далее

Сенсорные данные и IoT: как объединить эти данные с BI для получения новых инсайтов

Время на прочтение9 мин
Охват и читатели4.2K

Компании получают разнообразные данные не только из CRM и ERP-систем, но и из физического мира через датчики температуры, вибрации, местоположения и другие параметры. Эти сенсорные данные становятся важным ресурсом для анализа благодаря способности отражать состояние физических объектов и процессов в режиме реального времени. 

В статье рассмотрим, как их интеграция с бизнес-аналитикой оптимизирует бизнес-процессы в производстве, логистике, сельском хозяйстве и других сферах. 

Скачайте подробную инструкцию по интеграции Modus BI с сенсорными данными IoT.

Читать далее

Column Level Security (CLS) в Apache Superset. Jinja + Handlebars

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели13K

🔒 Column Level Security (CLS) в Apache Superset: защита данных на уровне столбцов

Узнайте, как гибко ограничивать доступ к конфиденциальным данным с помощью Jinja и Handlebars. Практические примеры и готовые решения для ваших дашбордов.

Читать далее

Всё о Directus. От установки до настройки

Время на прочтение9 мин
Охват и читатели14K

Directus — это open‑source платформа для управления данными, которая превращает любую SQL‑базу в headless CMS, предоставляя автоматическую REST и GraphQL API и удобный веб-интерфейс для управления контентом.

Она устанавливается поверх существующей базы данных и не требует её миграции — Directus быстро строит схему, интерфейс и API на лету, позволяя пользователям работать с данными через визуальную Data Studio.

В статье я рассмотрю пример базовой настройки Directus.

Читать далее

Решил перейти на Python и не пожалел

Уровень сложностиСредний
Время на прочтение12 мин
Охват и читатели67K

С полгода назад я начал чаще использовать для программирования Python. Почему? Конечно, из-за ИИ. Лично для меня очевидно, что сегодня эта сфера связана с очень большими деньгами перспективами во всех направлениях. А какой язык является самым распространённым для ИИ? Да-да, как-раз этот проныра.

Я уже писал на Python, но только небольшие скрипты. К примеру, вот этот скрейпит метаданные всех видео с моего канала на YouTube. Собранные метаданные выводятся в виде файла JSON, который я использую для показа красивой статистики роликов на этой статичной странице. Как можно видеть здесь, этот скромный скрипт через GitHub Actions выполняется в соло-режиме каждый понедельник. Просто реализовать всё это на Python куда проще, чем с помощью того же Batch. И не только из-за более дружественного синтаксиса, но и потому, что его интерпретатор нативно интегрирован во все дистрибутивы Unix. Разве не круто?

Читать далее

Как ИИ-продукты FanRuan трансформируют бизнес-аналитику: инструменты и возможности

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели2.5K

Всем привет! Сегодня только ленивый не пишет про искусственный интеллект. Это и понятно: тема не просто популярна, применение ИИ‑технологий в различных индустриях стало настоящим трендом современности. Искусственный интеллект меняет подход и к бизнес‑аналитике, делая её быстрее, точнее и доступнее. FanRuan активно внедряет ИИ в свои продукты, создавая решения нового поколения, что подтверждается действиями: FanRuan занял 6 место в престижном рейтинге «Top 100 Chinese AI Companies 2025», опубликованном авторитетным ресурсом EqualOcean и Университетом Цинхуа. Это признание — результат постоянной работы над тем, чтобы сделать искусственный интеллект реальным помощником в бизнес‑аналитике. FanRuan активно развивает AI‑аналитику (ABI) в FineBI, инструменты позволяют бизнесу в режиме реального времени анализировать данные, находить скрытые закономерности и принимать решения на основе инсайтов, сгенерированных ИИ. Но за этой историей стоит целая экосистема ИИ‑продуктов FanRuan, о которой мы, команда Business Intelligence GlowByte, расскажем подробнее.

Читать далее

Основы ETL на примере работы с Superset, Airflow и ClickHouse

Время на прочтение39 мин
Охват и читатели23K

В этой статье я расскажу, как можно запустить простой ETL-процесс на виртуальном сервере, используя связку Superset, Airflow и ClickHouse. В качестве платформы я взял готовую конфигурацию от Beget, включающую Superset и Airflow из коробки — это позволяет сосредоточиться на логике обработки данных, а не на настройке окружения.

В качестве примера мы подготовим процесс выгрузки и визуализации данных о товарах с сайта Wildberries.

Для извлечения данных мы будем использовать Python-библиотеки selenium и BeautifulSoup — они хорошо подходят для парсинга веб-страниц. Дополнительно применим re для обработки текстовой информации с помощью регулярных выражений.

Читать далее

BI: 5 трендов в сфере ИИ

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели7.5K

Привет, Хабр! Сегодня я предлагаю немного порассуждать на тему ИИ в сфере BI-аналитики. В последнее время тема искусственного интеллекта все чаще поднимается на конференциях, да и мне самому все больше приходится рассуждать про ИИ и даже делать доклады о методах его применения (например, как на конференции Data&AI). Совершенно точно вокруг очень много хайпа и хочется разобраться, где же на самом деле ИИ в контексте BI-аналитики даёт реальное преимущество, а где — всё ещё нет.

Читать далее

Ближайшие события

В Петербурге прошла конференция по процесс майнингу и инструментам повышения качества взаимодействия аудита и бизнеса

Время на прочтение4 мин
Охват и читатели1.6K

В центре цифровой трансформации «Газпром нефть» Цифергауз состоялась ежегодная конференция «Цифровой аудит и процесс майнинг – технологии будущего». Организатор – департамент внутреннего аудита «Газпром нефти» – уже второй год подряд собирает вместе более 150 руководителей служб внутреннего аудита, внутреннего контроля, ИТ-директоров и руководителей бизнес-подразделений из более чем 90 крупнейших компаний и регуляторов.

Читать далее

Реализация правил IBCS в Power BI

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели867

Создание понятных и информативных отчетов — ключевая задача для аналитиков и специалистов по данным. В этой статье мы разбираем, как стандарты IBCS (International Business Communication Standards) могут помочь улучшить визуализацию данных в Power BI, повысив их читаемость и эффективность. Рассмотрим, как связать ClickHouse с Apache Superset для создания мощных аналитических дашбордов и какие практики помогут вам избежать избыточности и повысить точность представленных данных.

Читать далее

Digital Twin. Часть 2. Инструментальный Цифровой двойник

Время на прочтение27 мин
Охват и читатели4K

Вторая часть посвящена проблеме адекватности обоих двойников и путей её решения. Именно неадекватность модели – это основная преграда, о которую спотыкаются практически всё, выдаваемое сегодня за «Цифрового двойника».   

В первой части [DT1] были рассмотрены проблемы современного «Цифрового двойника» \ Digital Twin (ЦД \ DT) и общие подходы к его идентификации, в первую очередь, его «Трехкомпонентный состав DT» («три кита» двойника): реальный объект (физический двойник, «физик», Physical Twin, PT), его модель (собственно сам DT) и обратная связь – как передача эксплуатационных данных объекта в контекст его модели (в идеале двухсторонний обмен). В идеале должен быть не только двухсторонний обмен по эксплуатационным данным, но и обмен по состоянию самой структуры объектов (синхронизация структуры), что будет подтверждать актуальность используемой модели (структурную адекватность обоих двойников). 

В большинстве случаев предлагаемые «примеры DT» представляют собой незамысловатый ребрендинг привычных (обычных) систем, т.е. скорее являются Pseudo Digital Twin \ Digital Impostor, а не Digital Twin, при этом даже имея все три компонента DT могут содержать модель не адекватную своему физическому близнецу («as-is» vs «as-really-is").

Кроме маскирования под DT обычных SCADA - систем и CASE \ BPMS типа ARIS (см. первую часть [DT1]), включая Enterprise Architecture (EA, архитектура предприятия как цифровой двойник предприятия), красивую вывеску «DT» прикручивают к системам:

- ERP, например, dia$par,

Читать далее

Многомерный анализ данных временных рядов

Уровень сложностиСредний
Время на прочтение13 мин
Охват и читатели10K

Попробуем применить многомерный анализ к данным временных рядов с помощью интерактивной визуализации данных измерений и их взаимосвязей.

Читать далее

Интерактивная карта Республики Коми с отображением социально-экономических показателей

Уровень сложностиПростой
Время на прочтение9 мин
Охват и читатели2.9K

Делюсь опытом как я сделал интерактивную карту Республики Коми: от QGIS и D3.js до графиков и API Wikidata. Карта визуализирует социально‑экономические показатели районов и населённых пунктов, поддерживает масштабирование, позволяет переключать слои, выбирать тёмную и светлую темы, а также получать справочную информацию об объектах.

Читать далее

Из боли клиентов — в новый продукт: как мы пересобрали аналитику на Clickhouse

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели7.2K

Чем лучше разработчик, тем хуже он делает аналитику. Просто потому, что для этого требуется разный технологический стек.

Системы, которые пишут разрабы, шикарно записывают и хранят данные. Но попытка прочесть большой объём данных сразу роняет всю систему, так как она плохо для этого предназначена. 

В этой статье я расскажу про 2 ключевых подхода к хранению и обработке данных, какой мы выбрали для аналитики в Saas-платформе и к чему это привело.

Читать далее

Оживляем данные Strava: от парсинга GPX до интерактивной карты на Python и JS

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели5.3K

Привет, Хабр! Меня зовут Александр, я разработчик и, как многие в IT, стараюсь уравновешивать сидячую работу спортом — в моем случае, это велосипед и бег. И, как многие спортсмены-любители, я пользуюсь Strava.

В этой статье я хочу провести вас «под капот» моего проекта и показать на реальных фрагментах кода, как с помощью Python, щепотки NumPy и капли JavaScript можно построить собственный мощный инструмент для анализа спортивных данных. Это история не только про код, но и про философию открытых данных и желание сделать профессиональные инструменты доступными для всех.

Читать далее