👋 Привет, Хабр. Я продукт-менеджер в achiewin com — мы развиваем платформу для спортивных ставок, и одна из ключевых фич, которую мы проектировали в прошлом квартале, — дашборд анализа коэффициентов.
Выглядело просто: взять наши данные, обернуть в фильтры, показать графики — и вот тебе аналитика. На деле — всё пошло не так. Рассказываю, как мы завалили первую версию, что пришлось переписывать, и почему «простой интерфейс» сложнее, чем кажется.

Визуализация данных *
Облекаем данные в красивую оболочку
Новости
IoT по-взрослому — сбор данных с датчиков для Умного дома на одноплатнике Repka Pi 4 под управлением NapiLinux

Для тех, кто создает системы сбора данных с датчиков и мониторинга метрик для умных домов и промышленного оборудования есть хорошая новость. Теперь такие системы можно собирать с применением Российского одноплатного компьютера Repka Pi (который в т. ч. есть в реестре Минпромторга) и недавно появившейся Российской операционной системы Napi Linux, специально созданной для решения подобных задач и, что важно, с открытым кодом.
К микрокомпьютеру Repka Pi через порты USB, Ethernet, GPIO, в т. ч. SPI, I2C, Uart и другие интерфейсы можно подключать различное оборудование с целью мониторинга средствами ОС Napi Linux.
Операционная система Napi Linux разработана для встраиваемых (Embedded) систем.
Автоматическое определение параметров хранения в базе данных

Предлагается к рассмотрению метод динамического определения форматов хранения и типов индексации в таблицах аналитической базы данных Dimension DB. На основе метаданных из источников данных (SQL-запросов, таблиц или представлений) определяется формат хранения или представления данных, а по текущему распределению данных, автоматически определяется тип индексирования.
Лайфхаки BI SuperSet (часть 1)

10 базовых и не очень лайфхаков по работе с BI Apache SuperSet, чтобы сделать её проще и эффективней.
Сенсорные данные и IoT: как объединить эти данные с BI для получения новых инсайтов

Компании получают разнообразные данные не только из CRM и ERP-систем, но и из физического мира через датчики температуры, вибрации, местоположения и другие параметры. Эти сенсорные данные становятся важным ресурсом для анализа благодаря способности отражать состояние физических объектов и процессов в режиме реального времени.
В статье рассмотрим, как их интеграция с бизнес-аналитикой оптимизирует бизнес-процессы в производстве, логистике, сельском хозяйстве и других сферах.
Скачайте подробную инструкцию по интеграции Modus BI с сенсорными данными IoT.
Column Level Security (CLS) в Apache Superset. Jinja + Handlebars

🔒 Column Level Security (CLS) в Apache Superset: защита данных на уровне столбцов
Узнайте, как гибко ограничивать доступ к конфиденциальным данным с помощью Jinja и Handlebars. Практические примеры и готовые решения для ваших дашбордов.
Всё о Directus. От установки до настройки

Directus — это open‑source платформа для управления данными, которая превращает любую SQL‑базу в headless CMS, предоставляя автоматическую REST и GraphQL API и удобный веб-интерфейс для управления контентом.
Она устанавливается поверх существующей базы данных и не требует её миграции — Directus быстро строит схему, интерфейс и API на лету, позволяя пользователям работать с данными через визуальную Data Studio.
В статье я рассмотрю пример базовой настройки Directus.
Решил перейти на Python и не пожалел

С полгода назад я начал чаще использовать для программирования Python. Почему? Конечно, из-за ИИ. Лично для меня очевидно, что сегодня эта сфера связана с очень большими деньгами перспективами во всех направлениях. А какой язык является самым распространённым для ИИ? Да-да, как-раз этот проныра.
Я уже писал на Python, но только небольшие скрипты. К примеру, вот этот скрейпит метаданные всех видео с моего канала на YouTube. Собранные метаданные выводятся в виде файла JSON, который я использую для показа красивой статистики роликов на этой статичной странице. Как можно видеть здесь, этот скромный скрипт через GitHub Actions выполняется в соло-режиме каждый понедельник. Просто реализовать всё это на Python куда проще, чем с помощью того же Batch. И не только из-за более дружественного синтаксиса, но и потому, что его интерпретатор нативно интегрирован во все дистрибутивы Unix. Разве не круто?
Как ИИ-продукты FanRuan трансформируют бизнес-аналитику: инструменты и возможности

Всем привет! Сегодня только ленивый не пишет про искусственный интеллект. Это и понятно: тема не просто популярна, применение ИИ‑технологий в различных индустриях стало настоящим трендом современности. Искусственный интеллект меняет подход и к бизнес‑аналитике, делая её быстрее, точнее и доступнее. FanRuan активно внедряет ИИ в свои продукты, создавая решения нового поколения, что подтверждается действиями: FanRuan занял 6 место в престижном рейтинге «Top 100 Chinese AI Companies 2025», опубликованном авторитетным ресурсом EqualOcean и Университетом Цинхуа. Это признание — результат постоянной работы над тем, чтобы сделать искусственный интеллект реальным помощником в бизнес‑аналитике. FanRuan активно развивает AI‑аналитику (ABI) в FineBI, инструменты позволяют бизнесу в режиме реального времени анализировать данные, находить скрытые закономерности и принимать решения на основе инсайтов, сгенерированных ИИ. Но за этой историей стоит целая экосистема ИИ‑продуктов FanRuan, о которой мы, команда Business Intelligence GlowByte, расскажем подробнее.
Как я оптимизировал обработку спортивных коэффициентов с raceodds.net: от хаоса к прогнозной аналитике
📍 Работа с сырыми спортивными коэффициентами — это как пытаться собрать модель корабля из разбросанных деталей конструктора. Без инструкции. И с половиной лишних запчастей.
Основы ETL на примере работы с Superset, Airflow и ClickHouse

В этой статье я расскажу, как можно запустить простой ETL-процесс на виртуальном сервере, используя связку Superset, Airflow и ClickHouse. В качестве платформы я взял готовую конфигурацию от Beget, включающую Superset и Airflow из коробки — это позволяет сосредоточиться на логике обработки данных, а не на настройке окружения.
В качестве примера мы подготовим процесс выгрузки и визуализации данных о товарах с сайта Wildberries.
Для извлечения данных мы будем использовать Python-библиотеки selenium
и BeautifulSoup
— они хорошо подходят для парсинга веб-страниц. Дополнительно применим re
для обработки текстовой информации с помощью регулярных выражений.
BI: 5 трендов в сфере ИИ

Привет, Хабр! Сегодня я предлагаю немного порассуждать на тему ИИ в сфере BI-аналитики. В последнее время тема искусственного интеллекта все чаще поднимается на конференциях, да и мне самому все больше приходится рассуждать про ИИ и даже делать доклады о методах его применения (например, как на конференции Data&AI). Совершенно точно вокруг очень много хайпа и хочется разобраться, где же на самом деле ИИ в контексте BI-аналитики даёт реальное преимущество, а где — всё ещё нет.
В Петербурге прошла конференция по процесс майнингу и инструментам повышения качества взаимодействия аудита и бизнеса

В центре цифровой трансформации «Газпром нефть» Цифергауз состоялась ежегодная конференция «Цифровой аудит и процесс майнинг – технологии будущего». Организатор – департамент внутреннего аудита «Газпром нефти» – уже второй год подряд собирает вместе более 150 руководителей служб внутреннего аудита, внутреннего контроля, ИТ-директоров и руководителей бизнес-подразделений из более чем 90 крупнейших компаний и регуляторов.
Ближайшие события
Реализация правил IBCS в Power BI

Создание понятных и информативных отчетов — ключевая задача для аналитиков и специалистов по данным. В этой статье мы разбираем, как стандарты IBCS (International Business Communication Standards) могут помочь улучшить визуализацию данных в Power BI, повысив их читаемость и эффективность. Рассмотрим, как связать ClickHouse с Apache Superset для создания мощных аналитических дашбордов и какие практики помогут вам избежать избыточности и повысить точность представленных данных.
Digital Twin. Часть 2. Инструментальный Цифровой двойник

Вторая часть посвящена проблеме адекватности обоих двойников и путей её решения. Именно неадекватность модели – это основная преграда, о которую спотыкаются практически всё, выдаваемое сегодня за «Цифрового двойника».
В первой части [DT1] были рассмотрены проблемы современного «Цифрового двойника» \ Digital Twin (ЦД \ DT) и общие подходы к его идентификации, в первую очередь, его «Трехкомпонентный состав DT» («три кита» двойника): реальный объект (физический двойник, «физик», Physical Twin, PT), его модель (собственно сам DT) и обратная связь – как передача эксплуатационных данных объекта в контекст его модели (в идеале двухсторонний обмен). В идеале должен быть не только двухсторонний обмен по эксплуатационным данным, но и обмен по состоянию самой структуры объектов (синхронизация структуры), что будет подтверждать актуальность используемой модели (структурную адекватность обоих двойников).
В большинстве случаев предлагаемые «примеры DT» представляют собой незамысловатый ребрендинг привычных (обычных) систем, т.е. скорее являются Pseudo Digital Twin \ Digital Impostor, а не Digital Twin, при этом даже имея все три компонента DT могут содержать модель не адекватную своему физическому близнецу («as-is» vs «as-really-is").
Кроме маскирования под DT обычных SCADA - систем и CASE \ BPMS типа ARIS (см. первую часть [DT1]), включая Enterprise Architecture (EA, архитектура предприятия как цифровой двойник предприятия), красивую вывеску «DT» прикручивают к системам:
- ERP, например, dia$par,
Многомерный анализ данных временных рядов

Попробуем применить многомерный анализ к данным временных рядов с помощью интерактивной визуализации данных измерений и их взаимосвязей.
Интерактивная карта Республики Коми с отображением социально-экономических показателей

Делюсь опытом как я сделал интерактивную карту Республики Коми: от QGIS и D3.js до графиков и API Wikidata. Карта визуализирует социально‑экономические показатели районов и населённых пунктов, поддерживает масштабирование, позволяет переключать слои, выбирать тёмную и светлую темы, а также получать справочную информацию об объектах.
Из боли клиентов — в новый продукт: как мы пересобрали аналитику на Clickhouse

Чем лучше разработчик, тем хуже он делает аналитику. Просто потому, что для этого требуется разный технологический стек.
Системы, которые пишут разрабы, шикарно записывают и хранят данные. Но попытка прочесть большой объём данных сразу роняет всю систему, так как она плохо для этого предназначена.
В этой статье я расскажу про 2 ключевых подхода к хранению и обработке данных, какой мы выбрали для аналитики в Saas-платформе и к чему это привело.
Оживляем данные Strava: от парсинга GPX до интерактивной карты на Python и JS

Привет, Хабр! Меня зовут Александр, я разработчик и, как многие в IT, стараюсь уравновешивать сидячую работу спортом — в моем случае, это велосипед и бег. И, как многие спортсмены-любители, я пользуюсь Strava.
В этой статье я хочу провести вас «под капот» моего проекта и показать на реальных фрагментах кода, как с помощью Python, щепотки NumPy и капли JavaScript можно построить собственный мощный инструмент для анализа спортивных данных. Это история не только про код, но и про философию открытых данных и желание сделать профессиональные инструменты доступными для всех.
Кластерные A/B-тесты: как победить эффект соседа

Привет, Хабр!
Сегодня мы рассмотрим, как спасаться от «эффекта соседа», рандомизируя не пользователей, а их кластеры в A/B тестах.
У классического AB-теста есть аксиома SUTVA: мол, результат конкретного юзера зависит только от его собственной ветки «treatment / control». Реальность улыбается и кидает в лицо соцсетью, где лайк друга поднимает и твою вовлечённость, курьером, который обгоняет коллег и заражает их скоростью, и cпасибками «приведи друга — получи бонус». Итог — наблюдения больше не независимы.
Внутрикамерный жаргон это называет network interference. Чем плотнее граф связей, тем сильнее лечение «просачивается» за контрольные границы.
Вклад авторов
VaskivskyiYe 503.0DmitrySpb79 469.0varagian 429.0OsipovRoman 414.4ilusha_sergeevich 407.0KoGor 383.0marks 375.0infotanka 350.0dlinyj 303.0Kilor 299.6