Визуализация данных *

В последние несколько лет мы все чаще слышим о self service подходе в BI, он становится всё более важным для бизнеса, предоставляя пользователям возможность самостоятельно анализировать данные и принимать решения без участия IT-служб. Self service BI предоставляет бизнес-пользователям гибкость и контроль над своими отчётами и дэшбордами, позволяя работать с данными без навыков программирования.

Мы в ГК Luxms, понимая этот запрос со стороны рынка, сделали значительный шаг в развитии self service функционала на нашей платформе Luxms BI. 

Luxms BI — платформа бизнес-аналитики данных с высочайшим быстродействием и горизонтальной масштабируемостью. У неё мощные функциональные и визуальные возможности, а также быстрая обработка больших объёмов данных благодаря своей датацентричной архитектуре. В Реестре российского ПО.

Сейчас многие крупные клиенты, такие как Почта России и Департамент здравоохранения Москвы, активно используют Luxms BI именно как полноценный инструмент для самостоятельного анализа данных. 

Меня зовут Алексей Розанов, я руководитель пресейл направления и работы с партнёрами, и в этой статье я расскажу, как мы целенаправленно работали над этим направлением и что уже сделали, чтобы сегодня наша платформа являлась мощным аналитическим решением для решения self service задач.

Представьте, что вам нужно быстро сравнить распределения зарплат сотрудников разных отделов или оценить разброс результатов эксперимента. В таких ситуациях отличным выбором будет boxplot, он же “ящик с усами” – эффективный инструмент для выявления ключевых характеристик распределения, позволяющий быстро оценить медиану, разброс данных и обнаружить выбросы.

В этой статье мы подробно разберем, что такое boxplot и почему его называют “ящиком с усами”.

PyGame — это популярная библиотека для разработки 2D игр на Python. В данной статье рассмотрено необычное применение PyGame – это быстрый вывод графиков, например, потоков данных с частотой дискретизации 44100 Гц со звуковой карты, что может быть применимо для визуализации звуковых сигналов.

Меня зовут Александра, и я — менеджер инкубатора Коллаб 2К24 от ВкусВилла. В 2024 году мы запустили программу, в рамках которой студенты — бакалавры и магистры ведущих ВУЗов России и СНГ разрабатывали свой инновационный продукт. Чтобы команды налаживали горизонтальные связи, делились опытом, получали качественную обратную связь от конкурентов и радовались успехам друг друга —  мы создали модель биржи ценных бумаг внутри нашего R&D Инкубатора. Это совершенно новый подход к акселерационным программам, который можно адаптировать и запустить под любой формат: корпоративная программа, учебный курс или стартап-акселератор. 

Всем привет! Это снова мы — направление FI (Financial Intelligence) компании GlowByte. В прошлой статье мы обещали рассказать про отечественные решения класса CPM. Сегодня мы расскажем, почему, на наш взгляд, сейчас лучшее время для внедрения российского софта, а также опишем основные требования заказчиков к подобным платформам. 

Тестирование на скорость рисования 2D графиков и измерение fps популярных графических пакетов (Mayavi 3D, PyVista, Matplotlib, PyQTGraph, Plotly, PyGame, Arcade, pyOpenGL, VisPy, Bokeh) Возможно ли на слабом железе получить FPS=50? А FPS=1000? Да, но есть нюансы: VSync=Off

Для 8 графических пакетов в статье приведены 8 максимально коротких и простых специфичных для каждого пакета кода на python, отображающий на экране с максимально возможным FPS для данного пакета график sin()+noise.

При использовании DAX аналитикам важно следить не только за корректностью результатов, но и за производительностью системы при обработке запросов. Одним из инструментов повышения эффективности является корректное использование функции SUMMARIZE. Всем, кто работает с большими объемами данных, активно изучает синтаксис DAX, а также интересующимся особенностями SUMMARIZE — добро пожаловать под кат!

Сегодня распространённым (модным) явлением стало называть «старое» моделирование новым термином «Производство цифровых двойников» (Digital Twin), тем самым создавая туман-интригу, при котором соблазн монетизации пафосного бренда и хайп вокруг Цифрового двойника побеждают здравый смысл. За редким исключением все, что сейчас называют Цифровой трансформацией и Цифровым двойником – по сути ими не являются, отсюда и желание разобраться в термине «цифровой двойник». Первый шаг на пути «от путаницы к ясности» - это определиться с терминологий. Так необходимым условием идентификации Digital Twin предлагается считать наличие трех раздельных компонентов (два близнеца и связь между ними) и адекватность модели (точность, т.е. «as-really-is», и требуемая детализация).

По тексту приведены в основном цитаты из [DTatom20] / [DTatom19min] и [Dozortsev22] / [Dozortsev23]. Однако эти и подобные исследования (вкл. [Pavlov23]) носят описательный (обзорный) характер, а хороших (внятных) классификаций, концепций и framework для DT не встречал. Вообще, по DT информации – тьма, но после прочтения хотя бы указанных книжек и ссылок становится вопросов только больше.

Пока что красивая метафора «Цифровой двойник» \ Digital Twin (ЦД \ DT) имеет скупую концептуальную проработку: требуется даже не уточнение концепции, а скорее ее формирование, т.к. это пока только аморфная и противоречивая парадигма, точнее множество парадигм DT/ Pseudo DT, в которых называют одним именем (DT) разные вещи (размытие концепции). По большому счету сегодня имеем только концепт Майкла Гривса и массу «маркетинговых оберток», которые не соответствуют даже его концепту 2002 года. Попытки концептуализации, классификации, разработки таксономий хоть и проводятся, например, [Archetypes], но пока они не очень результативны.

Сегодня у большинства крупных компаний есть схожая задача: в условиях санкционных рисков, постепенном «отключении» зарубежных систем и политики импортозамещения — перейти на отечественные решения, сохраняя при этом функционал, привычное качество решений и свои наработки.

Меня зовут Алексей Розанов, я руководитель пресейл направления и работы с партнерами ГК Luxms, вендора платформы Luxms BI.

Luxms BI — платформа бизнес-аналитики данных с высочайшим быстродействием и горизонтальной масштабируемостью. У нее мощные функциональные и визуальные возможности, а также быстрая обработка больших объемов данных благодаря своей датацентричной архитектуре. В Реестре российского ПО.

И как человек, который постоянно общается с заказчиками, я прекрасно понимаю, насколько сложным может быть переход с одной системы бизнес-аналитики на другую. Перенос данных, настройка ETL-процессов, интеграция с текущими бизнес-процессами, полная перестройка работы ИТ-служб — всё это требует значительных усилий. А для тех, кто использует Power BI и работает с многомерными кубами, задача усложняется многократно.

В этой статье я расскажу, как Luxms BI помогает нашим клиентам успешно адаптироваться к новым условиям, не теряя в гибкости и эффективности аналитики на примере реализации поддержки MDX-запросов.

В данное статье рассматривается порядок развертывания системы сбора и анализа логов с сетевых устройств производства Cisco и Juniper Networks, посредством применения «Syslog-ng», «Vector», «Loki» и «Grafana». Подробно описан процесс развертывания данных инструментов с помощью docker‑compose. Помимо этого, в статье затрагивается конфигурация сетевых устройств с использованием Ansible. Отдельное внимание отведено визуализации данных в Grafana, посредством создания dashboard.

В BI-системах визуализации объединяются в листы, а несколько листов, отражающих конкретную предметную область, называются аналитическим приложением.

Структура приложения может как упростить восприятие данных, позволяя быстро находить нужную информацию, так и усложнить процесс анализа, если приложение построено хаотично.

В этой статье рассказываем о методологии DAR для разработки аналитического приложения на основе дедуктивного способа познания.

Этот проект — моя попытка привлечь внимание к проблеме смертности в дорожно-транспортных происшествиях в Европе. Через визуализацию данных я старалась показать, насколько остро стоит эта проблема, и подчеркнуть, что многие жизни можно было бы спасти благодаря грамотному городскому планированию и мерам безопасности.

Проект оказался очень личным для меня, поскольку тема смертности в ДТП в нашей стране остаётся в тени, несмотря на её актуальность. Через искусство, основанное на данных (data art), я хотела не только привлечь внимание к этой теме, но и поделиться лучшими мировыми практиками.

Если раньше у нас были универсальные инструменты, сервисы заметок и баз данных, сейчас появляется рынок решений под конкретные задачи. Изучаем несколько сервисов: зарубежных и отечественных, и разбираемся, кому они могут пригодиться.

Как студенческое исследование по оценке репутации контрагентов с использованием открытых данных переросло в ИТ-решение представителя среднего бизнеса.

История моей ИТ-инициативы началась с университетского проекта по управлению рисками, выполненного на кафедре «Бизнес-информатика» Финансового университета. Совмещая приятное с полезным, одновременно с учебным проектом занимался оценкой благонадежности контрагентов и рисков сотрудничества с ними в реальном бизнесе.

В рамках университетского исследования изучены взаимосвязи между различными корпоративными данными, включая факторы риска, и результатами сотрудничества с контрагентами. В исследованиях выявил взаимозависимость репутационных рисков с банкротствами аффилированных лиц, политическими взглядами учредителей и судебной активностью, при этом благонадёжность определяется устойчивым развитием, участием в госзакупках и политических кампаниях.

Руководству были представлены результаты исследования взаимосвязей между репутацией и благонадёжностью контрагентов. На основе проведённого исследования было принято решение внедрить ИТ-решение по автоматизации анализа и визуализации данных с использованием открытых данных из источников, таких как ФНС, Право.ру и СКБ Контур, доступных через открытые API. Так, функционал этих инструментов начал применяться в реальном бизнесе для оценки благонадёжности контрагентов.

Сейчас данные – новая нефть, этот тренд становится важным для принятия решений в компаниях. Зачем искажают данные? Обычно это делается, когда желаемое хотят выдать за действительное, представить что-то в выгодном свете, подтолкнуть к ошибочным выводам «на основе данных». Чаще такие искажения встречаются в презентациях, поскольку при использовании дашбордов пользователь, как правило, самостоятельно может углубиться в данные и перепроверить их, если возникают сомнения.

Привет, Хабр! Меня зовут Андрей Машковцев, я — ведущий BI-аналитик в «Т-банке», эксперт Skillbox, веду телеграмм–канал «Лайфхаки в аналитике» и увлекаюсь бегом. Для закрытого комьюнити Skillbox Code Experts рассказал об этике визуализации данных. Как представлять данные этично и каким образом нами манипулируют с помощью графики. Основные мысли переложил в статью. Напомню, что в первой части статьи я рассказывал, как не нужно визуализировать данные и показал антипаттерны на примерах. В этой статье приведу примеры намеренного искажения данных при визуализации и научу их распознавать.

Вся информация о нас закодирована в ДНК. Но как она реализуется? Как при помощи анализа данных секвенирования ученые находят количественные соотношения между группами генов? Что такое транскриптомика? Давайте разберемся, как находят закономерности в экспрессии генов и построим красочные визуализации.

Привет, Хабр! В этой статье я хотел бы поговорить про особенности план-факт анализа, а также о работе с денормализованной таблицей, которая «была, есть и будет использоваться», потому что оказывается удобной для некоторых приемов работы с BI. Под катом вы найдете 7 примеров решения типовых задач план-факт анализа, включая расчет долей, отображение данных с учетом иерархии, разбивку по регионам и так далее. Всех, кому интересны эти практические аспекты, жду под катом :)

Все мы знаем, что Гит здорово облегчает жизнь разработчикам. Версионирование позволяет нам вернуться на шаг назад, если мы где-то жестко напортачили. А еще оно помогает отслеживать изменения, которые мы вносим в код. Весь код и история изменений хранятся на сервере, через который может работать команда разрабов. Одним словом, удобно.

Под катом расскажу, как поднять платформу для учета и версионирования затравок Langfuse.

(Обложка сгенерирована DALL-E от OpenAI)

Привет!

Хочу поделиться инструментом для визуализации данных Мосбиржи, Nasdaq, NYSE и AMEX. Графики можно посмотреть на странице finmap.org. Сейчас я занимаюсь этим проектом один, а планов много, например, добавить данные торгов стран Европы, Азии и Латинской Америки. Исходный код опубликован на GitHub. Очень надеюсь, что хабр-эффект всё ещё работает и здесь найдутся те, кто готов присоединиться к разработке. Пожалуйста, расскажите о проекте друзьям и знакомым.

Данные торгов представлены в виде treemap и histogram. В карточке каждой компании отображается краткое описание и новостная лента. В будущем я планирую добавить ленту микроблогов.

Привет всем! Я, Ипатов Александр, backend-разработчик в ГК Юзтех. Сегодня хочу поделиться своим опытом создания (в комплексе с элементами ETL, DWH) и использования BI-инструментов, не затрагивая российский сегмент, о котором в последнее время слышно очень много, в связи с событиями, связанными с запретом использования западных продуктов. На мой взгляд, общие принципы разработки и использования везде идентичные, и хочется сделать обзор именно по глобальному игроку на рынке BI решений, о нём ниже.

Начать хочу с того, что же такое BI. Business Intelligence — это совокупность технологий, методов и процессов, предназначенных для анализа данных и предоставления информации, необходимой для принятия обоснованных бизнес-решений. Согласно рейтингу TAdvisor  , в последние годы BI стал неотъемлемой частью любой успешной организации, независимо от её размера и отрасли.

Преимущества использования BI инструментов

BI инструменты предоставляют много преимуществ, которые могут значительно повысить эффективность работы компании: