Как стать автором
Поиск
Написать публикацию
Обновить
41.34

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Порог рейтинга
Уровень сложности

Использование PyGame для визуализации сигналов звукового диапазона с частотой дискретизации 44100 Гц в реальном времени

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров2.5K

PyGame — это популярная библиотека для разработки 2D игр на Python. В данной статье рассмотрено необычное применение PyGame – это быстрый вывод графиков, например, потоков данных с частотой дискретизации 44100 Гц со звуковой карты, что может быть применимо для визуализации звуковых сигналов.

Читать далее

Новый инструмент для обучающих программ: зачем мы превратили прогресс продуктовых команд в котировки на игровой бирже?

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров899

Меня зовут Александра, и я — менеджер инкубатора Коллаб 2К24 от ВкусВилла. В 2024 году мы запустили программу, в рамках которой студенты — бакалавры и магистры ведущих ВУЗов России и СНГ разрабатывали свой инновационный продукт. Чтобы команды налаживали горизонтальные связи, делились опытом, получали качественную обратную связь от конкурентов и радовались успехам друг друга —  мы создали модель биржи ценных бумаг внутри нашего R&D Инкубатора. Это совершенно новый подход к акселерационным программам, который можно адаптировать и запустить под любой формат: корпоративная программа, учебный курс или стартап-акселератор. 

Читать далее

Мнение GlowByte: чем можно импортозаместить CPM и надо ли это делать

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров654

Всем привет! Это снова мы — направление FI (Financial Intelligence) компании GlowByte. В прошлой статье мы обещали рассказать про отечественные решения класса CPM. Сегодня мы расскажем, почему, на наш взгляд, сейчас лучшее время для внедрения российского софта, а также опишем основные требования заказчиков к подобным платформам. 

Читать далее

Python 2D графика. Визуализация данных в реальном времени. Matplotlib, PyQTGraph, pyOpenGL, VisPy, Bokeh и др. FPS 200?

Уровень сложностиСложный
Время на прочтение4 мин
Количество просмотров9.8K

Тестирование на скорость рисования 2D графиков и измерение fps популярных графических пакетов (Mayavi 3D, PyVista, Matplotlib, PyQTGraph, Plotly, PyGame, Arcade, pyOpenGL, VisPy, Bokeh) Возможно ли на слабом железе получить FPS=50? А FPS=1000? Да, но есть нюансы: VSync=Off

Для 8 графических пакетов в статье приведены 8 максимально коротких и простых специфичных для каждого пакета кода на python, отображающий на экране с максимально возможным FPS для данного пакета график sin()+noise.

Читать далее

Плюсы и минусы SUMMARIZE

Время на прочтение6 мин
Количество просмотров2.2K

При использовании DAX аналитикам важно следить не только за корректностью результатов, но и за производительностью системы при обработке запросов. Одним из инструментов повышения эффективности является корректное использование функции SUMMARIZE. Всем, кто работает с большими объемами данных, активно изучает синтаксис DAX, а также интересующимся особенностями SUMMARIZE — добро пожаловать под кат!

Читать далее

Digital Twin. Часть 1. Цифровой двойник vs цифровой самозванец

Время на прочтение27 мин
Количество просмотров4.2K

Сегодня распространённым (модным) явлением стало называть «старое» моделирование новым термином «Производство цифровых двойников» (Digital Twin), тем самым создавая туман-интригу, при котором соблазн монетизации пафосного бренда и хайп вокруг Цифрового двойника побеждают здравый смысл. За редким исключением все, что сейчас называют Цифровой трансформацией и Цифровым двойником – по сути ими не являются, отсюда и желание разобраться в термине «цифровой двойник». Первый шаг на пути «от путаницы к ясности» - это определиться с терминологий. Так необходимым условием идентификации Digital Twin предлагается считать наличие трех раздельных компонентов (два близнеца и связь между ними) и адекватность модели (точность, т.е. «as-really-is», и требуемая детализация).

По тексту приведены в основном цитаты из [DTatom20] / [DTatom19min] и [Dozortsev22] / [Dozortsev23]. Однако эти и подобные исследования (вкл. [Pavlov23]) носят описательный (обзорный) характер, а хороших (внятных) классификаций, концепций и framework для DT не встречал. Вообще, по DT информации – тьма, но после прочтения хотя бы указанных книжек и ссылок становится вопросов только больше.

Пока что красивая метафора «Цифровой двойник» \ Digital Twin (ЦД \ DT) имеет скупую концептуальную проработку: требуется даже не уточнение концепции, а скорее ее формирование, т.к. это пока только аморфная и противоречивая парадигма, точнее множество парадигм DT/ Pseudo DT, в которых называют одним именем (DT) разные вещи (размытие концепции). По большому счету сегодня имеем только концепт Майкла Гривса и массу «маркетинговых оберток», которые не соответствуют даже его концепту 2002 года. Попытки концептуализации, классификации, разработки таксономий хоть и проводятся, например, [Archetypes], но пока они не очень результативны.

Читать далее

Поддержка MDX в Luxms BI: комфортная миграция с Power BI

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров771

Сегодня у большинства крупных компаний есть схожая задача: в условиях санкционных рисков, постепенном «отключении» зарубежных систем и политики импортозамещения перейти на отечественные решения, сохраняя при этом функционал, привычное качество решений и свои наработки.

Меня зовут Алексей Розанов, я руководитель пресейл направления и работы с партнерами ГК Luxms, вендора платформы Luxms BI.

Luxms BI — платформа бизнес-аналитики данных с высочайшим быстродействием и горизонтальной масштабируемостью. У нее мощные функциональные и визуальные возможности, а также быстрая обработка больших объемов данных благодаря своей датацентричной архитектуре. В Реестре российского ПО.

И как человек, который постоянно общается с заказчиками, я прекрасно понимаю, насколько сложным может быть переход с одной системы бизнес-аналитики на другую. Перенос данных, настройка ETL-процессов, интеграция с текущими бизнес-процессами, полная перестройка работы ИТ-служб — всё это требует значительных усилий. А для тех, кто использует Power BI и работает с многомерными кубами, задача усложняется многократно.

В этой статье я расскажу, как Luxms BI помогает нашим клиентам успешно адаптироваться к новым условиям, не теряя в гибкости и эффективности аналитики на примере реализации поддержки MDX-запросов.

Читать далее

Juniper и Cisco, как правильно собрать syslog и красиво оформить dashboard в grafana

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров4.8K

В данное статье рассматривается порядок развертывания системы сбора и анализа логов с сетевых устройств производства Cisco и Juniper Networks, посредством применения «Syslog-ng», «Vector», «Loki» и «Grafana». Подробно описан процесс развертывания данных инструментов с помощью docker‑compose. Помимо этого, в статье затрагивается конфигурация сетевых устройств с использованием Ansible. Отдельное внимание отведено визуализации данных в Grafana, посредством создания dashboard.

Читать далее

Логика построения BI-приложения. Методология DAR для проектирования дашбордов

Время на прочтение5 мин
Количество просмотров3.4K

В BI-системах визуализации объединяются в листы, а несколько листов, отражающих конкретную предметную область, называются аналитическим приложением.

Структура приложения может как упростить восприятие данных, позволяя быстро находить нужную информацию, так и усложнить процесс анализа, если приложение построено хаотично.

В этой статье рассказываем о методологии DAR для разработки аналитического приложения на основе дедуктивного способа познания.

Читать далее

Как данные о ДТП превратить в арт-проект

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров1.1K

Этот проект — моя попытка привлечь внимание к проблеме смертности в дорожно-транспортных происшествиях в Европе. Через визуализацию данных я старалась показать, насколько остро стоит эта проблема, и подчеркнуть, что многие жизни можно было бы спасти благодаря грамотному городскому планированию и мерам безопасности.

Проект оказался очень личным для меня, поскольку тема смертности в ДТП в нашей стране остаётся в тени, несмотря на её актуальность. Через искусство, основанное на данных (data art), я хотела не только привлечь внимание к этой теме, но и поделиться лучшими мировыми практиками.

Читать далее

Универсальность против конкретики. Какой сервис заметок и баз знаний подойдет именно вам?

Уровень сложностиСредний
Время на прочтение13 мин
Количество просмотров10K

Если раньше у нас были универсальные инструменты, сервисы заметок и баз данных, сейчас появляется рынок решений под конкретные задачи. Изучаем несколько сервисов: зарубежных и отечественных, и разбираемся, кому они могут пригодиться.

Читать далее

Практическое применение открытых API: трансформация студенческого проекта в бизнес-решение по оценке контрагентов

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров2K

Как студенческое исследование по оценке репутации контрагентов с использованием открытых данных переросло в ИТ-решение представителя среднего бизнеса.

История моей ИТ-инициативы началась с университетского проекта по управлению рисками, выполненного на кафедре «Бизнес-информатика» Финансового университета. Совмещая приятное с полезным, одновременно с учебным проектом занимался оценкой благонадежности контрагентов и рисков сотрудничества с ними в реальном бизнесе.

В рамках университетского исследования изучены взаимосвязи между различными корпоративными данными, включая факторы риска, и результатами сотрудничества с контрагентами. В исследованиях выявил взаимозависимость репутационных рисков с банкротствами аффилированных лиц, политическими взглядами учредителей и судебной активностью, при этом благонадёжность определяется устойчивым развитием, участием в госзакупках и политических кампаниях.

Руководству были представлены результаты исследования взаимосвязей между репутацией и благонадёжностью контрагентов. На основе проведённого исследования было принято решение внедрить ИТ-решение по автоматизации анализа и визуализации данных с использованием открытых данных из источников, таких как ФНС, Право.ру и СКБ Контур, доступных через открытые API. Так, функционал этих инструментов начал применяться в реальном бизнесе для оценки благонадёжности контрагентов.

Читать далее

Этика представления данных в примерах: как нами манипулируют

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров6.4K

Сейчас данные – новая нефть, этот тренд становится важным для принятия решений в компаниях. Зачем искажают данные? Обычно это делается, когда желаемое хотят выдать за действительное, представить что-то в выгодном свете, подтолкнуть к ошибочным выводам «на основе данных». Чаще такие искажения встречаются в презентациях, поскольку при использовании дашбордов пользователь, как правило, самостоятельно может углубиться в данные и перепроверить их, если возникают сомнения.

Привет, Хабр! Меня зовут Андрей Машковцев, я — ведущий BI-аналитик в «Т-банке», эксперт Skillbox, веду телеграмм–канал «Лайфхаки в аналитике» и увлекаюсь бегом. Для закрытого комьюнити Skillbox Code Experts рассказал об этике визуализации данных. Как представлять данные этично и каким образом нами манипулируют с помощью графики. Основные мысли переложил в статью. Напомню, что в первой части статьи я рассказывал, как не нужно визуализировать данные и показал антипаттерны на примерах. В этой статье приведу примеры намеренного искажения данных при визуализации и научу их распознавать.

Читать далее

Ближайшие события

Транскриптомный анализ: как посчитать гены?

Уровень сложностиПростой
Время на прочтение20 мин
Количество просмотров3.6K

Вся информация о нас закодирована в ДНК. Но как она реализуется? Как при помощи анализа данных секвенирования ученые находят количественные соотношения между группами генов? Что такое транскриптомика? Давайте разберемся, как находят закономерности в экспрессии генов и построим красочные визуализации.

Читать далее

Планы и факты: работаем с денормализованной таблицей

Время на прочтение6 мин
Количество просмотров3.7K

Привет, Хабр! В этой статье я хотел бы поговорить про особенности план-факт анализа, а также о работе с денормализованной таблицей, которая «была, есть и будет использоваться», потому что оказывается удобной для некоторых приемов работы с BI. Под катом вы найдете 7 примеров решения типовых задач план-факт анализа, включая расчет долей, отображение данных с учетом иерархии, разбивку по регионам и так далее. Всех, кому интересны эти практические аспекты, жду под катом :)

Читать далее

Контроль и порядок. Разворачиваем платформу учёта затравок для БЯМ

Уровень сложностиПростой
Время на прочтение14 мин
Количество просмотров1.1K

Все мы знаем, что Гит здорово облегчает жизнь разработчикам. Версионирование позволяет нам вернуться на шаг назад, если мы где-то жестко напортачили. А еще оно помогает отслеживать изменения, которые мы вносим в код. Весь код и история изменений хранятся на сервере, через который может работать команда разрабов. Одним словом, удобно.

Под катом расскажу, как поднять платформу для учета и версионирования затравок Langfuse.

(Обложка сгенерирована DALL-E от OpenAI)

Читать далее

Визуализация данных Мосбиржи и не только

Время на прочтение3 мин
Количество просмотров6.1K

Привет!

Хочу поделиться инструментом для визуализации данных Мосбиржи, Nasdaq, NYSE и AMEX. Графики можно посмотреть на странице finmap.org. Сейчас я занимаюсь этим проектом один, а планов много, например, добавить данные торгов стран Европы, Азии и Латинской Америки. Исходный код опубликован на GitHub. Очень надеюсь, что хабр-эффект всё ещё работает и здесь найдутся те, кто готов присоединиться к разработке. Пожалуйста, расскажите о проекте друзьям и знакомым.

Данные торгов представлены в виде treemap и histogram. В карточке каждой компании отображается краткое описание и новостная лента. В будущем я планирую добавить ленту микроблогов.

Читать далее

BI как подход бизнеса к принятию решений. Пример реализации в логистике

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров3.2K

Привет всем! Я, Ипатов Александр, backend-разработчик в ГК Юзтех. Сегодня хочу поделиться своим опытом создания (в комплексе с элементами ETL, DWH) и использования BI-инструментов, не затрагивая российский сегмент, о котором в последнее время слышно очень много, в связи с событиями, связанными с запретом использования западных продуктов. На мой взгляд, общие принципы разработки и использования везде идентичные, и хочется сделать обзор именно по глобальному игроку на рынке BI решений, о нём ниже.

Начать хочу с того, что же такое BI. Business Intelligence — это совокупность технологий, методов и процессов, предназначенных для анализа данных и предоставления информации, необходимой для принятия обоснованных бизнес-решений. Согласно рейтингу TAdvisor  , в последние годы BI стал неотъемлемой частью любой успешной организации, независимо от её размера и отрасли.

Преимущества использования BI инструментов

BI инструменты предоставляют много преимуществ, которые могут значительно повысить эффективность работы компании:

Читать далее

Как менялась аналитическая платформа Modus BI в 2024 году?

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров943

За 2024 год платформа Modus BI сильно изменилась — мы выпустили целых девять обновлений. Год подошёл к концу, и мы решили собрать в одной статье основные «фишки», которые мы добавили в течение года в Modus BI и Modus ETL, показать, как продукт менялся и обозначить планы по развитию на 2025 год.

Читать далее

Полный цикл аналитической разработки за пару минут

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров4.7K

Сталкивались ли вы в вашей компании с проблемами?

1. Невозможностью по быстрому создать таблицу. Вместо этого нужно катить миграцию, получать апрувы от DWH, следить за тем чтобы таблица была производительна и тд
2. Вам не нравится BI вашей компании или нравится но но хотелось бы делать визуализацию быстрее.

Если да, то эта статья для вас!

Читать далее