Как стать автором
Обновить
59.35

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Период
Уровень сложности

Визуализация статических и динамических сетей на R, часть 1

Время на прочтение4 мин
Количество просмотров19K
Очень многие системы и явления представимы в виде сетей, т.е. набора объектов и связей между ними. Сеть — не только абстракция, но и наглядный инструмент визуализации данных. Можно отобразить важность того или иного объекта, вес каждой связи, указать ключевые группы элементов, выделить их и подчеркнуть связи между ними. Главная задача визуализации — подать ключевую информацию о свойствах системы или явления максимально легким для восприятия способом. В идеальном случае анализ системы и визуализацию его результатов можно сделать в рамках одного инструмента. R с его обширным набором пакетов позволяет это.
Читать дальше →

Исследование Oracle Form при помощи Java Development API(JDAPI)

Время на прочтение2 мин
Количество просмотров8.1K
Для поиска зависимости форма от обьектов базы данных мне нужно было разобрать файл Oracle Form(в дальнейшем — fmb файл).
Fmb — это псевдотекстовый файл, если очень нужно, PL/SQL код можно увидеть и искать как используются обьекты БД там, но все равно трудно понять тип триггера или программы и к какому элементу формы он относится. Можно использовать конвертацию в FMT, но не думаю, что разбор fmt файла легче чем использование API, который дает Оракл.
Тем более, что вся остальная часть моей программы была написана в Java Swing, логичней было использовать JDAPI, который позволяет разобрать форм по полочкам и видеть весь код PL/SQL и properties, которые меня интересовали.
Читать дальше →

DataTalks #2: Визуализация данных

Время на прочтение2 мин
Количество просмотров20K
Вторая встреча сообщества DataTalks была посвящена визуализации данных – одному из самых важных и сильных инструментов в руках аналитиков. Ведь именно от того, как представлены результаты исследовательской работы, зависят решения и выводы заказчика. Помимо этого, визуализация помогает проводить предварительный анализ данных и быстро находить новые взаимосвязи.
Под катом вы найдете записи выступлений представителей компаний Wargaming, Ambitious Suits Consulting, Targetprocess, А2 Консалтинг и интернет-портала TUT.BY. Докладчики поделились опытом наглядного и информативного представления данных.
Сама встреча традиционно прошла «под танком», в главном офисе компании СООО «Гейм Стрим», минского офиса разработки Wargaming.
image
Читать дальше →

ASH Viewer

Время на прочтение5 мин
Количество просмотров23K
Предыстория (2008 г.)

По работе часто приходилось разбираться с производительностью серверов БД Oracle. После выхода Oracle 10g задача по мониторингу и диагностике проблем с производительностью значительно упростилась – с помощью истории активных сессий (Active Session History, ASH) стало возможно узнать, что происходило с БД в прошлом, что творится на сервере в данный момент, и даже прогнозировать, что будет происходить с нагрузкой в будущем.

Но, во-первых, процесс миграции на новую версию достаточно длительный, и некоторые заказчики продолжали использовать старые версии. А во-вторых, средства визуализации истории активных сессий от Oracle, которые имелись в наличии:
  • Требовали некоторых телодвижений по их установке и настройке – это Oracle Enterprise Manager Console (DB Console) или Oracle Enterprise Manager Grid Control (сейчас Oracle Enterprise Manager Cloud Control). DB Console из моей (и не только) практики требовал для установки применения очень сильных админских заклятий. Также в целях экономии ресурсов не все хотят ставить на сервера БД дополнительные сервисы или разворачивать на своей площадке отдельную инфраструктуру для мониторинга;
  • Обладали рядом архитектурных недостатков. К примеру, в случае зависания сервера БД доступ к информации из истории активных сессий посредством Oracle Enterprise Manager Console становился невозможным, и оперативно выяснить, что «что-то пошло не так» (с) было практически нереально;
  • Отсутствовала функциональность в части сохранения данных мониторинга и последующего его анализа на своей площадке.

Из сторонних бесплатных средств, похожая функциональность была реализована в утилите ASHMON за авторством Kyle Hailey. Но функционал был только для просмотра, и работала она под одну платформу – Windows.

В общем, после рассмотрения всех доступных на тот момент вариантов, было принято волевое решение собирать свой «велосипед» из подручных материалов.



Читать дальше →

Интерактивная карта Республики Коми с отображением социально-экономических показателей

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров1K

Делюсь опытом как я сделал интерактивную карту Республики Коми: от QGIS и D3.js до графиков и API Wikidata. Карта визуализирует социально‑экономические показатели районов и населённых пунктов, поддерживает масштабирование, позволяет переключать слои, выбирать тёмную и светлую темы, а также получать справочную информацию об объектах.

Читать далее

Кейсы по применению BI в агробизнесе: подборка от РСХБ

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров455

Современные решения в области бизнес-аналитики (BI) и искусственного интеллекта (AI) позволяют агрокомпаниям перейти от формальной отчетности к управлению, основанному на данных. Привет, Хабр! Я - Галина Галкина, работаю в департаменте аналитических систем компании R-Style Softlab (группа компаний Россельхозбанка). В этой статье предлагаю рассмотрим, как цифровые инструменты помогают оптимизировать процессы в животноводстве и птицеводстве.

Читать далее

85 вопросов на собеседовании разработчика QlikView/Qlik Sense (с ответами)

Уровень сложностиСредний
Время на прочтение56 мин
Количество просмотров2.2K

Всем привет! Меня зовут Александр Андреев, я старший SRE дата-инженер и бывший BI/DWH-разработчик с многолетним опытом работы с BI‑платформой QlikView/Qlik Sense. В своей статье‑шпаргалке я хочу поделиться с вами практически всеми возможными вопросами и ответами с собеседований на должность Qlik‑разработчика. Данная шпаргалка гарантированно закроет 99% возможных вопросов на собеседованиях на позиции, где упоминается Qlik в качестве BI‑системы. Таких позиций с каждым годом все больше, причем знание Qlik в качестве BI‑системы требуют как с чистых «биайщиков», так и с дата‑инженеров на некоторых сеньорских и lead позициях.

Подготовка к собеседованию на позицию с QlikView/Qlik Sense в качестве BI‑системы требует глубокого понимания как базовых концепций, так и продвинутых техник работы с платформой. В этой статье я собрал 85 наиболее важных вопросов, которые помогут вам систематизировать знания и успешно пройти техническое интервью.

Читать далее

Манипуляции, абьюз и визуальные искажения: как использовать UI/UX в дашбордах

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров2.7K

Дашборд – лицо аналитика. В зависимости от того, насколько он понятен и красив, его пользователь будет принимать верные решения. Понятен и красив – очень субъективные понятия. В этой статье попробуем взглянуть на них через исследования, практику и опыт, чтобы сформулировать правила того, как можно и как лучше не стоит визуализировать данные на дашборде.

Привет, это Анна Васичко, методист Академии PIX. В марте мы выпустили новый урок в рамках PIX Триатлона, где вместе с моей коллегой, Анной Климковой, разобрали, как устроены визуализации на дашбордах и какие есть лучшие практики визуализации данных. В этой статье хочу чуть глубже копнуть в принципы UI/UX при разработке дашбордов и разобрать, какие случайные (или не очень) манипуляции в графиках могут привести вас на темную сторону.  

Читать далее

Аналитика продаж в розничных сетях: 6 ключевых и 16 вспомогательных показателей, а также формулы для расчета

Время на прочтение6 мин
Количество просмотров1.9K

Всем привет! На связи Андрей Рыжик, разработчик BI. В этой статье о том, какие цифры и в каких разрезах действительно полезны для розничных сетей. Например, сама по себе выручка не расскажет много о ситуации в компании. Гораздо информативнее будет для бизнеса, если мы покажем, какие товары приносят больше всего прибыли. Собрал основные показатели и рассказал на примерах, как они рассчитываются.

Читать далее

Data-driven подход: ищем максимальный ресурс команды

Уровень сложностиПростой
Время на прочтение15 мин
Количество просмотров1.2K

Общая боль руководителей при планировании работы: как равномерно распределить задачи так, чтобы проекты шли по плану, а люди не выгорали. Чаще всего причиной провалов проектов становится неэффективное управление ресурсами: кто-то «тонет» в задачах, кто-то простаивает, а самый опытный аналитик оказывается недоступен в критические моменты. Говоря о планировании и распределении ресурсов, мы в первую очередь помним, что речь идет о людях — с их уникальными навыками, усталостью, мотивацией и потребностями.

Прозрачность в процессе планирования создают данные: руководитель может прогнозировать узкие места и вовремя выравнивать нагрузку. Такой подход увеличивает эффективность, снижает текучесть кадров и вовлекает команду в достижение общих целей. Статья будет полезна тем, кто хочет не просто «разгребать завалы», а выстроить системное управление ресурсами. Сейчас расскажем, как мы внедряли data-driven подход.

Читать далее

Почему стандартные подходы к разработке не работают в аналитике: взгляд изнутри

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров6.3K

Когда владельцы бизнеса просят команду IT «добавить аналитику» в продукт, часто это заканчивается болью — и для разработчиков и для самого бизнеса. За последние несколько лет я участвовал в построении аналитических решений более чем в 10 компаниях — от стартапов до крупных корпораций. Почти во всех компаниях среднего уровня, только начинающих выстраивать BI-аналитику, я видел одну и ту же ошибку: попытку встроить аналитику в архитектуру приложения как обычный модуль. Это не работает, и вот почему.

Читать далее

Три разные единицы измерения на одном графике с библиотекой Plotly

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров2.7K

📊 Информативные графики с двумя осями Y и тремя разными единицами измерения в Plotly!

В этом туториале я разберу, как с помощью мощной библиотеки Plotly на Python создать интерактивную визуализацию с тремя различными единицами измерения.

Вы узнаете:
• Как настроить вторичные оси Y и X
• Способы визуализации разнородных данных
• Техники форматирования шкал и меток
• Варианты красивого оформления мульти-осевых графиков

Читать далее

Мониторинг инфраструктуры: как избежать простых и неправильных решений

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров6.6K

Мониторинг – это не только сбор информации о состоянии, а помощник для всех. И именно поэтому он такой разный. Ведь чтобы помочь пользователям, разработчикам, провайдерам, мониторингу приходится решать очень разные задачи на разных уровнях. Например, пользователям важно, чтобы сервис был доступен именно в тот момент, когда он им потребуется. Провайдеру – чтобы ресурсы работали максимально эффективно.

На первый взгляд кажется, что главное для мониторинга – это выбрать ключевые метрики, учесть особенности инфраструктуры и настроить сбор данных,  триггеры и алерты. Несомненно, это очень важно для инструмента наблюдения. Но всё же главное в мониторинге — сделать его источником информации для развития и оптимизации.

Привет, Хабр! Я — Андрей Камардин, SRE-инженер одной из российских облачных компаний, старший преподаватель в МАИ и эксперт Skillbox по DevOps. Веду канал «Записки про IT». Для закрытого комьюнити Skillbox IT Experts рассказал, как мы настраивали мониторинг инфраструктуры для принятия решений.

Читать далее

Ближайшие события

Изучаем DAX Time Intelligence с помощью ViTalk GPT

Время на прочтение3 мин
Количество просмотров1.2K

Привет, Хабр! Сегодня я хочу поговорить о возможностях и ограничениях функций Time Intelligence в Visiology. Это очень интересный раздел языка DAX, который позволяет быстро делать показательные расчеты, например, сравнивая показатели текущего периода с предыдущими. Однако в его реализации для Visiology и Power BI есть некоторые различия (впрочем, не влияющие на результат). В этой статье мы поговорим об этой разнице, а также я наглядно покажу, как чат-бот ViTalk GPT помогает разобраться с особенностями работы различных функций.

Читать далее

api2app: Как из домашнего компьютера сделать сервер для публичного приложения

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров6.9K

Ранее я уже рассказывал, что при разработке api2app вдохновлялся идеей Python-библиотеки Gradio. У этой библиотеки есть очень полезный функционал: можно запустить приложение на локальном компьютере в режиме share (поделиться), тогда будет сгенерирована публичная ссылка, по которой это приложение будет доступно на любом другом компьютере, подключенном к Интернет.

В этой статье пошагово опишу свой способ. Есть свои плюсы и свои минусы, но в любом случае, думаю, альтернатива не будет лишней. Для примера создам онлайн-приложение для создания транскрипций аудио с помощью проекта whisper.cpp. Делаю всё на Ubuntu, но, думаю, на Windows это повторить будет не сложно.

Читать далее

С корабля на бал. Межконтинентальный заплыв из Азии в Европу (анализ данных в комплекте)

Время на прочтение17 мин
Количество просмотров1.9K

Повествование пойдет о Босфорском боевике, который состоялся в 2016 году во времена Турецкого военного путча.

⋮ Дисклеймер.
Материал опубликован из собственных очерков, которые были написаны, переписаны и убраны в стол. Во-первых, при случае удобно поделиться с кем-то ссылкой на свою историю, чем расчехлять черновики, во-вторых, присутствует уникальный материал (анализ данных), который любознательные читатели найдут только в этом лонгриде, и в третьих, продолжаю вдохновлять тех людей, кто ищет частичку мотивации.

Мне нужна мотивация

Книга: «Визуализация данных для профессионалов. Дизайн понятных диаграмм и дашбордов»

Время на прочтение7 мин
Количество просмотров12K
Привет, Хаброжители!

Задумывались ли вы когда-нибудь о том, насколько сильно визуализация данных облегчает восприятие информации? Мы настолько привыкли к присутствию самых разных диаграмм и графиков в нашей повседневной жизни, что воспринимаем их как должное, не вникая в то, какая сложная это на самом деле задача – придать количественным данным визуальную форму. Казалось бы, выделил столбик в Excel, нажал две кнопки – и готово. Только вот не факт, что вы получите такой результат, который хотелось бы получить, потому что создание хорошей визуализации – это целая наука (и потому что появилось целое множество инструментов, которые позволяют сделать это быстрее и эффективнее, чем Excel).

Именно этой науке и посвящена книга «Визуализация данных для профессионалов. Дизайн понятных диаграмм и дашбордов». Ее автор – Дезире Эбботт – считает, что визуализация данных – это идеальное сочетание математики и творчества. Имея степень магистра по физике, Дезире знает, насколько в любой области деятельности важна теория, но вместе с этим она, «промучавшись в аспирантуре» и так и не получив степень PhD, как никто другой понимает, какое значение имеет доступное изложение материала на человеческом языке. Руководствуясь этим, Дезире удалось написать такую книгу, в которой ключевые принципы визуализации вместе с лежащей в их основании теорией изложены понятно, четко и увлекательно.
Читать дальше →

Замолвите словечко за akvorado

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров3K

Добрый день! Меня зовут Михолап Константин. Работаю в небольшом операторе связи инженером, а вот в каком уже поймете по AS и страничке в PeeringDB.
В 2025-ом году никого уже не удивить наличием возможности визуализировать входящий трафик для разного рода ISP или ЦОД, поэтому возможно Вы уже слышали что-то про Akvorado.

В рамках этой статьи познакомимся с адаптацией такого программного комплекса инструмента Akvorado. И так, Akvorado - это Netflow-коллектор с функциями визуализации собираемого трафика. К публике он вышел в 2022 году, о нем много кто слышал, я уверен. Были разные материалы например в linkmeup. Очень прост для установки, развертывания и возможно даже обслуживания (если вы чуть-чуть знаете Сlickhouse).

Читать далее

Супер-простой анализ отзывов с помощью GPT

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров4.4K

Для менеджера по продукту отзывы пользователей – это бесценный источник знаний о проблемах, запросах, пожеланиях и юзкейсах аудитории. Но есть нюанс: анализировать текстовые отзывы вручную тяжело, поэтому команды часто их игнорируют целиком или анализируют отзывы редко и несистемно.

Мы решили упорядочить анализ и систематизацию отзывов пользователей с помощью GPT. В итоге получился полностью автоматизированный дашборд, который обновляется каждый день и приносит много пользы и инсайтов.

Читать далее

Self service в действии: как Luxms BI помогает ускорить аналитику

Уровень сложностиПростой
Время на прочтение11 мин
Количество просмотров1.4K

В последние несколько лет мы все чаще слышим о self service подходе в BI, он становится всё более важным для бизнеса, предоставляя пользователям возможность самостоятельно анализировать данные и принимать решения без участия IT-служб. Self service BI предоставляет бизнес-пользователям гибкость и контроль над своими отчётами и дэшбордами, позволяя работать с данными без навыков программирования.

Мы в ГК Luxms, понимая этот запрос со стороны рынка, сделали значительный шаг в развитии self service функционала на нашей платформе Luxms BI. 

Luxms BI — платформа бизнес-аналитики данных с высочайшим быстродействием и горизонтальной масштабируемостью. У неё мощные функциональные и визуальные возможности, а также быстрая обработка больших объёмов данных благодаря своей датацентричной архитектуре. В Реестре российского ПО.

Сейчас многие крупные клиенты, такие как Почта России и Департамент здравоохранения Москвы, активно используют Luxms BI именно как полноценный инструмент для самостоятельного анализа данных. 

Меня зовут Алексей Розанов, я руководитель пресейл направления и работы с партнёрами, и в этой статье я расскажу, как мы целенаправленно работали над этим направлением и что уже сделали, чтобы сегодня наша платформа являлась мощным аналитическим решением для решения self service задач.

Читать далее