Как стать автором
Поиск
Написать публикацию
Обновить
42.58

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Порог рейтинга
Уровень сложности

Простая Enterprise Architecture. Архитектура компании садоводов

Время на прочтение9 мин
Количество просмотров7.4K

Под грустное рычание,
Под бодрое мычание,
Под дружеское ржание
Рождается на свет
Большой СКЕЛЕТ для маленькой,
Для маленькой такой компании,
Для скромной такой компании
Огромный такой СКЕЛЕТ!

Читать далее

Почему эксель уже не топ. Эволюция от Excel до BI систем

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров9.9K

Не нужно много времени, чтобы объяснить, что такое excel, зачем он нужен и чем он полезен. Этот, если можно так сказать, All-on-one инструмент вошел в обиход уже очень давно и применяется не только в рамках аналитической работы. Компания Microsoft проделала большую работу и подарила нам tool неописуемый в своем многообразии. VBA (Visual basic for applications) и возможность интеграции Add-ins только усилила это многообразие, сделав его чуть ли не уникальным.

Но, как и во всем, дьявол кроется в деталях, и когда речь о более, скажем так, «тонкой» аналитической работе или обработке big data, мы сталкиваемся с трудностями.

Читать далее

Поиск локации для магазинов и другие истории

Уровень сложностиСредний
Время на прочтение16 мин
Количество просмотров4K

Выбрать правильное место для размещения магазина — ключевая задача в розничной офлайн торговле.

Отраслевые эксперты любят золотое правило трёх самых важных в ритейле «L» (конечно, это «Location», «Location» и еще раз «Location») уже давно.

Сегодня к адептам этого правила присоединились еще и аналитики и data scientist»ы в больших подразделениях сетевых розничных компаний, девелоперов и агентств недвижимости, а также разработчики геосервисов. К слову сказать, правило это тут же преобразовалось в «Location», «Context», «Mobility».

За относительно недолгое время cформировался набор типовых сервисов для определения оптимального месторасположения магазинов. Один из них описан в этой статье.

Читать далее

progressive_plots или ускоряем построение графиков

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров2.5K

Здравствуйте, меня зовут Николай Стрекопытов и большую часть карьеры я работал на стыке R&D и Deep Learning и в задачах возникающих в этих нишах часто невозможно написать какие-то автотесты и не всегда понятно где вообще может быть проблема поэтому нужно визуально исследовать графики каких-то алгоритмически-заданных функций или показаний с девайса при разных параметрах, а хочется эти графики изучить в максимально детализированном варианте, что почти всегда занимает неприлично большое количество времени.

Я подумал, что можно вычислять значения функции в узлах не в порядке "перебираем каждую строчку столбца, а затем переключаемся на следующий столбец", а в каком-то более хитром порядке И выводить результат не через часы вычислений, а по мере извлечения информации, а в точках, в которых еще не была вычислена функция показывать результат интерполяции. Собственно в этой статье я хочу описать как я разработал прототип библиотеки, которая решает эту задачу и в комментариях с удовольствием вычитаю дельные замечания.

Читать далее

Почему 17 исходов лучше 100 тысяч, или как аэропорт систему рекомендаций настраивал

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров1.5K

Аналитики строили систему рекомендаций для менеджеров по работе с авиакомпаниями. Рекомендация должна помочь менеджеру вовремя заметить отклонения в показателях авиакомпании, оперативно отреагировать и принять экономически выгодное решение. 

Эта статья о том, как аналитики делали базовую систему рекомендаций, расширяли и углубляли её, увеличивали количество возможных исходов до сотни тысяч и возвращались к началу. Расскажем о том, как система устроена, какие предлагает рекомендации и почему оказалось, что 17 исходов лучше ста тысяч. Вот как это было…

Читать далее

Отображение графа на Python с networkx

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров37K


Граф — это форма визуализации, позволяющая показывать и анализировать отношения между сущностями. Например, рисунок ниже показывает вклад редакторов Википедии на различных языках энциклопедии в июле 2013 года:



Можно сделать несколько наблюдений:


  • Английский (en) — основной язык, на который переводятся все остальные языки; в то же время многие англоязычные материалы переводятся на другие языки.
  • Китайский (zh) переводится на японский (ja), но не наоборот.
  • И китайский, и японский материалы переведены на английский, и наоборот.

Я же расскажу о том, как для отображения графов использовать пакет networkx.

Читать дальше →

Десять самых распространённых проблем с качеством данных и способы их устранения

Время на прочтение5 мин
Количество просмотров4.7K

Введение


Данные стали основой всех бизнесов мира. В процессе принятия решений организации сильно полагаются на свои ресурсы данных, но, к сожалению, «на 100% чистых и точных данных» не существует. На данные влияют различные факторы, снижающие их качество. По словам специалистов, лучшим способом борьбы с проблемами данных является выявление их первопричин и внедрение новых процессов для повышения их качества. В этой статье рассказывается о распространённых проблемах с качеством данных и об оптимальных способах их устранения. Но сначала давайте разберёмся, почему важно знание этих проблем и как они могут влиять на ведение бизнеса.
Читать дальше →

Тайны мозга. Анализируем данные MRI с помощью FreeSurfer и Python

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров2.7K

Визуализация мозга это революционное направление в неврологии, оно позволяет исследователям получать беспрецедентное представление о структуре и функциях человеческого мозга. Одной из областей, где визуализация показала особые перспективы, является выявление паттернов мозговой активности, связанных с различными предрасположенностями, такими как черты личности, когнитивные способности и психические расстройства. В этой статье мы рассмотрим, как эту технологию можно использовать для выявления предрасположенностей человека, и какие открытия были сделаны в этой области, увидим как, используя данные MRI получить сведения о базовых структурах мозга на примере его коры.

Читать далее

Как повысить эффективность обработки данных в сфере авиации. Кейс Xiamen Airlines

Время на прочтение16 мин
Количество просмотров1.8K

Привет, друзья! Сегодня команда Business Intelligence GlowByte поделится материалом от китайских партнеров из FanRuan – кейсом внедрения FineBI в авиации. Статья объемная (и “визуальная”), состоит из двух частей. В первой рассказывается о компании и проблемах, с которыми она столкнулась в работе с большими данными, во второй рассматриваются сценарии использования BI-инструментов в авиации.  

Читать далее

Ты мог бы стать спортсменом, если бы родился в другой день. Что такое Relative Age Effect?

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров18K

Что делает перспективного ребенка из местной спортивной секции чемпионом мира по футболу, олимпийским призером или обладателем Кубка Стэнли?

Талант? Упорный труд? Но что если есть и другая причина, о которой мы раньше не слышали. Или не хотели слышать. Что, если она не так мелодична, не так романтична и уж совсем не вписывается в наше представление об истинном успехе?

Читать далее

Business Intelligence и бизнес-аналитика: стратегия, этапы, процессы и инструменты

Время на прочтение17 мин
Количество просмотров68K

Все бизнесы работают с данными — информацией, генерируемой множеством внутренних и внешних источников компании. Эти каналы данных служат органами чувств руководства, предоставляя ему информацию о том, что происходит с бизнесом и рынком. Следовательно, любое ошибочное представление, неточность или нехватка информации могут привести к искажённому восприятию ситуации на рынке и неверному пониманию внутренних операций, что в свою очередь несёт за собой ошибочные решения.

Для принятия решений на основе данных необходимо чётко видеть все аспекты своего бизнеса, даже те, о которых вы не думаете. Но как превратить неструктурированные фрагменты данных в что-то полезное? В этом вам поможет business intelligence.

Мы уже говорили о стратегии организации машинного обучения. В этой статье мы расскажем о том, как интегрировать business intelligence в существующую корпоративную инфраструктуру. Вы узнаете, как подготавливается стратегия business intelligence и интегрируются инструменты в рабочие процессы компании.
Читать дальше →

Взгляд компьютерным зрением на работу коммунальных служб

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров11K

С помощью обработки данных с уличных камер проанализируем характеристики движения пешеходов. Посмотрим как на их поведение влияет качество работы коммунальных служб. Узнаем насколько сильно замедляет передвижение гололед, и как много шагов нужно, чтобы это выяснить.

Пошагали

Nvidia и закон Мура. Мур умер, да здравствует Хуанг

Время на прочтение3 мин
Количество просмотров20K

Закон Мура умер, да здравствует закон Хуанга.

В 1965 году одним из основателей компании Intel, Гордоном Муром была отмечена эмпирическая закономерность, согласно которой число транзисторов на кристалле чипа удваивается каждые 12 месяцев. В 1975 году Гордон Мур внес коррективы в данное правило, обозначив, что число транзисторов на кристалле удваивается каждые 24 месяца. С тех пор данная закономерность именуется законом Мура. 

Читать далее

Ближайшие события

Принципы работы OLTP-систем. Требования ACID

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров7.5K

Транзакция - достаточно обширное понятие, которое используется в разных сферах жизни. Существует банковская транзакция - это операция, которая состоит в переводе денежных средств с одного счёта на другой. Или бывает банкоматная транзакция – выдача денег либо проведение иной операции с помощью терминала. В юриспруденции понятию «транзакция» придается значение схожее со значением понятия «сделка», а в психологии - это факт коммуникации между людьми (трансакция).

Наконец, для информационных технологий «транзакция» - это последовательность (одна или несколько) операций по работе с данными. Чтобы организовать правильный обмен данными к транзакциям и транзакционным системам применяются некоторые требования, которые легли в основу архитектуры современных баз данных.

Читать далее

Аналитика рынка профессии с историей (Yandex Data Lake + Power BI)

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров3.7K

Как-то я написал статью Аналитика рынка профессии в три клика. Но подключение, описанное в статье, напрямую к сайту HHru, лишает анализ вакансий историчности. В дашборде хранится только один «снимок» данных на момент загрузки в него. Другими словами, при нажатии кнопки Обновить все данные в дашборде перезатрутся. Было бы интересно видеть картину во времени? Мне да. Тем более, сделать это не сложно, и стоит пару сотен рублей в год. При выборе инструментов и способов у меня был принцип - просто и дешево.

Для того чтобы добавить историчности в дашборд обратимся к облачным технологиям. Нам нужно место, куда мы будем складывать и хранить наши «снимки» данных. Причем сырые ответы сайта в формате JSON. К этому хранилищу мы и будем подключаться из Power BI. Небольшая схема архитектуры на картинке.

Читать далее

Визуализация данных с помощью Python Dash

Время на прочтение8 мин
Количество просмотров36K

В этом руководстве вы получите представление о том, на что способен Dash, и как интегрировать его в свой рабочий процесс.

Читать далее

Независимый рейтинг TAdviser: чем Visiology отличается от других вендоров российского BI?

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров2.3K

Привет, Хабр! Буквально на днях был опубликован рейтинг TAdviser рынка BI. Редакция долго готовила свой обзор, хотя для составления рейтингов компаний использовались данные 2021 года. В общем-то промедление в данном случае понятно, ведь мы оказались в состоянии переходного периода, когда западные системы внезапно перешли для пользователей в “серую” зону. Но зато результаты этой аналитической работы принесли сразу несколько интересных мыслей, на которые я хотел бы обратить внимание в этом посте. 

Читать далее

SQL backend или как помочь BI работать с BigData

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров4.5K

Привет, Хабр! В этом посте мы поговорим о том, как происходит подключение к внешней СУБД для BI-платформы Visiology, а также разберем ситуации, когда это действительно нужно. Под катом — подробный разбор возможностей SQL backend, которым может воспользоваться сегодня фактически каждый пользователь Visiology. Кроме этого мы остановимся на нюансах подключения различных СУБД, а также обсудим, в каких ситуациях можно “сесть на два стула” и получить как скорость расчетов, так и поддержку бигдаты для очень больших объемов данных.

Читать далее

Предсказание оттока пользователей

Время на прочтение10 мин
Количество просмотров12K

Обработка данных и применение основных видов регрессий для решения задач на Kaggle, на примере соревнования "Предсказание оттока пользователей" от DeepLearningSchool МФТИ.

Читать далее

Администрируем сервер Дельта BI, применяя опыт работы с Tableau Server

Время на прочтение7 мин
Количество просмотров1.4K

Головная боль администратора BI сервера пропорциональна масштабу развернутого решения. Начнем с главных ориентиров, следуя которым мы привыкли достигать баланса в работе BI сервера (и улучшать качество ночного сна админа). А дальше разберемся, какой функционал помогает решать эти и другие задачи в Дельта BI — на фоне привычного для Vizuators Tableau Server (TS).

Читать далее