Как стать автором
Поиск
Написать публикацию
Обновить
50.98

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Порог рейтинга
Уровень сложности

Apache Superset. Первый взгляд на BI инструмент

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров94K

В последнее время изучая вакансии на сайтах по поиску работы, все чаще стал отмечать, что помимо платных инструментов BI от кандидатов требуется знание еще бесплатных платформ. Мой предыдущий опыт работы по построению графической отчетности был связан исключительно с коммерческими продуктами, поэтому я решил выделить время на ознакомление с альтернативными решениями. Выбор Superset был случайным, так как я обратил внимание на него лишь потому, что он входит в экосистему Apache. Сразу хочу оговориться, что в данной заметке не будет сравнения Superset с платными инструментами. Такое сопоставление функционала просто некорректно из-за разных “весовых категорий”. Также я не буду выделять плюсы и минусы решения по сравнению с бесплатными аналогами, так как это очень дискуссионный вопрос. Неизбежно найдутся адепты того или иного продукта, которые будут доказывать ошибочность моих суждений. Поэтому я построил публикацию в форме простого описания “нюансов”, которые я выделил для себя, начав знакомство с Superset. Читатели же сами смогут сделать свои выводы.

Читать далее

Визуализация в IoT: или как самому развернуть систему сбора и отображения данных на MQTT+Telegraf+InfluxDB+Grafana

Уровень сложностиСредний
Время на прочтение27 мин
Количество просмотров59K

В данной статье приведен скоуп информации о том, что взять за основу, чтобы развернуть свой домашний Linux-сервер и систему визуализации на нем, используя MQTT в качестве транспорта с оконечного оборудования. 

Многие статьи или инструкции, которые есть в интернете, в части работы с Influx и Telegraf – имеют отношения к довольно старым версиям рассматриваемого ПО, в виду чего у меня ушло какое-то время, чтобы со всем разобраться. Хотелось бы оставить небольшое обновление по инструкциям здесь, возможно, они помогут кому-то сэкономить время и нервы, так как информация агрегирована в виде summury моего погружения в реализацию данного решения. 

Кому интересно, welcome :)

Читать далее

Исследование и анализ содержимого неизвестной карты памяти

Время на прочтение10 мин
Количество просмотров32K

Недавно мой один знакомый подарил мне старую SD карту памяти фирмы «Canon» на 128 МБ, которую нашёл где-то на улице. Её вполне мог кто-нибудь просто выкинуть, так как обычному пользователю ей очень сложно найти применение в современных технических условиях. Объём 128 МБ по нынешним временам считается очень малым, да и в смартфон её не вставишь ввиду большого размера. В основном распространены карты памяти microSD, которые вставляются в большинство смартфонов, но были также ещё и miniSD. Карты памяти малого объёма (MMC 8 МБ, 16 МБ) я встречал лет 20 назад в miniDV видеокамерах. Они там использовалась в качестве дополнительного носителя для сохранения фотографий.

Читать далее

DALL-E 2 vs MidJourney: наш опыт практического применения нейросети для оформления сайта…и не только

Время на прочтение6 мин
Количество просмотров46K

Привет, Хабр! В этом посте я расскажу том, как мы на практике применили результат работы нейросети, почему решили использовать ИИ для отрисовки графики на сайте и предлагаю обсудить, какие вообще существуют перспективы в этой сфере для российского бизнеса. Под катом — наша история выбора и применения нейросети, а также несколько сгенерированных разными нейросетями наборов картинок с запросами, по которым мы их получили. 

Читать далее

Сам себе data scientist или зачем нужен анализ данных менеджеру по продажам

Время на прочтение15 мин
Количество просмотров5.7K

Всем привет! Меня зовут Михаил Тимофеев, я работаю специалистом в отделе телемаркетинга в Ростелекоме. Когда начинал работать менеджером по продажам, меня постоянно мучали вопросы: почему клиент отказался, где моя зона роста, что делать, чтобы продавать больше? И тогда я решил все взять в свои руки.

В статье я расскажу о своём опыте создания DIY-системы учета и прогноза продаж в Excel (или его аналоге Cacl из пакета LibreOffice), Power BI и Python 3 с подключенной библиотеками Pandas, NunPy и MatPlotLib.

Читать далее

Визуализация данных GeoJSON с использованием GeoPandas и Python

Время на прочтение3 мин
Количество просмотров14K

Ежесекундно в мире появляется огромное количество информации, которую обрабатывать и понимать человеку в большинстве случаев невозможно. Благодаря визуализации данных (построении графиков, диаграмм и нанесении данных на карты), люди могут анализировать информацию, делать выводы и строить прогнозы.

Автором данной статьи является доктор Саумен Атта - постдокторант Лаборатории математических наук в Нантском университете, Франция. Ознакомиться с его блогом можно по ссылке. Оригинал статьи вы можете найти тут.

Читать далее

Ситуационный центр для мониторинга IT-инфраструктуры и UX — как такое решение может выглядеть на практике

Время на прочтение5 мин
Количество просмотров5.1K

Подобные системы применяют организации из самых разных отраслей — промышленные предприятия, нефтегазовые компании, облачные провайдеры и многие другие. Расскажем, что важно знать о ситуационных центрах.

Читать далее

Визуализация решает или про иллюстрацию статистических тестов

Время на прочтение4 мин
Количество просмотров2.3K

В статье представлены результаты использования пакетов ggstatsplot и ggpmisc, позволяющих визуализировать результаты проверки статистических гипотез и параметры уравнений регрессий.

Читать далее

«A/B сидели на...» или обзор инструмента для продуктовой аналитики и A/B тестирования UX Rocket 2.0

Время на прочтение6 мин
Количество просмотров2.7K

В профессии техписа, на мой взгляд, есть два прекрасных момента:

1. возможность познакомиться с новыми решениями и технологиями раньше, чем они будут доступны широкому кругу пользователей;
2. постоянно приходится “ковырять” вещи, о которых раньше понятия не имел.

В этот раз я приоткрыл для себя завесу удивительного мира продуктовой аналитики и A/B тестирования благодаря UX Rocket 2.0.

Если кратко, то это российская замена популярным на рынке сервисам аналитики, персонализации и A/B тестирования от Google, Amplitude, Appsflyer, AB Tasty, Dynemic yield, Oracle, SAS и другим продуктам от менее известных компаний.

В данном материале мы немного поговорим о важности повышения конверсии для интернет-маркетинга в современных условиях, а также посмотрим на функционал UX Rocket 2.0.

Читать далее

Автоматизация оценки мнения аудитории о видеофрагменте, на основе количественного CAWI опроса

Время на прочтение3 мин
Количество просмотров745

В этой стать хочу рассказать о том, что оценивать мнение аудитории о происходящем на видео можно, и даже нужно, не только качественными, но и количественным методом, получая результаты сразу без каких-либо задержек.

К плюсам количественного способа оценки я бы отнес следующее:

Читать далее

Про наш с Модильяни секрет, восприятие мира и перцептивную геометрию

Время на прочтение19 мин
Количество просмотров4.5K

В этой истории я расскажу Вам про мои попытки разгадать секрет женских портретов Модильяни, как при этом я пришел к проблемам визуального восприятия нами внешнего мира и познакомился с перцептивной геометрией. 

Читать далее

Создание и наполнение PostGIS при использовании Docker

Время на прочтение5 мин
Количество просмотров8.7K

Пошаговая инструкция о том, как установить и использовать расширение PostGIS для PostgreSQL в Docker.

Включает в себя: установка и настройка Docker-контейнера, загрузка данных в базу данных, извлечение и визуализация данных, анализ геоданных с помощью PostGIS функционала.

Читать далее

«Звезда» — оптимальная структура данных при переходе на российский BI

Время на прочтение20 мин
Количество просмотров13K

Бизнес-аналитика — интереснейшее направление работы с данными. С одной стороны пользователи хотят видеть красивые дашборды и простые self-service платформы, а с другой стороны, для организации всего этого порой требуется колоссальная работа по организации витрин, моделей данных, оптимизации запросов, а вместе с этим — мощный сервер для переработки миллиардов записей. В этом посте я расскажу о том, почему для работы с BI сегодня как никогда актуальна такая модель данных как “Звезда”, и как ее использование помогает улучшать эффективность бизнес-аналитики на любых BI-платформах.

Читать далее

Ближайшие события

Путь к “сердцу заказчика”, или Как мы редизайнили дашборды у топового банка России

Время на прочтение5 мин
Количество просмотров8.6K

Многие компании в РФ сегодня уже далеко не новички в сфере BI. За последние несколько лет технология активно распространилась в нашей стране, дашборды и ad-hoc-визуализации стали активно использовать при принятии решений в самых разных индустриях и направлениях. В этой статье мы, команда Business Intelligence GlowByte, хотим рассказать о случае из личного опыта на проекте с банком топ-5 России, а именно о том, как наша команда решила проблему неэффективного использования прогрессивного инструмента бизнес-отчетности.

Читать далее

Как научиться чувствовать треки? Визуализация музыкальных частот в Моей волне

Время на прочтение6 мин
Количество просмотров19K
Разработчики всего мира потратили миллионы часов на создание визуализаций музыки в приложениях и плеерах. Наверняка многие из вас помнят анимации в старом-добром Winamp. Или разные скины JetAudio. Олды вообще скажут: «Погоди-ка, ты забыл про Atari Video Music, всего-то 1976-й был!» — и будут правы.

Моя волна — бесконечный, адаптивный и персональный поток музыки, основанный на предпочтениях. Он появился в Яндекс Музыке в прошлом году — с базовой визуализацией. Бэкенд вычислял цвет и скорость вращения исходя из звукового рисунка композиции, и Моя волна анимировалась с этой скоростью на протяжении всего трека.



Но хотелось добавить динамики, связи между звуком и визуальным рядом — чтобы анимация дополняла эмоции от музыки. Мы решили сделать так, чтобы Моя волна учитывала не просто темп, а саму музыку, то есть частоты. В конце концов, это главный экран приложения, и было бы странно показывать на нём какую-то простую давно знакомую визуализацию.

Меня зовут Андрей Бобков, я Android-разработчик, и в этом посте я расскажу, как при помощи высшей математики и цифрового анализа сигнала мы научили Мою волну чувствовать треки, которые вы слушаете, и визуализировать частоты.
Читать дальше →

Как мы в СИБУРе делаем дашборды для людей. Часть 3: считаем прибыль не только правильно, но и красиво

Время на прочтение5 мин
Количество просмотров3.8K

Привет! Как мы уже не раз рассказывали, СИБУР поделен на несколько сквозных процессов. Сквозные процессы – это бизнес-домены, которые объединяют в себе бизнес-команды одной сферы. У нас таких много, но конкретно этот пост будет посвящён дашбордам для O2C. 

В случае O2C – это также сквозной процесс, который расшифровывается как Order to cash. Он отвечает за привлечение новых клиентов и получение прибыли. Кроме того, такой подход помогает перестраивать бизнес-процессы на предприятии и способствует активной цифровизации производственных процессов.

Сегодня использование O2C напрямую связано с промышленной цифровизацией. Постепенно все, начиная от поиска лидов и сопровождения сделок, заканчивая непосредственно продажами, передачей права собственности, когда бухгалтерия контрагента расписалась в акте, перестраивается на автоматический режим.

O2C как бизнес состоит из нескольких больших подразделений, эти же подразделения являются как потребителями данных, так и основными генераторами идей, все-таки стараемся работать в продуктовом подходе и учитывать хотелки всех и вся, как минимум внутри O2C. 

Читать далее

Self-hosted EXPLAIN: наглядно и безопасно

Время на прочтение2 мин
Количество просмотров8.6K

С момента первой же хабрапубликации о возможностях нашего сервиса визуализации планов запросов PostgreSQL explain.tensor.ru (а было это уже больше 2 лет назад) пользователи задавали резонный вопрос: "Все у вас круто, но у нас в запросах и планах есть коммерческая инфа, которую отправлять куда-то наружу низзя... Можно как-то ваш сервис развернуть на своей площадке?"

Ну, а почему бы и нет, подумали мы - тем более, некоторые пользователи уже интересовались возможностью интеграции нашего сервиса в свои системы.

Читать далее

Интерпретация моделей или как заглянуть в черный ящик

Время на прочтение6 мин
Количество просмотров6.3K

В своей статье про обучение на синтетике я затронул такой инструмент как Grad-cam. Grad-CAM один из подходов, позволяющих интерпретировать модель и визуализировать её результаты. Давайте немного поговорим зачем вообще тратить время и ресурсы на визуализацию предсказаний и как это может помочь в будущем!

Читать далее

Как один мужик карту города рисовал

Время на прочтение3 мин
Количество просмотров13K

Всем привет!



Сегодня поговорим о визуализации геоданных с помощью GeoPandas и Kepler.gl. Хотел бы рассказать, как я за пару дней построил вот такую карту, где высота полигонов регулировалась этажностью здания, а цвет - годом постройки.

Читать далее

Работа над неразмеченными данными с QGIS и opentripmap на практике

Время на прочтение8 мин
Количество просмотров2.9K

В этом посте я хочу поделиться интересным опытом работы с неразмеченными данными при помощи открытого ресурса opentripmap.

Задача

По исходным данным определить является ли конкретное фото, сделанное пользователем туристическим или нет. А так же масштабировать и автоматизировать алгоритм решения на любой регион Российской Федерации, избегая ручную работу.

Читать далее