Как стать автором
Поиск
Написать публикацию
Обновить
41.08

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Порог рейтинга
Уровень сложности

Аномалии электоральной статистики на выборах в Государственную Думу 2021 года по 125 ОИК, КОИБ or not КОИБ

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров8.5K

В статье 2021 года мы пронаблюдали аномалии результатам выборов в Государственную думы 2021 года подмосковному 125 избирательному округу. На некоторых избирательных участках прослеживались аномалии явки, аномалии темпа голосования в последние часы выборов, причем часто эти аномалии коррелировали с очень хорошими результатами партии Единая Россия.

Недавно в телеграмм канале общественного деятеля Бориса Надеждина был опубликован перечень подмосковных избирательных участков оборудованных Комплексом обрабо́тки избирательных бюллетеней (КОИБ). В связи с появлением новых исходных данных возникло желание сравнить результаты выборов 2021 на участках, оборудованных КОИБ и не оборудованных.

Вот что получилось.

Читать далее

Анализ и визуализация данных с помощью библиотеки Altair

Уровень сложностиПростой
Время на прочтение14 мин
Количество просмотров7K


Автор статьи: Артем Михайлов

Altair — это декларативная библиотека визуализации данных, разработанная на основе языка Vega и Vega-Lite. Она предоставляет высокоуровневый интерфейс для создания информативных и красочных графиков с минимальными усилиями. Основная философия Altair заключается в том, что пользователи должны описывать, что они хотят увидеть на графике, а не как это реализовать. Это делает код более читаемым и интуитивно понятным.
Читать дальше →

Разбор I2S трафика в программе Logic 2

Уровень сложностиПростой
Время на прочтение1 мин
Количество просмотров4.4K

В этом тексте я написал инструкцию того как настроить логический анализатор Saleae производить автоматический синтаксический разбор трафика на шине I2S.

Читать далее

Архитектура аналитической платформы Modus ч.2: BI

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров2.7K

Привет, Хабр!

На связи Саша Чебанов, product owner компании Modus. Сегодня хочу поделиться второй статьей из цикла «Архитектура аналитической платформы». Поговорим об общем устройстве BI-системы и подробнее остановимся на анатомии Modus BI. Вы узнаете, из каких компонентов состоит аналитическая BI-система, какие данные ей нужны, откуда она их берет и как они превращаются в графики и диаграммы. Поехали!

Читать далее

Шпаргалка по Seaborn. Делаем матрицы красивыми

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров14K

Привет, Хабр!

Часто в работе аналитика данных при подготовке очередного отчета или презентации, колоссальное количество времени уходит именно на графическую составляющую подготовки.

Ведь все хотят сделать отчет не только информативным, но и визуально привлекательным.

В этой статье мы разберем основные шаги, которые помогут сделать ваши матрицы стильными и продающими ваши результаты, используя лишь две основные библиотеки визуализации в Python - Seaborn и Matplotlib.

Читать далее

Путь 11 страданий: это не ДЗЕН и не ДАО — это выбор российского BI

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров7.2K

Привет, Хабр! Мне, наконец, есть чем поделиться с вами. И это результаты практически годового процесса выбора BI-системы из числа российских разработок на замену одной из западных платформ. За это время мне стало очевидно, что примерно 50% действий, которые мы сделали, можно было и не делать, а 20% не стоило делать вовсе. В итоге получилась практически инструкция “как не надо” выбирать себе BI-систему, если вы хотите, чтобы она действительно начала приносить вам пользу ASAP. Под катом — также мои мысли о том, как надо было бы. Желающих обсудить, прошу присоединяться.

Хочу научиться на чужих ошибках...

Система визуализации и мониторинга. Grafana + Prometheus

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров46K

Немного расскажу про установку Grafana на windows и настройку базовых метрик систем.

Пару слов о самой Grafana и для чего она нужна.

Grafana – это платформа для мониторинга, анализа данных и визуализации собранных данных с открытым исходным кодом. По сути она используется для визуального представления собранных метрик для более комфортного слежения за состоянием системы.

В данной статье буду использовать:

Читать далее

Профилирование Python — почему и где тормозит ваш код

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров27K

Представьте ситуацию: вы написали скрипт для обработки каких-то данных на ноутбуке, ушли попить кофе, а когда пятнадцать минут спустя вернулись, завершилось едва ли 10%.

Почему скрипт работает так медленно? Какая его часть тормозит? Дело в чтении данных, их обработке или сохранении? Как ускорить исполнение? Действительно ли скрипт вообще медленный?

Ответить на все эти вопросы поможет инструмент под названием «профилировщик» (profiler).
Читать дальше →

Опыт визуализации данных на геокарте

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров4K

Всем привет! Меня зовут Евгений Яфаркин, я dotnet backend разработчик. В этой статье я хочу поделиться своим опытом решения задач, связанных с отображением данных на геокарте: как самим решением, так и инструментами, которые мы для этого использовали. 

В первую очередь, статья будет интересна техническим специалистам. Также, найденное решение, как и решение по визуализации данных, будут интересны владельцам продуктов.

Статья разбита на две большие части: 

Читать далее

Опыт PT: BI на страже кибербезопасности

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров2.7K

Привет, Хабр! Сегодня мне хотелось бы поговорить о том, как можно применить BI, а также оценить роль, которую BI играет в цифровой трансформации компании. Ответы на эти вопросы мы получили на своем опыте, когда начали внедрять новую аналитическую платформу и обнаружили интерес к ней со стороны многих департаментов компании. Под катом — история, как мы перевели BI в Positive Technologies на единую платформу.

Узнать больше про этот кейс

Симулятор Графического Монохромного Дисплея на Graphviz

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров3.9K

В разработке электроники часто приходится делать отладку при помощи графических дисплеев. Есть и вовсе законченные устройства с точечными экранчиками.

Проблема в том что у языка Си нет встроенной библиотеки для отрисовки битовых матриц в отдельном окне подобно тому как это есть в Python или C#. Поэтому отлаживают такой код обычно на конечных устройствах.

В этом тексте я написал как можно отлаживать графические дисплеи на DeskTop PC без самого физического дисплея.

Читать далее

BI-аналитика на коленке: делаем веб-аналитику в DataLens

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров9.6K

Привет. Я Витя, продуктовый аналитик в Тинькофф Страховании. Как и многие мои коллеги, я привык работать с готовыми мастер-системами, готовыми ETL-процессами, готовыми инструментами работы с данными. Всё это я уже давно воспринимаю как должное.

Однако что делать, если ты - человек с большим бэкграундом в аналитике, а перед тобой pet-project, где хочется тратить на всё 0 рублей, на проекте пару рук и ещё ничего не настроено?

Читать далее

Исправляем мнемосхему диспетчеризации за 2 часа

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров5.4K

Вдохновившись статьёй моего друга про печальность интерфейсов в промышленном секторе (АРМ), я решил сделать свою версию того же самого, но с немного другим уклоном.

В том посте были комментарии из серии «всё везде регламентировано, раз так сделано — значит умные люди подумали», но если в условном Газпроме за АРМ наблюдает инженер или техник, который отличает на схеме трехходовой клапан от обратного, то в гражданских системах часто за этим следят те же диспетчера, что следят за пожаркой, диспетчеризацией лифтов и прочих систем, диспетчера часто меняются, новые могут не знать чего то, а для того же ТЦ быстрота фиксации и ликвидации аварии могут спасти много денег.

Этим я хотел показать, что удобно и красиво вовсе не значит анимации на каждый переход + тени и градиенты. Ну Хабр тому доказательство, как бы.

Читать далее

Ближайшие события

Статистика по финансовым рынкам или будни дата-аналитика

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров4.1K

Есть крутой статистический портал, аггрегатор данных по большинству финансовых бирж - WORLD FEDERATION OF EXCHANGES (WFE). На этом сайте представлен широкий спектр разнообразных данных, множество интересных показателей - раздолье для дата-аналитика. Какие биржи самые крупные? Какие имеют самую высокую динамику развития? Где больше всего активности? На эти и многие другие вопросы можно ответить, зная python и приложив немного усилий и фантазии.

В этом посте в качестве упражнения покажу, как можно поиграть с данными, посмотреть статистику и понаблюдать за динамикой выбранных показателей.

Читать далее

Как показать миллион зданий на карте — и не сломать браузер

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров7K

В 2ГИС мы аккумулируем огромное количество геоданных, с которыми взаимодействуют миллионы пользователей ежедневно. Анализируя их, мы можем получить ценную информацию и найти важные идеи для развития городов. Эти данные также полезны организациям.

Чтобы помочь бизнесу и муниципальным организациям, мы решили создать 2GIS PRO — инструмент для GPU-аналитики, с возможностью визуализации огромного количества данных на карте в виде диаграмм и графиков.

Расскажем, как мы получаем такую картинку, как это всё работает под капотом, и посмотрим, на что способен ваш браузер, ведь ему предстоит отображать сотни тысяч объектов одновременно.

Расскажем, как мы получаем такую картинку, как это всё работает под капотом, и посмотрим, на что способен ваш браузер, ведь ему предстоит отображать сотни тысяч объектов одновременно.

Читать далее

Моделирование движения космических объектов (симулятор гравитации)

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров6.9K

Моделирование планетарного ускорения, солнечной системы и взаимодействия любого количества объектов на космической карте в замкнутой системе!

Читать далее

Как мы организовали бета-тест для нового BI и набрали 57 доработок

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров830

Привет, Хабр! На связи Саша Чебанов, Product Owner компании Modus.

Аудитория нашего основного продукта – это холдинги сегмента enterprise и госструктуры. Но скоро у нас выходит продукт для совершенно другого сегмента – для малого и среднего бизнеса, с которым мы никогда не работали.

И нам было важно, во-первых, проверить на практике функционал продукта, во-вторых – посмотреть, как поведут себя пользователи из незнакомого сегмента.

Мы решили провести бета-тест: набрать хорошую команду из ЦА и экспертов, чтобы они прошли по всему циклу использования продукта и дали нам фидбэк. В этой короткой и простой статье я расскажу, как мы это организовали.

П.с. Текст не технический

Читать далее

Как мигрировать на российский BI без потери качества?

Время на прочтение4 мин
Количество просмотров2.9K

После ухода основных вендоров BI-решений: Qlik, Tableau, Power BI, проблема экстренного импортозамещения коснулась многих.
Во избежание приостановки процессов бизнес начал искать возможности продления лицензий или миграции на другую платформу без потери функциональности.
Делюсь эффективными шагами при организации проекта миграции на отечественную платформу на примере перехода с Qlik на PIX BI.

Читать далее

Начал бегать с марта 2023. Итог 40 беговых тренировок. Организм не тянет. Это провал? Анализируем и визуализируем данные

Время на прочтение2 мин
Количество просмотров34K

Поледний раз нормально бежал будучи студентом на сдаче нормативов для получения зачета по физкультуре. И вот сустя десятки лет попытался начать бегать для здоровья. Первая пробежка получилась всего 300 метров и пульс зашкалил. Вторая - 1 км. А 3-я уже с пульсометром - 1.5 км и она первая на графиках ниже.

Читать далее

Визуализация данных в VR и AR: мыльный пузырь или новая эра BI?

Время на прочтение5 мин
Количество просмотров2.1K

Надо сказать, что потенциально и у VR (виртуальная реальность), и у AR (дополненная реальность) всегда были отличные шансы завоевать корпоративный мир, не смотря на кардинальные отличия. AR совмещает отображение реального мира и элементы компьютерной дорисовки как в форме дополнения, так и в форме маски к реальным объектам, и именно этой технологии предрекали наибольший рост. VR, в свою очередь, является полностью смоделированным опытом в любом исполнении, который может даже не иметь ничего общего с демонстрацией действительности.

Однако пока что визуализация данных в VR и AR не практикуется повсеместно, это все еще экзотика, несмотря на огромный интерес к теме и прогнозы колоссального роста сферы. Так, еще в 2019 году TAdviser опубликовал свое исследование, где были представлены данные от ARtillry Intelligence, прогнозирующие 113% совокупного годового темпа роста (CAGR) в сегменте корпоративных AR-приложений на западном рынке в период 2017-2022 гг., что, в свою очередь, должно было сделать данный сегмент крупнейшим подсектором Cross-Reality. В то же время, сегменту корпоративных VR-приложений давали прогноз в 55% CAGR. Но сегодня из 2023 года мы можем констатировать, что темпы роста отраслей были в несколько раз менее значительными.

Почему так произошло? Это временное затишье или для обманутых ожиданий действительно были весомые причины? Мы можем попробовать разобраться в этих вопросах на примере нашего любимого подсегмента визуализации данных, и, забегая вперед, хочется сказать, что мнения экспертов противоположно отличаются друг от друга. Одни утверждают, что VR и AR – это неизбежное будущее визуализации больших данных, т.к. они просто не помещаются на плоскостях, а другие считают, что осмысление данных – это важный навык, который не получится затмить никакими модными фичами, а новый трехмерный формат ничуть не упрощает анализ, а иногда даже усложняет его.

Читать далее