Визуализация данных *

Большая часть оптимизаций запросов к базам PostgreSQL может выполняться "механически", следуя разного рода маркерам в плане выполнения запроса, которые подскажут, что и как можно ускорить. Но "глубинные" переработки алгоритма, вроде описанных в статье про DBA-детектив, требуют от разработчика детального понимания используемой структуры логических связей.

И хорошо, когда эта структура уже где-то описана и детально задокументирована. Но плохо, когда такая документация ничтожно мала, избыточно велика, сложно доступна...

А ведь она уже и так находится "под ногами" в момент анализа плана запроса - надо только лишь удобно увидеть ее!

Здравствуйте! В этой статье я хочу рассказать историю о том, как мы решили создать свой собственный инструмент для визуализации отчётности, чего достигли и как теперь с этим живём.

В статье показано как настроить мониторинг веб-приложения на Rust. Приложение выставляет наружу Prometheus метрики, которые визуализируются с помощью Grafana. Мониторинг осуществляется для проекта mongodb-redis demo, детально рассмотренного здесь. В итоге получена следующая архитектура:

Статья предназначена в первую очередь для консультантов и архитекторов, работающих с продуктами SAP, перед которыми стоит задача проектирования и реализации решения по подготовке отчетности в формате XLSX. 

В настоящее время все большую популярность набирают облачные решения для визуализации данных, демонстрируя двузначный рост год-к-году по большинству показателей. Однако не все компании - клиенты поставщиков облачных решений могут позволить себе использовать “облака” по самым разным причинам: от требований безопасности данных до недостаточной функциональности или даже более высокой стоимости владения по сравнению с on-premise. 

Поэтому время от времени возникают задачи подготовки отчетности для визуализации в on-premise-инструментах. Автор долгое время работал и продолжает работать с решениями SAP, поэтому именно решения SAP (SAP BW/4, SAP S/4), как поставщики данных для отчетности, наиболее близки. Однако предлагаемый подход может быть скопирован и на другие системы-источники. Никаких препятствий к этому нет.

Задача формулируется так: реализовать on-premise решение по автоматической и регулярной подготовке отчетов по бизнес-данным SAP-систем (BW/4 или S/4) в формате XLSX.

Про пакет ComplexUpset в R.

Пакет, позволяющий визуализировать интересным способом комбинацию бинарных переменных. Выглядит весьма наглядно + есть множество настроек, позволяющих модифицировтаь внешний вид графика и вполне сочетается с ggplot2.

Если у чего-то есть экран, то там обязана играть Bad Apple!. Именно так думал и я, каково же было моё удивленние, когда узнал, что Bad Apple не существует на MSX. И вот почему... прошу под кат...

Однажды студент рассказал как сдал зачет по программному продукту, а на следующем курсе не сумел его использовать. Рассказал и пожал плечами. А я запомнил, что цель любого курса – решение собственных задач после курса. По вёснам веду статистику у медиков и придумал шаблоны для обработки своих данных методами из национальных стандартов. Делюсь результатом.

С каждым днем компании все чаще сталкиваются с проблемой, что аналитика рекламных кампаний занимает много времени у сотрудников, что увеличивает сроки выполнения задач. Помимо этого, выводы, сделанные на основании исследований эффективности рекламных каналов, являются субъективными и имеют приблизительное значение. Из-за этого стратегия маркетинга и компании в целом составляется неверно, что ухудшает ситуацию бизнеса, либо оставляет ее без изменений.

Исходя из существующей проблемы, компании приходят к выводу, что им необходима сквозная аналитика, которая поможет решить данную задачу и устранить недостатки.

Внедрение сквозной аналитики в компании «Leasing Company» прошло успешно, все работает стабильно, однако еще будут проведены доработки в дашбордах и со временем будут подключены новые источники информации. С точки зрения экономики, данное внедрение можно считать дорогостоящим, однако, это разовые траты, которые окупятся после первого же месяца, так как аналитика поможет дать четкие и объективные суждения, насчет состояния рекламных кампаний, снизит затраты и увеличит прирост как клиентов, так и доходы компании. Помимо этого, будет сэкономлено время на выполнение других задач.

Компании необходимо добавить оставшиеся рекламные источники, чтобы вся информация хранилась в одном месте и позволяла быстро анализировать данные, которые постоянно автоматически обновляются. Самым основным источником будет являться подключенная CRM – система. Именно она хранит в себе самую важную информацию о клиентах.

Внедрение сквозной аналитики однозначно является одним из полезных современных решений по повышению эффективности всей компании, увеличению ее доходов и укрепление своих позиций на рынке или даже выход на новый уровень.

Иногда возникает необходимость предоставить пользователю возможность выбирать, какую метрику отображать на графике для детального анализа.

В Power BI такая функция может быть быстро и просто реализована с помощью создания вспомогательной таблицы, расчетной меры и обычного слайсера.

Многие знают, что в современной практике управления крупными организациями существует такое понятие, как ситуационный центр (СЦ). Это единый пункт контроля и мониторинга различных объектов, центр сбора и обработки информации для принятия решений.

Услышав слова «ситуационный центр», большинство из нас сразу представит полутемное помещение с множеством экранов на стенах и сотрудников, рутинно контролирующих состояние сложной инфраструктуры, большого объекта, а может быть даже целого холдинга.

Бывают случаи, когда к работе СЦ нужно оперативно подключить дополнительные ресурсы – руководителей, экспертов. Но быстро обеспечить их присутствие в СЦ можно далеко не всегда. Такая мысль занимала нас, когда мы решили создать виртуального «напарника» реального СЦ. В этой статье мы расскажем об опыте разработки первого в России виртуального СЦ и его внедрении в экосистему Сбера.

Привет, Хабр! На связи Александр Попко и Игнат Старшов, и сегодня мы расскажем про наш продукт ЭКОНС – систему визуализации, которая приносит СИБУРу миллиарды рублей в год.

Для наших производств соблюдение правильного технологического режима — очень важный фактор. Во-первых, дело в безопасности: если тот или иной показатель достигает критической отметки, скажем, температура или давление, случиться может всякое. Обычно не очень приятное. Так что за этим пристально следят, как специально обученные люди, так и автоматика.

Во-вторых, экономический эффект. Он тоже сильно зависит от выбранного инженерами и оператором нужного технологического режима. И вот здесь иногда сталкиваются две точки зрения, ведь оператор обычно мыслит в тоннах, а менеджер — сразу в рублях.

Поэтому мы создали конструктор под названием ЭКОНС. Если вкратце, то он помогает оператору наглядно (и что важно — в реальном времени) оценивать, как выбранный им режим технологического процесса прямо сейчас влияет на экономическую эффективность.

Общий экономический эффект от внедрения ЭКОНС на наших предприятиях —  уже около 2,7 млрд рублей. В статье рассказываем, как устроен продукт.

Иногда инструментария, который "лежит на поверхности", не достаточно для построения функционального и интерактивного отчета. В такие моменты нужно копнуть чуть глубже, проявить немного фантазии и смекалки.

В этой статье я хочу рассказать о том, как, используя Buttons (Кнопки), Bookmarks (Закладки) и Selection Pane (Панель управления объектами), можно сделать ваш отчет более функциональным, не перегружая его излишними элементами.

Mito — это графический интерфейс для быстрой работы с наборами данных, который по вашим действиям создаёт код на Python. Даже если вы работаете с Python много лет, наблюдая за кодом Mito, вы можете узнать что-то новое, при этом понятный код на много строк можно получить всего за несколько кликов. Подробности рассказываем, пока у нас начинается флагманский курс Data Science.

Не секрет, что задача по поиску человека на видео или фото всегда была актуальна. Но что если один инструмент объединяет в себе, помимо просто детектирования человека, еще и поиск полной маски человеческого лица, расположение рук и пальцев, да и вообще полностью позу человека? Именно такой open-source инструмент создала всем известная компания google.

Mediapipe уже довольно активно, а главное, эффективно используется для детектирования многочисленных лиц на фото, для обучения моделей распознавания эмоций, для качественного выполнения упражнений при занятиях спортом, для преобразования языка жестов в письменный язык и много другое!

Я же хочу поделиться с вами своим опытом изучения инструмента mediapipe. И для начала покажу вывод, где вы сможете наблюдать работу трех моделей: нахождения рук, нахождения точек лица, определения позы человека и, в конце концов, все вместе.

Продолжаем рассказывать аудитории Хабра о возможностях продуктов МойОфис, которые позволяют работать с документами, в том числе совместно, до 30% быстрее. Напомним, что ранее в нашем блоге уже выходили статьи про работу с формулами, сводными таблицами и макросами на Lua.

Сегодня речь пойдет о «МойОфис Аналитика». Этот продукт создан МойОфис на базе платформы «Планета» российской компании IBS. «МойОфис Аналитика» предназначен для анализа исходных данных различных форматов, а также визуализации результатов с помощью удобных интерактивных отчетов: связанных диаграмм, кросс-таблиц и картограмм.

Приложение устанавливается на компьютер пользователя и не требует серверной инфраструктуры. С его помощью анализировать данные стало проще — пользователям достаточно обладать минимальным багажом знаний в области работы с табличными данными, чтобы начать подготовку отчетов. Далее мы покажем как это работает — загрузим наши данные, сформируем аналитическую панель и опробуем на практике различные виджеты, от простой таблицы, изображения и текста до географической карты и диаграммы Парето.

Признаюсь честно, у меня как у программиста, хоть и не настоящего, есть недоверие к «no-code» решениям. То есть тем, которые не требуют программирования, где всё можно делать через drag-and-drop и клики мышкой. Но после полугода разработки собственного «no-code» ETL сервиса с визуализацией данных я изменил отношение к этому классу продуктов, начал ими пользоваться и даже получать пользу, экономя время на рутинных операциях по анализу данных из логов, баз данных и файлов.

В этой заметке я предложу несколько вариантов загрузки и парсинга данных из сервисов и по URL с «материализацией» в SQL базу, покажу как за пару минут собрать свой информер с отправкой в Telegram, Slack или на email. И всё это произойдет без единой строчки кода (потому что в сервисе TABLUM.IO этот код уже кто-то написал ;-). «Алхимия данных» начинается под катом.

Меня зовут Георгий Цыганков, я занимаюсь/специализируюсь на построении BI решений в ИТ-компании Tieto. Мы занимаемся бизнес-аналитикой и визуализацией данных. Уже порядка 7 лет работаю с различными BI-платформами и есть достаточно разнообразный опыт проектов в нескольких индустриях: логистике, производстве, ретейле и сфере оказания услуг населению. Мне интересно сравнивать платформы с точки зрения разработчиков, аналитиков, бизнес-пользователей, а также анализировать боли бизнеса и сложности на проектах. 

В этой статье я расскажу, как визуализация влияет на восприятие информации, что важно при выборе BI-систем и почему почти ни один проект внедрения не обходится без внешних консультантов.

Привет, Хабр!

Datalore Enterprise — это data science платформа для совместной работы с Jupyter-ноутбуками. Ее можно установить в частное облако или на приватный сервер компании.

Новая версия 2021.3 позволяет специалистам по анализу и обработке данных работать с базами данных и SQL-кодом внутри Jupyter-ноутбуков, а также легко делиться результатами работы с коллегами. Также мы интегрировали поддержку ноутбуков R и Scala, добавили новый реактивный режим, реализовали конструкторы графиков и множество других функций.

Читайте дальше, чтобы узнать о новых возможностях Datalore Enterprise 2021.3!

Привет, Хабр!

Меня зовут Александр Крот, я руководитель по разработке аналитических продуктов СИБУР Диджитал. Сегодня я расскажу о проекте, связанном с цифровизацией процесса ценообразования, – прогнозировании ценовых котировок.

Если кратко, мы создали более 60 моделей, которые прогнозируют цены на наши продукты на разных рынках. Раньше маркетологи собирали эту информацию вручную, эти 60-70 прогнозов занимали у нас несколько дней. На результат влиял человеческий фактор – возникали неточности, прогнозы приходили не вовремя. Сейчас модели пересчитывают котировки автоматически.

Польза от инструмента стала особенно очевидной в прошлом году, когда началась пандемия и связанные с ней карантинные ограничения: вставали и снова запускали целые предприятия, закрывались и открывались границы, цены на продукцию под влиянием большого количества внешних менялись круглосуточно, а нам надо было точно и, главное, быстро управлять материальными потоками.

Как прогнозирование цен позволяет компании получать дополнительные сотни миллионов рублей; как просчитать влияние множества событий на эти цены; почему даже при хорошем ML-фреймворке без человека всё равно никак. Все подробности – в посте.