Все потоки
Поиск
Написать публикацию
Обновить
32.93

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Порог рейтинга
Уровень сложности

Сравнение Grafana и Dimension-UI на задаче мониторинга истории активных сессий

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров1.3K

Недавно рассказывал про мониторинг истории активных сессий в базах данных Oracle, PostgreSQL, ClickHouse и MS SQL Server с использованием desktop-приложения Dimension-UI (link). В комментариях @KPSB92 задал вопрос о преимуществах/отличиях связки exporter Prometheus/Grafana и Dimension-UI, решил оформить ответ в эту небольшую статью.

Итак, возьмем для примера просмотр данных активных сессий в базе данных PostgreSQL и сравним визуализацию в Grafana и Dimension-UI. Посмотрим работу с интерфейсами обоих систем в динамике с помощью скринкастов.

Читать далее (трафик 21 Мб)

Новости

Автоматический парсинг чеков с LlamaIndex и Pydantic

Уровень сложностиПростой
Время на прочтение15 мин
Количество просмотров630

Команда Python for Devs подготовила перевод статьи о том, как с помощью LlamaIndex и Pydantic можно превратить сканы чеков в структурированные данные. Минимум кода — и у вас готовый CSV для анализа.

Читать далее

SVG-меры в Power BI

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров351

SVG-меры в таблицах Power BI используются для создания компактных, интуитивно понятных и динамически изменяющихся визуальных элементов, которые значительно улучшают читаемость, контекст и эстетику отчета. Они позволяют выйти далеко за рамки стандартных возможностей условного форматирования, добавляя в таблицу гибкие и выразительные визуальные элементы, такие как мини-гистограммы, индикаторы прогресса или иконки состояния.

SVG-изображения вычисляются динамически с помощью DAX: каждая строка таблицы получает собственную визуализацию на основе контекста фильтров. Это делает SVG-подход гораздо более вариативным, чем статические картинки, загруженные вручную.

Далее — немного теории, а затем практический пример с разбором кода.

Читать далее

Завод на все 100! Как получить конкурентное преимущество за счет рекомендательных систем для поддержки принятия решений

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров1.5K

Часть 1. «Цифровая пена» всё сильнее затягивает

С одной стороны за несколько сотен лет принципиально не изменилась логика производства продукта: оборудование и рабочие на основании технологических карт/рецептур перерабатывают сырье и материалы в полуфабрикаты и готовую продукцию, передавая результат своей работы дальше по участкам до склада готовой продукции для отгрузки покупателям, при этом собственники ожидают максимальной отдачи от инвестиций.

С другой стороны, начиная с 30-х годов прошлого века, изменения в производственных системах, развитие компьютеров и аналитики, а также миллиарды долларов, вброшенные в консалтинг, породили вокруг бесконечное количество информации, моделей, систем, программных продуктов. Часто начинает казаться, что современные руководители, просто тонут в этой «цифровой пене», не всегда понимая, как соединить «теплое» с «белым», например, внедрение ERP, желание повысить скорость выпуска и сделать завод более рентабельным, а также развивать «мягкие навыки» (soft skills). И вокруг армия консультантов: «Вам нужно внедрить Бережливое производство», «У вас нет нормального управленческого учета», «Вам срочно нужно ERP», «Зачем тратить большие бюджеты, давайте всё сделаем в экселе» и так далее

В России ситуация осложнилась тем, что в 90-е годы была уничтожена советская научная школа управления производством и в течение 20 лет мы утратили собственные наработки и системно не взяли чужие, за исключением лидеров отраслей. В итоге сегодня видим засилье литературы из серии «Богатый папа — бедный папа» или «Коучинг — наше всё», а также разные курсы МВА, где руководителей и собственников бизнеса учат в основном лучшим практикам финтеха и ИТ.

Читать далее

Всё что надо знать менеджеру по маркетинговым исследованиям в агентстве и маркетологу компании об оформлении анкеты

Уровень сложностиСложный
Время на прочтение4 мин
Количество просмотров299

Стандартное форматирование анкет маркетингового исследования — это не просто вопрос эстетики или формальности, а ключевой элемент обеспечения качества, достоверности и сопоставимости получаемых данных. Для менеджера, отвечающего за сбор и интерпретацию рыночной информации, знание и применение единых стандартов оформления анкет критически важно по следующим причинам:

Единообразная структура вопросов, логическая последовательность блоков и чёткая формулировка и единообразное форматирование инструкций снижают вероятность недопонимания интервьюерами и программистами. Это минимизирует ошибки при создании скрипта, заполнении анкеты и повышает точность собранных данных.

Нестандартные формулировки, двусмысленные вопросы или хаотичная структура анкеты могут привести к неявным искажениям в собранных данных.

Стандартное форматирование включает проверенные методики построения шкал, формулировок и логики переходов, что снижает когнитивную нагрузку на разработчика, интервьюера и уменьшает время разработки и тестирования анкеты перед началом поля.

Применяя стандарт менеджер не тратит время на "изобретение велосипеда" для каждого нового опроса. Он использует готовый, утвержденный шаблон. Это ускоряет создание анкеты в разы, снижает количество правок и время на их согласование будет потрачено на полевой этап и более качественный анализ результатов.

Данные с чистой, стандартизированной анкеты прописаны в задачах анализа в упорядоченном виде. Аналитику не приходится тратить 80% времени на "очистку" данных, исправление ошибок кодировки и приведение переменных к единому виду и поиску, какой именно вопрос имел ввиду менеджер фразой "Имиджевые высказывания в разрезе на возраст". Аналитик сразу приступает к анализу Q3s с банером Age.

Узнать стандарты оформления

Мониторинг истории активных сессий в базах данных

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров3.5K

Сегодня проверим Dimension‑UI на задаче мониторинга истории активных сессий в базах данных Oracle, PostgreSQL, ClickHouse и MS SQL Server в режиме реального времени.

История активных сессий (Active Session History, ASH) — очень удобный способ получения информации о работе БД в кратком виде. Когда важно максимально быстро отследить, что происходит с системой в настоящее время, оценить развитие текущей ситуации — это рабочая активность или начало каких‑либо проблем — в том числе, через быстрый просмотр baselines в недавнем прошлом системы и сравнить их с текущими данными.

Изначально, данный подход был разработан и применен в СУБД Oracle начиная с 10g версии. Архитектурно в Oracle это выглядит как плоская таблица в памяти V$ACTIVE_SESSION_HISTORY, в которую с определенным интервалом (стандартно 1 секунда, но его значение можно изменять) записывается состояние каждой активной сессии: идентификатор сессии, SQL‑запроса, процесса операционной системы, текущий статус сессии — в работе или ожидании получения доступа к ресурсу, статистики потребления памяти и проч.. Периодически информация из таблицы в памяти сбрасывается на диск в таблицу DBA_HIST_ACTIVE_SESS_HISTORY репозитория рабочей нагрузки AWR.

Читать далее (трафик 29 Мб)

BI в закрытом контуре: технические вызовы развертывания и эксплуатации

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров248

Бизнес-аналитику чаще внедряют в облаке или гибридной инфраструктуре. Но что делать, если по требованиям безопасности выход интернет недоступен, а BI‑система должна работать только внутри корпоративной сети?

Эта статья будет полезна архитекторам, DevOps‑инженерам и администраторам, которым нужно развернуть BI‑платформу в изолированной среде. На примере Modus BI мы разберём ключевые технические трудности и покажем решения, проверенные в реальных проектах.

Читать далее

Интерактивные карты областей в BI-системе 1С: Аналитика

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров310

В этой статье хочу поделиться опытом разработки интерактивных карт областей в "1С:Аналитика" для одного из крупных заказчиков в здравоохранении. Задача стояла визуализировать медицинскую статистику не просто точками на карте, а целыми районами, чтобы руководство могло одним взглядом оценить ситуацию в регионе.

"Карты областей" - можно использовать не только для географических карт, но и для схем цехов, планов этажей и любых других векторных макетов.

Читать далее

Аналитика данных на 1С без костылей: обзор коннектора Visiology

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров2.1K

Сегодня многие организации работают на базе решений из семейства 1С. Но для того, чтобы получить развитые практики BI – то есть реализовать полномасштабную аналитику для принятия управленческих решений на базе данных из 1С, всегда нужно было принимать немало дополнительных усилий. Все потому, что встроенные в платформу технологии не позволяют добиться уже привычного уровня гибкости, а использование промежуточных структур несет в себе ряд технологических неудобств. Все это стало причиной появления собственного коннектора Visiology к 1С.  В этой статье мы рассказываем о том, какие проблемы возникают при попытке настроить автоматическую аналитику на базе 1С, и как новый компонент платформы Visiology помогает решить их все в комплексе.

Посмотреть, как Visiology работает с 1С

Насколько быстр Go? Симуляция миллионов частиц на смарт-ТВ

Уровень сложностиПростой
Время на прочтение17 мин
Количество просмотров4.4K

Команда Go for Devs подготовила перевод статьи о том, насколько быстрым может быть Go. Автор проверил это на практике — написал симуляцию миллионов частиц с мультиплеером, только на CPU и так, чтобы оно работало даже на смарт-ТВ. Go оказался одновременно и разочарованием, и восторгом: он не дотягивает до Rust в вычислительных задачах, но удивляет своей простотой и тем, как легко масштабируется до сотен клиентов.

Читать далее

GlowByte представляет новое российское BI-решение для корпоративной аналитики Sigla Vision

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров776

Представьте: ваши дашборды, от которых зависят ежедневные решения, внезапно перестали обновляться. Скрипты интеграций сломались, а поддержка отвечает шаблонными письмами. Знакомая ситуация? После ухода Qlik, Tableau и других игроков многие российские компании оказались в аналитическом вакууме. Мы прошли через это же и в ответ создали Sigla Vision. В этой статье я покажу, как мы решали технические вызовы, с которыми сейчас сталкиваетесь вы.

Читать далее

Поиск собственных файлов как в браузере (Google поисковике)

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров2.8K

Поиск собственных файлов как в браузере (Google поисковике).

Даже при аккуратной структуре папок и нейминге найти нужный файл часто было непросто. Рано или поздно все превращалось в большой хаос из набора файлов и папок. 

Я пробовал программы по типу Everything, которые ищут по названию файла, пробовал obsidian и xyplorer, которые дают возможность добавлять теги, но хотелось простой возможности описать то, что ищешь, и получить результат - как в браузер поисковике. Затем я подумал - ведь все может быть контекстом...

Читать далее

Почему не стоит заменять пустые значения нулями в Power BI

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров449

Вас просили заменить пустые значения нулями в отчетах? Возможно, стоит дважды подумать, прежде чем это делать!

Читать далее

Ближайшие события

Интеграция компьютерного зрения и многопараметрического анализа в оценку симптоматики шизофрении

Уровень сложностиСложный
Время на прочтение27 мин
Количество просмотров763

Богданов Я.В.

ГБУЗ Кузбасская клиническая психиатрическая больница, Кемерово, Россия

Резюме

Данное исследование посвящено применению методов компьютерного зрения и многопараметрического анализа для оценки симптоматики шизофрении. В ходе работы был проведен количественный анализ графической и текстовой продукции пациентов с шизофренией и здоровых испытуемых. Исследование включало сравнение результатов с оценками по шкале PANSS и сопоставление данных пациентов со здоровым контролем. Результаты показали значимые различия между группами в выполнении графических и текстовых заданий, а также выявили корреляции между характеристиками выполнения заданий и выраженностью симптомов шизофрении. Особенно информативными оказались задания на рисование лиц, демонстрирующие наиболее сильные корреляции с негативными симптомами. Полученные данные могут быть использованы для разработки новых методов оценки и мониторинга состояния пациентов с шизофренией.

Ключевые слова:   Шизофрения, Компьютерное зрение, Многопараметрический анализ,  PANSS (Шкала позитивных и негативных синдромов), Количественный анализ, Корреляционный анализ, Рисунок лица, Несуществующее животное.

Информация об авторе:

Богданов Ярослав Вячеславович – e-mail: yarik@yabogdanov.ru; https://orcid.org/0009-0002-3880-7152

Как цитировать: Богданов Я.В., Интеграция компьютерного зрения и многопараметрического анализа в оценку симптоматики шизофрении: количественный анализ графической и текстовой продукции, корреляции с шкалой PANSS и сравнение со здоровым контролем

Читать далее

BI для кофейни: как перестать гадать по остаткам и начать зарабатывать

Время на прочтение3 мин
Количество просмотров385

На связи Анна Астахова, директор по развитию ИТ-интегратора «Белый код». Я уже рассказывала о пользе BI в аптечных сетях. Но кофейням бизнес-аналитика нужна не меньше ведь отрасль — суперчувствительная к данным. И без BI тут как без кофемашины. Покажу, какие дашборды могут помочь кофейням.

Читать далее

Миф о «едином источнике правды»: почему консолидация данных — это не про технологию, а про процессы

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров450

Единый источник правды (SSOT) давно стал модным термином в области управления данными. При этом многие компании сводят его смысл к покупке хранилища данных или BI-платформы. 

На практике успех SSOT зависит не столько от хранилища данных или ETL-процессов, сколько от внутриорганизационных регламентов, закрепленной ответственности и согласованных методик расчета показателей. В статье разберем, что такое SSOT на самом деле, в чём основные заблуждения относительно него и как избежать разочарования в BI.

Читать далее

Больше, чем BI: 23 фичи Luxms BI, которыми мы гордимся. Часть 1: платформенные, архитектурные возможности

Уровень сложностиПростой
Время на прочтение12 мин
Количество просмотров443

Мы давно работаем на рынке BI и, как любой зрелый продукт, регулярно сравниваем себя с другими системами, которых с каждым годом появляется всё больше и больше — каждая со своими сильными и слабыми сторонами. И мы решили задать себе простой, но важный вопрос: а чем мы в Luxms BI действительно гордимся? Что нравится не только нам, как разработчикам, но и экспертам, которые делают на нашей платформе десятки проектов? Какие особенности мы сами считаем важными и удобными?

Так появилась эта серия: 23 фичи Luxms BI, которыми мы гордимся. Это не список «всё, что у нас есть», и не подборка базовых возможностей, которые сегодня есть почти в каждом BI-инструменте. Мы собрали то, что нас самих вдохновляет, и то, что мы чаще всего видим в успешных проектах наших клиентов.

Для удобства мы разделили эти фичи на четыре тематических блока. Начнём с первого блока — архитектура и платформенность, с того, на чём держится всё остальное. В этой статье мы расскажем, как устроена платформа Luxms BI, почему мы сделали ставку на датацентричную модель, как устроена быстрая кастомизация интерфейсов, что такое BI-Magic-Resources, и зачем внутри BI-платформы observable-сервисы. 

Читать далее

Разбираемся в профессиях: Data Analyst, Data Engineer, Analytics Engineer и BI Engineer

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров5.4K

Кто вы в мире данных — аналитик, BI-разработчик или Data Engineer? 🔍 Разбираем реальные роли и показываем, чем они отличаются на практике.

Читать далее

BI в условиях неопределённости: устойчивость бизнеса, антикризисное управление и роль real-time аналитики

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров279

Внешние факторы меняются быстрее, чем успевают перестроиться планы компаний. Колебания валют, сбои в цепочках поставок и неожиданные регуляторные запреты напрямую влияют на выручку и оборачиваемость запасов — от сырья до готовой продукции. 

Система бизнес-аналитики объединяет данные из разных источников, чтобы руководители видели причинно-следственные связи и принимали обоснованные решения. В этой статье разберём, почему BI — главный инструмент в кризис и как выстроить real-time аналитику.

Читать далее

Есть кое-что получше, чем Excel

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров38K

Представьте: у вас 17 предприятий, на каждом работают сотни операторов, слесарей, аппаратчиков. Каждый должен знать свое оборудование, уметь его обслуживать и — главное — работать безопасно. А еще каждый завод ведет учет по-своему: кто в Excel, кто на бумаге, кто как придумал.

Такой разнобой плохо сказывается на всём бизнесе: сложно понять, какие компетенции реально закрыты, кто готов к аттестации, где есть риски для безопасности. Масштабировать процессы на всю компанию при такой «лоскутной системе» невозможно.

Именно с этой задачей к нам в ИТ пришли коллеги из бизнеса. Вопрос звучал не как «сделайте нам новую систему», а как «нам сложно управлять компетенциями в текущем виде, помогите». Это важный момент: мы в СИБУРе не создаем продукты ради самой разработки. Производство приходит к нам с проблемой или потребностью, а ИТ подключается как партнёр, который превращает методологию и практики бизнеса в работающий цифровой сервис.

Так появился проект «Инженерный стандарт» — разработка на стыке бизнеса и ИТ, цель которой была не просто автоматизировать Excel, а выстроить единый, масштабируемый и прозрачный процесс управления компетенциями.

Читать далее
1
23 ...