Визуализация данных *

Вас просили заменить пустые значения нулями в отчетах? Возможно, стоит дважды подумать, прежде чем это делать!

Богданов Я.В.

ГБУЗ Кузбасская клиническая психиатрическая больница, Кемерово, Россия

Резюме

Данное исследование посвящено применению методов компьютерного зрения и многопараметрического анализа для оценки симптоматики шизофрении. В ходе работы был проведен количественный анализ графической и текстовой продукции пациентов с шизофренией и здоровых испытуемых. Исследование включало сравнение результатов с оценками по шкале PANSS и сопоставление данных пациентов со здоровым контролем. Результаты показали значимые различия между группами в выполнении графических и текстовых заданий, а также выявили корреляции между характеристиками выполнения заданий и выраженностью симптомов шизофрении. Особенно информативными оказались задания на рисование лиц, демонстрирующие наиболее сильные корреляции с негативными симптомами. Полученные данные могут быть использованы для разработки новых методов оценки и мониторинга состояния пациентов с шизофренией.

Ключевые слова:   Шизофрения, Компьютерное зрение, Многопараметрический анализ,  PANSS (Шкала позитивных и негативных синдромов), Количественный анализ, Корреляционный анализ, Рисунок лица, Несуществующее животное.

Информация об авторе:

Богданов Ярослав Вячеславович – e-mail: yarik@yabogdanov.ru; https://orcid.org/0009-0002-3880-7152

Как цитировать: Богданов Я.В., Интеграция компьютерного зрения и многопараметрического анализа в оценку симптоматики шизофрении: количественный анализ графической и текстовой продукции, корреляции с шкалой PANSS и сравнение со здоровым контролем

На связи Анна Астахова, директор по развитию ИТ-интегратора «Белый код». Я уже рассказывала о пользе BI в аптечных сетях. Но кофейням бизнес-аналитика нужна не меньше ведь отрасль — суперчувствительная к данным. И без BI тут как без кофемашины. Покажу, какие дашборды могут помочь кофейням.

Единый источник правды (SSOT) давно стал модным термином в области управления данными. При этом многие компании сводят его смысл к покупке хранилища данных или BI-платформы. 

На практике успех SSOT зависит не столько от хранилища данных или ETL-процессов, сколько от внутриорганизационных регламентов, закрепленной ответственности и согласованных методик расчета показателей. В статье разберем, что такое SSOT на самом деле, в чём основные заблуждения относительно него и как избежать разочарования в BI.

Мы давно работаем на рынке BI и, как любой зрелый продукт, регулярно сравниваем себя с другими системами, которых с каждым годом появляется всё больше и больше — каждая со своими сильными и слабыми сторонами. И мы решили задать себе простой, но важный вопрос: а чем мы в Luxms BI действительно гордимся? Что нравится не только нам, как разработчикам, но и экспертам, которые делают на нашей платформе десятки проектов? Какие особенности мы сами считаем важными и удобными?

Так появилась эта серия: 23 фичи Luxms BI, которыми мы гордимся. Это не список «всё, что у нас есть», и не подборка базовых возможностей, которые сегодня есть почти в каждом BI-инструменте. Мы собрали то, что нас самих вдохновляет, и то, что мы чаще всего видим в успешных проектах наших клиентов.

Для удобства мы разделили эти фичи на четыре тематических блока. Начнём с первого блока — архитектура и платформенность, с того, на чём держится всё остальное. В этой статье мы расскажем, как устроена платформа Luxms BI, почему мы сделали ставку на датацентричную модель, как устроена быстрая кастомизация интерфейсов, что такое BI-Magic-Resources, и зачем внутри BI-платформы observable-сервисы. 

Кто вы в мире данных — аналитик, BI-разработчик или Data Engineer? 🔍 Разбираем реальные роли и показываем, чем они отличаются на практике.

Внешние факторы меняются быстрее, чем успевают перестроиться планы компаний. Колебания валют, сбои в цепочках поставок и неожиданные регуляторные запреты напрямую влияют на выручку и оборачиваемость запасов — от сырья до готовой продукции. 

Система бизнес-аналитики объединяет данные из разных источников, чтобы руководители видели причинно-следственные связи и принимали обоснованные решения. В этой статье разберём, почему BI — главный инструмент в кризис и как выстроить real-time аналитику.

Представьте: у вас 17 предприятий, на каждом работают сотни операторов, слесарей, аппаратчиков. Каждый должен знать свое оборудование, уметь его обслуживать и — главное — работать безопасно. А еще каждый завод ведет учет по-своему: кто в Excel, кто на бумаге, кто как придумал.

Такой разнобой плохо сказывается на всём бизнесе: сложно понять, какие компетенции реально закрыты, кто готов к аттестации, где есть риски для безопасности. Масштабировать процессы на всю компанию при такой «лоскутной системе» невозможно.

Именно с этой задачей к нам в ИТ пришли коллеги из бизнеса. Вопрос звучал не как «сделайте нам новую систему», а как «нам сложно управлять компетенциями в текущем виде, помогите». Это важный момент: мы в СИБУРе не создаем продукты ради самой разработки. Производство приходит к нам с проблемой или потребностью, а ИТ подключается как партнёр, который превращает методологию и практики бизнеса в работающий цифровой сервис.

Так появился проект «Инженерный стандарт» — разработка на стыке бизнеса и ИТ, цель которой была не просто автоматизировать Excel, а выстроить единый, масштабируемый и прозрачный процесс управления компетенциями.

Привет, Хабр! В прошлой статье я рассказывал о гибридных RFID метках и том, как мы решали проблему маркировки оборудования в локомотивном депо. Сегодня история побольше — как за 40 лет два поколения инженеров прошли путь от полного отсутствия диагностики электровозов до создания системы цифрового двойники и удаленного управления диагностическим оборудованием.

Самым популярным методом ограничения доступа к данным в отчете Power BI остается Row-level Security (RLS), с помощью которого у каждого пользователя есть доступ к набору данных согласно его учетной записи или роли. В этом случае пользователь видит все страницы и объекты отчета, которые отражают результаты согласно ограничениям, наложенным на датасет.

Но зачастую этого становится недостаточно и появляется необходимость в ограничении доступа не только к строкам датасета, по которым будет построен отчет, но и к страницам целиком и даже к отдельным объектам видимых страниц.

Вопрос реализации RLS подробно освещён, поэтому останавливаться на деталях не буду. Вместо этого сконцентрируюсь на двух других способах: ограничении доступа к страницам и объектам.

В 2019 году центральная BI-команда нашей компании столкнулась с типичной задачей: как небольшой командой разработчиков обеспечить качественную аналитику для тысяч сотрудников в условиях быстро растущего бизнеса и высокой самостоятельности подразделений?

Мы сделали ставку на модель self-service BI: инструмент передали бизнес-пользователям, чтобы они могли сами строить отчёты. Идея «демократизации данных» поначалу казалась удачной. Но без чётких правил, стандартов и контроля всё быстро превратилось в BI-хаос: тысячи разрозненных отчётов, низкая производительность, противоречивые метрики и перегруженная инфраструктура на Premium P3. Пользователи жаловались, доверие к BI падало, а управлять этим потоком становилось всё сложнее.

В этой статье мы — Ринат Хабибрахманов, руководитель практики BI в Лемана Тех, и Лариса Фернандес, ведущий разработчик аналитических систем, — делимся опытом нашей команды. Расскажем, как мы шаг за шагом внедряли процесс ревью Power BI-отчётов, чтобы вернуть контроль, улучшить качество аналитики и восстановить доверие пользователей к BI-системе.

Ключевым шагом стало внедрение процесса ревью. Ниже подробно разберём, зачем он понадобился, какие цели мы ставили и как его организовали.

Если в вашей компании есть BI и дашборды, то скорее всего, вы сталкивались с процессом постоянной разработки и чистки. Такой процесс похож на игру на аккордеоне – вы то сжимаете вашу отчетность до единичных дашбордов с ключевыми метриками, то раздуваете ее до десятков, а то и сотни отчетов, которые должны покрывать все запросы бизнеса, остается лишь найти нужную кнопку. 

Эта статья о разработке средства визуализации импортов внутри проекта на python, основное назначение которого построить полный граф связи скриптов между собой и с внешними библиотеками, основываясь только на статическом анализе AST дерева. Код не будет выполняться, а доступность библиотек — проверятся. Цель показать, что было задумано, а не как это будет работать в текущем окружении.

Привет, Хабр! Одной из важных функций-модификаторов в DAX является REMOVEFILTERS, он позволяет, например, убрать фильтр для расчета знаменателя в доле. Однако логика REMOVEFILTERS для столбцов может выглядеть неочевидной, например, REMOVEFILTERS только для одного поля, по которому есть условие в FILTER, не влияет на результат DAX запроса. Так, REMOVEFILTERS(customer[customer_id]) не влияет на FILTER в SUMMARIZECOLUMNS вида FILTER(customer, customer[customer_id] > 2) и для сброса фильтра нужен REMOVEFILTERS(customer) по всей таблице. В связи с этим удобно представить принципы работы REMOVEFILTERS более формально, например, в виде ER диаграммы с подписанными связями. Для построения ER диаграммы был выбран Mermaid и генерация кода диаграммы реализована на C#. Интересующимся особенностями REMOVEFILTERS — добро пожаловать под кат :)

Еще вчера фотография была «доказательством» того, что событие произошло. Сегодня любой школьник может сгенерировать или изменить изображение до неузнаваемости с помощью ИИ. Индустрия цифровой-криминалистики пытается угнаться за технологиями, разрабатывая все новые детекторы фальсификаций. Но что, если подойти к проблеме с другой стороны? Не искать следы конкретного алгоритма генерации, а задать более фундаментальный вопрос: насколько естественны статистические свойства этого изображения?

В этой статье мы не предложим вам волшебную таблетку для детекции фейковых картинок. Это интеллектуальный эксперимент. Возьмем известный математический закон — закон Бенфорда — и попробуем применить его для анализа изображений. Мы реализуем этот метод на чистом JavaScript, чтобы любой желающий мог поэкспериментировать в собственном браузере, и обсудим результаты, философские вопросы и технические подводные камни, которые ждут нас на этом пути.

Допустим существует площадка, где некими специалистами выполняются конкретные операции и вам как руководителю данного процесса хочется оптимизировать расходы. Для помощи в подобных вопросах создана информационная система $metr (Сметр), которая основывается на трех вещах:

Каждый день на нефтегазохимических заводах СИБУРа работают тысячи единиц оборудования. Компрессоры, насосы, турбины — все они крутятся, нагреваются, изнашиваются. И рано или поздно ломаются.

Если выходит из строя ключевой агрегат, завод теряет миллионы рублей в день. Один простой может остановить весь цех, сдвинуть график отгрузок, повлиять на работу нескольких производств.

Раньше мы узнавали о проблемах так: загорается красная лампочка, срабатывает сигнализация, агрегат останавливается. Оператор видит на мониторе: температура подшипника 120 градусов — критично! Производство встает. Вызываем ремонтную бригаду, ищем запчасти, теряем время и деньги.

Что если узнавать о проблемах раньше? Не когда температура подшипника уже 120 градусов, а когда она поднялась с обычных 65 до 75? Тогда можно спланировать ремонт, заказать запчасти, остановить производство согласно плану.

Лучше потратить деньги на год разработки, чем терять гораздо больше на каждой поломке. Особенно если при этом снижается нагрузка на персонал, исчезает аврал, и работа становится предсказуемой.

На imcdb.org энтузиасты уже два десятка лет отмечают автомобили в фильмах: кадры, марки, модели. Верифицируют находки на форуме, спорят о деталях. В итоге появилась крупнейшая база «машин‑актёров» в кино: 1,75 млн страниц с кадрами и описаниями транспорта из фильмов разных стран. Я собрал всё это в один датасет.

За один клик из сводного дашборда — на «дочерний» с уже выставленными фильтрами. Разберём, как в Apache Superset прокидывать выбранные значения через URL-параметр native_filters в формате Rison и собирать ссылку Jinja-макросами.

Всем привет! Я, как и многие здесь, не только разработчик, но и человек, увлеченный циклическими видами спорта. Я обожаю копаться в данных своих тренировок из Strava: анализировать мощность, пульсовые зоны, темп. Но мне всегда не хватало одной вещи — единой, понятной и, главное, прозрачной метрики, которая бы отвечала на простой вопрос: "А насколько я сейчас в хорошей форме?".

В этой статье я расскажу, как устроен этот механизм "под капотом". Мы погрузимся в логику на Python, посмотрим, как она интегрируется в общий анализатор активностей и как результат подается пользователю в простом и понятном виде.

Важный дисклеймер: Весь проект, от идеи до кода, я делаю один в свободное от основной работы время. Он далек от идеала, и я буду очень благодарен за конструктивную критику и свежий взгляд.