Обновить
64K+

Визуализация данных *

Облекаем данные в красивую оболочку

57,73
Рейтинг
Сначала показывать
Порог рейтинга
Уровень сложности
Формат публикации

Цифровые двойники (Digital Twin) в инженерных системах — Часть 1. Управление документацией

Время на прочтение17 мин
Охват и читатели6.7K

В последние годы технология Digital Twin превратилась в один из главных трендов промышленной автоматизации. Крупные вендоры - Siemens, Schneider, Aveva, и десятки других предлагают платформы, в которых «двойник» обещает предсказывать отказы, оптимизировать режимы, экономить миллионы. Аналитики Gartner и MarketsandMarkets оценивают рынок в десятки миллиардов долларов к концу десятилетия.

На практике картина скромнее. Многие компании ограничиваются цифровыми двойниками отдельных технологических процессов: локального техпроцесса, конкретной линии розлива, конкретного узла. И только единицы, как правило, крупные корпорации с собственными R&D-командами доходят до цифровых двойников инфраструктуры целиком: завода, месторождения, трубопроводной системы на сотни километров.

Между этими двумя полюсами лежит огромный разрыв. И он не столько технологический, сколько организационный и интерфейсный.

В этой статье я подробно расскажу о практических подходах к построению Digital Twin решений который относятся к классу ПО интеллектуальных корпоративных систем интеграционного менеджмента информации (ИКСИМИ). Я AI\ML исследователь и специализируюсь интеллектуальных системах управления корпоративными данными. Мои публикации на тему гибридных информационных систем, интеллектуальных графов и кластерной AI маршрутизации можно найти здесь и здесь

Читать далее

Как мы превратили регламенты в пошаговые инструкции с бланками

Время на прочтение4 мин
Охват и читатели5.4K

Сотруднику нужно забронировать зал. Он знает дату и цель мероприятия, но ему ещё предстоит разобраться, кто согласует заявку, где взять служебную записку и кому её передать. Если таких процедур много, вопросы повторяются. Сотрудники ищут документы, специалисты объясняют порядок, а заявки возвращаются на исправление.

На примере регламентов МФТИ мы сделали «Маршрут» — навигатор сотрудника по внутренним процедурам. Можно задать вопрос своими словами, получить короткий ответ и сразу открыть нужный шаг. В шаге видно, кто выполняет действие, в какой срок и какой бланк понадобится. Источник открывается из ответа, а где есть привязка к PDF, можно перейти на страницу оригинала.

Читать далее

Систематизация работы в госоргане: десктоп‑приложение на Python и MS SQL Server

Уровень сложностиСредний
Время на прочтение22 мин
Охват и читатели12K

Статья – конспект архитектурных решений, принятых при разработке внутренней системы для госорганизации: таблицы до нескольких миллионов строк, Excel как основной источник данных.

Интерес могут представлять организационно-технические решения, продиктованные ограничениями госслужбы. Основная цель – зафиксировать эти решения, пока они свежи в памяти. В завершение – разбор подсистемы ленивой загрузки данных.

Это просто одна из возможных реализаций. Реализация работоспособная и крутится на ПК пользователей более полугода. Если материал зайдёт – будет продолжение.

Читать далее

Как мы собрали Обнинскую АЭС в браузере и где всё ломалось

Время на прочтение9 мин
Охват и читатели8.1K

В нашей модели Обнинской АЭС можно нажать кнопку аварийной защиты и увидеть, как гаснет свет в домах посёлка. На моём телефоне это работало. А когда я отправил статью на Хабр, модератор на своём ноутбуке даже кнопкой воспользоваться не смог. Я открыл ту же ссылку на MacBook Air и наконец увидел, о чём он говорил.

Читать далее

Дашборд за 8–10 дней вместо 20: как BI‑команда Авито работает с агентами

Уровень сложностиПростой
Время на прочтение13 мин
Охват и читатели6.1K

Привет! Меня зовут Ира Кульбякина, я BI-разработчик в Недвижимости в Авито. Коллеги всё чаще стали приносить нам на доработку дашборды, собранные с ИИ: графики в них выглядят интересно и детализированно, но частая проблема — непонятно, куда смотреть и как вытаскивать основные выводы. 

В статье разберём, как такие дашборды собирает агент, и доработаем один из них пошагово. Ещё расскажу, как нейросеть нашла ответ на вопрос заказчика, но не поняла этого, и насколько мы сократили сборку сложных дашбордов, подключив ИИ. Заодно посмотрим, какие правила из этого разбора можно закрепить в скилле.

Читать далее

Как я ускорил загрузку графиков Vigo Pulse в 2 раза

Уровень сложностиСредний
Время на прочтение12 мин
Охват и читатели7K

В Vigo Pulse на одном графике могут оказаться сотни линий, а ответ сервера — содержать тысячи повторяющихся ключей и временных меток. Я пересмотрел формат данных и на одном из больших запросов сократил сжатый ответ с 1 МБ до 500 КБ, а время до отрисовки графика — с 3 до 1,5 секунды при скорости 4 Мбит/с.

Расскажу, что дал переход на колоночный JSON, как он показал себя рядом с MessagePack и BSON и помогает ли смена формата, если уже включён gzip. А ещё — как изменил фильтры и обработку тяжёлых графиков, чтобы не загружать лишние данные.

Читать далее

Свой BI для стройки без интернета: как реестр документов уехал из общего Excel в PostgreSQL

Время на прочтение7 мин
Охват и читатели7.3K

Учёт документов поставщиков на стройке завода жил в двух общих книгах Excel. Кто утром первым открыл свод, тот и работал, остальным доставалось «Только чтение», а комментарий сохранялся у того, кто нажал «Сохранить» последним.

За три месяца реестр переехал в PostgreSQL, а поверх базы вырос свой BI на одной HTML-странице: дашборд, S-кривые, тепловая карта просрочек и карточки поставщиков. Без облака и без интернета, в закрытой сети завода. Рассказываю, как переезжали со сверкой до нуля расхождений, зачем серверная проверка сначала повторила старый макрос и как новый документ стал вставать на своё место в 81 % случаев вместо 47 %.

Читать далее

Карта 1580 года демонстрирует, почему визуализация данных никогда не бывает нейтральной

Время на прочтение7 мин
Охват и читатели6.4K

«Карта Теосакоалько» (Mapa de Teozacoalco), созданная в рамках географического обследования Relaciones geográficas (1580). Предоставлено коллекцией рукописей Хоакина Гарсии Икасбальсеты, Латиноамериканская коллекция Бенсона, Центр латиноамериканских исследований и коллекций LLILAS Benson, Техасский университет в Остине.

Даже с самой высокой точки города, колокольни церкви Сан‑Педро‑Теосакоалько, невозможно было увидеть что‑либо дальше нескольких километров в любом направлении. Две крупные горные системы, протянувшиеся вдоль побережий Мексики, сходятся в этом регионе, на территории современного мексиканского штата Оахака, образуя «геологическое нагромождение» поросших деревьями вершин и заросших кустарником долин, среди которых лишь изредка встречаются головокружительные обрывы.

По испанскому летоисчислению шёл 1580 год. Но народ ньудсауи (миштеки) существовал и хорошо ориентировался в этой местности уже на протяжении тысячелетий. Горные хребты, отделявшие главный город Теосакоалько от 13 подчинённых ему небольших поселений, были знакомы ньудсауи как собственные пять пальцев. Даже растущее число испанских колониальных чиновников и других подданных короны, селившихся в этом районе, имело хотя бы общее представление о местной географии. И хотя изучить эту местность можно было на собственном опыте, увидеть её целиком и сразу не представлялось возможным. Не могли этого сделать ни те, кто поднимался на вершину колокольни, ни тем более такие люди, как испанский король Филипп II, который за всю свою жизнь так ни разу и не ступил на североамериканский континент. Именно поэтому король, а точнее, его королевский космограф Хуан Лопес де Веласко, запросил карту.

Читать далее

Сделали ИИ-бота для ежедневного анализа бизнес-метрик

Уровень сложностиСредний
Время на прочтение10 мин
Охват и читатели9.3K

Привет! Мы BI-разработчики: Айгуль Ахметова из команды аналитиков Авито Рекламы и Валерия Смирнова из Товаров. Вместе мы создаём аналитическую отчётность, которая помогает командам быстрее разбираться в бизнес-метриках. А ещё сделали бота, который снял с аналитиков часть рутины.

Команда Core BI отвечает за основной финансовый дашборд. Каждое утро команды начинается примерно одинаково: 

1. Ребята открывают основной финансовый отчёт.
2. Проверяют, успели ли обновиться данные.
3. Смотрят динамику выручки и проходятся по разрезам.
4. Если цифра заметно изменилась — разбираются, где именно и почему. Для этого подключаются аналитики метрик из разных команд.
5. Коротко объясняют результат коллегам, а если с данными что-то не так — предупреждают, когда они будут готовы.

Ничего сверхъестественного, но эти действия каждый день отнимают минимум полчаса. Не потому, что каждый раз нужно провести сложное исследование или глубоко погрузиться в детали. Просто между просмотром графика и ответом на вопрос «Что случилось?» есть несколько обязательных проверок — пропустить их нельзя.

Мы решили автоматизировать эту часть работы и сделали Big10 Pulse — бота в корпоративном мессенджере Mattermost. Он ежедневно мониторит ключевые бизнес-метрики. Как только свежие данные готовы, присылает PDF-отчёт и аналитическую записку с факторным анализом изменений и найденных отклонений. 

Так аналитику не приходится каждый день повторять одни и те же действия, а пользователю — постоянно проверять, обновились ли данные.

Звучит как идеальная задача для большой языковой модели — как мы любим: собрать контекст из разных источников и тредов, а затем объяснить найденную аномалию. Но довольно быстро мы поняли, что главное здесь не то, какую работу можно поручить модели, а то, какую — нельзя.

Читать далее

Как ввести руководителя в заблуждение с помощью дашборда

Время на прочтение15 мин
Охват и читатели5K

Ниже представлен ряд дашбордов для руководителя, ни в одном не подделана ни одна цифра.
Врёт не число — врёт подача и оформление: начало оси, окно сравнения, фильтр по умолчанию, порог светофора, порядок карточек на экране.
Каждый дашборд представлен в двух вариантах: как его обычно показывают и как он выглядит честно. Данные при отображении каждого из них не меняются.

Откуда взялась идея

Идея выросла из повторяющейся ситуации. На совещании два человека смотрят на один и тот же экран и уходят с противоположными выводами: один видит рост, другой — проблему. Спорят при этом не о цифрах — цифры у всех одинаковые, — а о том, как они показаны. А разработчик дашборда регулярно получает просьбу «сделать динамику поприличнее» и почти никогда — просьбу показать, где всё плохо.

Мне захотелось собрать такие ситуации в одном месте и показать каждую наглядно: не словами «так делать нельзя», а парой экранов, где одни и те же данные приводят к разным выводам.

Гипотеза: врёт не число, а подача

Дашборд воспринимается как объективная система: он подключён к базе/хранилищу, обновляется сам, в нём «просто данные». На самом деле каждый пиксель на экране — это чьё-то решение. Где начинается ось. С чем сравниваем. Кто попал в выборку, а кто нет. Что назвать зелёным. Что показать крупно наверху, а что мелкой серой строкой внизу.

Отсюда гипотеза, которую я хотел проверить наглядно: чтобы соврать дашбордом, данные трогать не нужно. Достаточно подачи. Если это так, то один и тот же массив чисел должен уметь приводить к двум противоположным выводам — и оба будут формально честными.

Читать далее

Ответ, а не отчёт: адаптировали строительную аналитику для телефона

Уровень сложностиСредний
Время на прочтение12 мин
Охват и читатели5.2K

У нас уже было более 30 готовых дашбордов для строительного снабжения. Они позволяли подробно разбирать заявки, оплаты, поставки и работу сотрудников. Но при внедрении мы слышали от части пользователей: сложно разобраться, некогда настраивать фильтры, проще спросить коллег. Некоторые прямо спрашивали, можно ли открыть аналитику с телефона.

Сначала мы рассматривали упрощённые десктопные дашборды, но столкнулись с вопросом: что считать лишним, если финансисту, снабженцу и руководителю проекта нужны разные данные?

В итоге мы начали разрабатывать мобильную аналитику. Сначала сделали прототип, почти полностью сохранивший логику десктопной версии, а затем стали пересматривать способы группировки данных, фильтрации и детализации. Я работала над обеими версиями и расскажу, какие решения оказались важнее простого сокращения числа графиков.

Читать далее

Arca: мой взгляд на то, как генеалогическому софту следует подходить к хранению данных

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели9.6K

Несколько лет назад мне захотелось заняться составлением своего генеалогического древа. Я опробовал различные существующие инструменты для этого и не могу сказать, что остался в большом восторге. Во-первых, у подавляющего числа из них интерфейс, мягко говоря, оставлял желать лучшего, а во-вторых, большинство из них подразумевало хранение информации о всех своих близких где-то на серверах этих сервисов (причём ряд из них сейчас вовсе недоступен напрямую из России, что удобства не добавляет).

Разумеется, как у любого уважающего себя разработчика, у меня зачесались руки написать собственное решение. Благо в целом задача не выглядела сверхмасштабной, ведь хранилище семейной истории — это по сути небольшая БД с 6-8 типами сущностей и визуализатором связей между ними. Но, как это нередко бывает, идея застряла на стадии раннего прототипа, и только сейчас, благодаря помощи LLM её удалось довести до относительно законченного вида.

Ниже расскажу, что получилось и чем же именно мой сервис — я назвал его Arca — существенно отличается от других подобных решений. Кроме особенностей хранения проектов также затрону несколько других любопытных нюансов — выбранный мной подход к локализуемому представлению имён, а также исторических названий городов и регионов.

Читать далее

Семь проверок перед тем, как нести руководителю вывод от ИИ

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели5.9K

Руководитель спрашивает, почему просела выручка в регионе. ИИ через минуту отвечает связным текстом, с цифрами и объяснением. Ещё через час финансовый директор уточняет, включён ли в цифру НДС и из какой она таблицы, и ответа ни у кого нет.

Мы в GlowByte внедряем BI и пилотируем GenBI-решения на данных клиентов, поэтому постоянно видим такие уверенные ответы без источника.

Ниже семь проверок, которые стоит пройти до того, как цифра от ИИ уйдёт наверх, и отдельно о том, где они не спасают. Большинство пунктов аналитик знает и без нас. Раньше их за него делало совещание, где два человека приносили разные цифры. Теперь цифру озвучивает система, и спорить с ней некому.

Чек-лист целиком стоит в конце статьи, его можно скопировать.

Читать далее

Ближайшие события

Как я автоматизировала еженедельную презентацию и научила AI‑бота делать правки прямо в треде

Уровень сложностиПростой
Время на прочтение9 мин
Охват и читатели7K

Расскажу, как я автоматизировала сборку еженедельной презентации: данные берутся из Redash, собирается .pptx, и раз в неделю ссылка на неё приходит в мессенджер. А потом я сделала бота, которому можно написать правку к слайду прямо в треде под презентацией.

Каждую неделю у департамента проходит встреча, и к ней нужна презентация на несколько десятков слайдов с метриками в разных разрезах. Ранее 20+ менеджеров собирали презенатцию руками: открывали Redash, прокликивали фильтры, делали скриншоты, выгружали данные в иксель и делали промежуточные расчеты, вставляли это все на слайды, подписывали цифры, делали ручное форматирование и т.д. Каждую неделю на это уходило несколько часов.

Я опишу основные шаги и как всё устроено. Код в статье упрощённый, под свои задачи его придётся дорабатывать.

Читать далее

Глобус в терминале: Земля из символов Брайля и реальная смена дня и ночи

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели7.4K

Представьте, что в уголке вашего терминала висит глобус Земли, и ночь на нём наступает там же, где за окном. Я написал такую программу за два дня. Она загружает карту мира, обтягивает ею сферу и отображает её символами: точками шрифта Брайля, значками Юникода либо буквами. Шар вращается мышью и раскрашивается одной из десяти палитр. Помимо Земли утилита показывает Солнце, Луну, все планеты и Цереру. Ставится одной командой, без Python и зависимостей.

Читать далее

Почему женщин нет на «Олимпе достижений»?

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели6.9K

Доброго времени суток, дорогие читатели. Этот вопрос мучает меня уже на протяжении двух недель — с того момента, как я вернулся в шахматы и решил заглянуть в топ-100 FIDE. К своему удивлению, я не обнаружил там ни одной женщины. Меня очень заинтересовала эта тема, и я решил начать свой писательский‑научный путь.
В ней я подробно разберу, почему людей с выдающимися достижениями в науке, спорте и искусстве среди мужчин статистически больше, если сравнивать их с общим объемом открытий человечества. В ходе аргументации я буду опираться на сухие научные концепции и факты, которые продемонстрируют ответ на данный вопрос абсолютно без моего вмешательства и оценочного суждения.

Читать далее

GlowByte и DataYoga проведут бесплатный онлайн‑марафон «ИИ без страха»

Время на прочтение3 мин
Охват и читатели4.3K

ИИ уже стал частью бизнеса, и вопросы «с чего начать» и «как не потеряться» возникают у всех: от тех, кто только присматривается, до тех, кто уже запустил первые проекты. Между «мы используем ИИ» и «у нас есть устойчивая практика работы с ИИ» большая разница. 

Компания GlowByte вместе с проектом DataYoga проведет с 9 по 13 ноября 2026 года бесплатный онлайн-марафон «ИИ без страха: пять дней, чтобы сделать первые шаги». Его цель – помочь компаниям перейти от интереса к осмысленной практике.

Читать далее

Постобработка IFC без Revit, часть 2: площади ТЭП, дубли и правки, которые можно переслать

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели5K

Хабр, привет! Это Кирилл, с коллегой Анастасией @nobimnolife делаем IDS Core. Сейчас усиленно взялись за постобработку и немного расскажем о новых инструментах.

В прошлой статье мы рассказывали, как научились править IFC прямо в браузере: заполнять параметры, менять класс и этаж, удалять лишнее — и при этом не ломать файл. После публикации просмотрщиком начали пользоваться не только мы, и вопросы пошли другие. Уже не «как поменять тип данных», а «почему у нас не сходится общая площадь», «что делать с дублями из отчёта» и «как передать правки коллеге, чтобы он не делал всё заново».

Ниже — что мы на эти вопросы сделали и что выяснили по дороге. Почти в каждой истории оказалось, что очевидное решение не работает.

Читать далее

Сбор персональных данных через чат‑бот

Уровень сложностиПростой
Время на прочтение4 мин
Охват и читатели5.8K

Требования Закона «О персональных данных» нужно соблюдать во всех случаях, когда вы сталкиваетесь с обработкой персональных данных. К сожалению, в большинстве случаев наводится порядок на сайте и внутри компании (относительно работников). Поскольку это два основных направления, где у Роскомнадзора возникает больше всего вопросов. Но предприниматели забывают или относят к малым рискам, когда осуществляют обработку персональных данных в чат-ботах.

Читать далее

Первый проект Process Mining: как выбрать процесс для оптимизации, собрать команду и не застрять на этапе пилота

Уровень сложностиПростой
Время на прочтение17 мин
Охват и читатели7.1K

Первый проект процессной аналитики обычно начинается с выгрузки журнала событий из учетной системы. По нему команда строит цифровой двойник процесса и находит петли и возвраты. Труднее сделать процессную аналитику постоянным рабочим инструментом компании, чтобы работа не закончилась презентацией по итогам пилота. Судя по глобальному опросу Deloitte, это удается не всем: за четыре года доля компаний, которые применяют Process Mining на уровне всей организации, почти не изменилась.

Эта статья — для тех, кто впервые запускает процессную аналитику: будущих руководителей центров компетенций, операционных директоров и процессных аналитиков. Разберем шесть шагов от постановки исследовательских вопросов и выбора процесса до оценки результатов пилота и перехода к постоянному мониторингу. Покажем, как собрать команду, определить KPI и принять решение о масштабировании. Возможности инструментов рассмотрим на примере VK Business Analytics — платформы VK Tech для анализа и оптимизации процессов.

Читать далее
1
23 ...