Как стать автором
Обновить
58.83

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Порог рейтинга
Уровень сложности

Digital Twin. Часть 2. Инструментальный Цифровой двойник

Время на прочтение26 мин
Количество просмотров1.1K

Вторая часть посвящена проблеме адекватности обоих двойников и путей её решения. Именно неадекватность модели – это основная преграда, о которую спотыкаются практически всё, выдаваемое сегодня за «Цифрового двойника».   

В первой части [DT1] были рассмотрены проблемы современного «Цифрового двойника» \ Digital Twin (ЦД \ DT) и общие подходы к его идентификации, в первую очередь, его «Трехкомпонентный состав DT» («три кита» двойника): реальный объект (физический двойник, «физик», Physical Twin, PT), его модель (собственно сам DT) и обратная связь – как передача эксплуатационных данных объекта в контекст его модели (в идеале двухсторонний обмен). В идеале должен быть не только двухсторонний обмен по эксплуатационным данным, но и обмен по состоянию самой структуры объектов (синхронизация структуры), что будет подтверждать актуальность используемой модели (структурную адекватность обоих двойников). 

В большинстве случаев предлагаемые «примеры DT» представляют собой незамысловатый ребрендинг привычных (обычных) систем, т.е. скорее являются Pseudo Digital Twin \ Digital Impostor, а не Digital Twin, при этом даже имея все три компонента DT могут содержать модель не адекватную своему физическому близнецу («as-is» vs «as-really-is").

Кроме маскирования под DT обычных SCADA - систем и CASE \ BPMS типа ARIS (см. первую часть [DT1]), включая Enterprise Architecture (EA, архитектура предприятия как цифровой двойник предприятия), красивую вывеску «DT» прикручивают к системам:

- ERP, например, dia$par,

Читать далее

Новости

Многомерный анализ данных временных рядов

Уровень сложностиСредний
Время на прочтение13 мин
Количество просмотров4.5K

Попробуем применить многомерный анализ к данным временных рядов с помощью интерактивной визуализации данных измерений и их взаимосвязей.

Читать далее

Интерактивная карта Республики Коми с отображением социально-экономических показателей

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров1.1K

Делюсь опытом как я сделал интерактивную карту Республики Коми: от QGIS и D3.js до графиков и API Wikidata. Карта визуализирует социально‑экономические показатели районов и населённых пунктов, поддерживает масштабирование, позволяет переключать слои, выбирать тёмную и светлую темы, а также получать справочную информацию об объектах.

Читать далее

Из боли клиентов — в новый продукт: как мы пересобрали аналитику на Clickhouse

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров3.4K

Чем лучше разработчик, тем хуже он делает аналитику. Просто потому, что для этого требуется разный технологический стек.

Системы, которые пишут разрабы, шикарно записывают и хранят данные. Но попытка прочесть большой объём данных сразу роняет всю систему, так как она плохо для этого предназначена. 

В этой статье я расскажу про 2 ключевых подхода к хранению и обработке данных, какой мы выбрали для аналитики в Saas-платформе и к чему это привело.

Читать далее

Оживляем данные Strava: от парсинга GPX до интерактивной карты на Python и JS

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров2.6K

Привет, Хабр! Меня зовут Александр, я разработчик и, как многие в IT, стараюсь уравновешивать сидячую работу спортом — в моем случае, это велосипед и бег. И, как многие спортсмены-любители, я пользуюсь Strava.

В этой статье я хочу провести вас «под капот» моего проекта и показать на реальных фрагментах кода, как с помощью Python, щепотки NumPy и капли JavaScript можно построить собственный мощный инструмент для анализа спортивных данных. Это история не только про код, но и про философию открытых данных и желание сделать профессиональные инструменты доступными для всех.

Читать далее

Кластерные A/B-тесты: как победить эффект соседа

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров612

Привет, Хабр!

Сегодня мы рассмотрим, как спасаться от «эффекта соседа», рандомизируя не пользователей, а их кластеры в A/B тестах.

У классического AB-теста есть аксиома SUTVA: мол, результат конкретного юзера зависит только от его собственной ветки «treatment / control». Реальность улыбается и кидает в лицо соцсетью, где лайк друга поднимает и твою вовлечённость, курьером, который обгоняет коллег и заражает их скоростью, и cпасибками «приведи друга — получи бонус». Итог — наблюдения больше не независимы.

Внутрикамерный жаргон это называет network interference. Чем плотнее граф связей, тем сильнее лечение «просачивается» за контрольные границы.

Читать далее

Кейсы по применению BI в агробизнесе: подборка от РСХБ

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров479

Современные решения в области бизнес-аналитики (BI) и искусственного интеллекта (AI) позволяют агрокомпаниям перейти от формальной отчетности к управлению, основанному на данных. Привет, Хабр! Я - Галина Галкина, работаю в департаменте аналитических систем компании R-Style Softlab (группа компаний Россельхозбанка). В этой статье предлагаю рассмотрим, как цифровые инструменты помогают оптимизировать процессы в животноводстве и птицеводстве.

Читать далее

Как BI-системы меняют аналитику в крупных медцентрах: от хаотичных отчетов — к данным для решений

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров250

В больших медицинских учреждениях без современных инструментов сложно организовать работу врачей, управлять потоками пациентов и обрабатывать большие объемы данных. В этой статье мы рассмотрим, как бизнес-аналитика помогает решать эти задачи на примере медцентра с базой свыше 2 миллиардов записей (кейс Modus).

Читать далее

Зачем бизнесу аналитика и как мы её реализовали в своём BI-модуле

Время на прочтение6 мин
Количество просмотров517

Привет, Хабр! Давайте поговорим сегодня о том, без чего современный бизнес уже практически не может обойтись — о BI-системах.

Бизнес-аналитика (BI) — это стратегия работы с данными, которая помогает компаниям понимать, что происходит в бизнесе, почему и как далеко всё может зайти. BI объединяет инструменты отчётности, визуализации, хранения, прогнозирования и автоматизированного анализа. Всё это нужно, чтобы не строить бизнес «на глазок», а опираться на реальные цифры.

BI переводит сложные процессы анализа в простой сценарий: открыл дашборд — увидел суть.

Рассказываем, когда бизнесу пора внедрять BI и на какие фичи обратить внимание при выборе решения.

Читать далее

Продукты аналитики: как данные начинают приносить деньги бизнесу

Уровень сложностиПростой
Время на прочтение13 мин
Количество просмотров397

Сегодня для того, чтобы данные действительно работали на бизнес, недостаточно просто собрать и обработать их. Необходимо превратить их в понятные и удобные решения – своего рода аналитические продукты, которые приносят реальную пользу. Проще говоря, аналитический продукт (он же data product) – это автоматизированная цепочка действий над данными, результатом которой является полезная информация или рекомендация для решения конкретной бизнес-задачи. Появление таких продуктов стало возможным благодаря построению централизованной аналитической платформы с полной архитектурой данных от интеграции до представления. Иными словами, чтобы данные приносили пользу, они должны пройти путь от извлечения из источников до представления в понятной форме, охватывая этапы интеграции, обработки, представления и управления данными.

Наша «база» — единая аналитическая платформа, реализованная по принципам, применяемым в зрелых data-driven компаниях. В её основе – современный техстек, включающий стриминговую шину данных Apache Kafka на слое интеграции (Stage), высокопроизводительное хранилище ClickHouse на уровнях ODS/DWH/Data Mart, оркестратор пайплайнов Apache Airflow (с использованием dbt) для ETL/ELT и контроля качества данных, систему метаданных OpenMetadata для управления информацией о данных, BI-платформу Yandex DataLens для визуализации, а также собственный REST API-слой для интеграции с внешними системами. Такой подход обеспечивает масштабируемость и воспроизводимость: наша база данных поглощает до сотен миллионов записей в сутки и почти мгновенно выдаёт результаты аналитических запросов благодаря ClickHouse. Все инструменты связаны в единую архитектуру, где потоки событий из источников сразу попадают в Kafka, оттуда – в ClickHouse, после чего данные доступны для построения витрин, дашбордов, алертов и API-интеграций в реальном времени.

Читать далее

Эффективное госуправление: как BI-системы оптимизируют процессы в госсекторе

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров950

Органы власти ежедневно принимают сотни важных решений — от распределения бюджета до работы школ и больниц. Но часто эти решения опираются на устаревшие отчеты или интуицию, а не на свежие данные. BI (Business Intelligence) — это технологии сбора, анализа, визуализации данных, которые помогают принимать обоснованные решения. Рассказываем, как BI-решения упрощают работу органам власти и госучреждениям.

Читать далее

Реляционные базы данных в книге «Двенадцать стульев»: как устроен архив Коробейникова

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров2K

Меня зовут Екатерина Петрова, я автор медиа «вАЙТИ» и аналитик. Перечитывая свой любимый роман И. Ильфа и Е. Петрова «Двенадцать стульев», а именно сцену с архивариусом Коробейниковым, я вдруг поняла: его бумажный архив ордеров на имущество бывших дворян не что иное, как идеальный пример реляционной базы данных. Алфавитные указатели — это индексы, книги учета — таблицы с первичными ключами, ордера — настоящие транзакции.

Читать далее

Будущее труда с ИИ-агентами: как ваша профессия переживёт ИИ‑революцию?

Уровень сложностиПростой
Время на прочтение11 мин
Количество просмотров17K

Наконец‑то появилось действительно полезное исследование «Будущее труда с ИИ‑агентами» (Стэнфорд), которое превращает абстрактные споры о том, кого и как заменит искусственный интеллект, в конкретную дорожную карту профессий: какие задачи автоматизируются первыми, а какие навыки резко вырастут в цене.

Эта статья — не для того, чтобы вас напугать. Здесь будут конкретные инструменты и советы, чтобы вы сами могли ответить на главный вопрос:

Какие навыки развивать?
Какие задачи смело отдавать ИИ, а за какие стоит побороться и стать в них сильнее?
Как изменится ваша профессия?
За какие умения будут платить больше даже, чем за программирование и аналитику?

В основе статьи — так называемая «матрица желаний и возможностей» автоматизации. Её создали как раз в Стэнфорде. Распределив свои рабочие задачи по четырём простым зонам этой матрицы, вы увидите, как ИИ повлияет именно на вашу профессию — и куда лучше направить усилия уже сейчас.

Читать далее

Ближайшие события

Вычисляем коэффициент популярности крейтов Rust для работы и для хобби-проектов

Время на прочтение5 мин
Количество просмотров2.4K

Твит, который подтолкнул меня к реализации описанного в статье мини-проекта.

Взявшись за эту задачу, я около двух часов ваял небольшой скрипт, который будет скрейпить данные из базы крейтов Rust crates.io и анализировать их для выяснения, какие пакеты чаще скачиваются для работы (то есть в будние дни), а какие для развлечения (то есть в выходные).

Читать далее

Особенности SUMMARIZECOLUMNS в DAX

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров1.1K

Привет, Хабр! В аналитическом языке DAX одной из важных функций является SUMMARIZECOLUMNS. Эта функция готовит данные для дашбордов, также реализует декартово произведение полей группировки (если поля группировки из разных таблиц). Для понимания DAX полезно ознакомиться с особенностями SUMMARIZECOLUMNS, интересующимся деталями SUMMARIZECOLUMNS — добро пожаловать под кат :)

Читать далее

Портирование фреймворка ROOT на архитектуру e2k

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров1.3K

Современная наука невозможна без компьютерных вычислений — от обработки результатов измерений до моделирования процессов. Одним из наиболее широко используемых инструментов для вычислений в ядерной физике и физике высоких энергий является фреймворк ROOT, разрабатываемый в CERN.

Собственная архитектура e2k с очень длинной машинной командой VLIW не позволяет отечественным процессорам Эльбрус без портирования нативно запускать программное обеспечение, в том числе и ROOT.

В статье рассмотрим "айсберг" проблем, с которыми пришлось столкнуться в ходе портирования ROOT, а такжк сферу и примеры его применения.

О портировании и тестах ROOT читайте далее

Как стать дизайнером в IT и сохранить баланс между креативом и технологиями

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров590

Сегодня обсудим, как работать с цифровыми продуктами, и почему дизайн — это не только про красоту, но и про удобство, структуру и командную работу. Будет немного практики и советов для тех, кто задумывается о карьере дизайнера в IT. Поехали!

Меня зовут Яна и я Тeam Lead Designer в компании «Оптимакрос». Я начинала как дизайнер в рекламных агентствах и типографиях, занималась графикой, брендингом и оформлением различных объектов, работая с каждым клиентом индивидуально. Со временем мне захотелось более масштабных и технологичных задач, поэтому я решила попробовать себя в IT.

Читать далее

Регулярная отчетность. Цифры решают все

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров569

В послевоенное советское время убивали словом, по крайней мере, так было принято в кругу друзей прекрасного поэта Шефнера. Никакой крамолы, но это только полуправда: в Люблино уже тогда куда больше ценилась финка за голенищем, но оставим былое.

Как говорят нам опытные инфоцыгане коучи в модно-стильно-молодежно снятых роликах на YouTube RuTube — сейчас время data driven подхода! А значит убивают нынче цифрой. Я, если кому-то интересно, предпочитаю, семерку, она более всего походит на старый добрый мушкет или, на крайний случай, серп.

Шутки в сторону. В современном мире, когда каждая наша «улыбка» — не более чем поток единиц и нулей, который позволяет системе распознавания лиц списать с нас 67 рублей за проезд, цифры, действительно, определяют многое. Раньше обидным было слышать про небольшой размер достоинства, теперь, у топ-менеджмента корпораций досаду, гнев и злость вызывать маленькая EBITDA или ROI. О времена! О нравы! Да простит меня Александр Сергеевич.

10 лет назад я впервые познал силу цифр. До того момента я думал, что аналитика — это красивые отчеты, за которые платят много денег западным консалтинговым компаниям ради имиджа. Функциональное назначение трудов PWC, Mckinsey и прочих сильных мира сего ограничивалось следующим: орудие для удара по голове нерадивому сотруднику, оконный ограничитель летом в душном офисе, ну и, конечно, подставка под шатающийся стул. Все. То есть совсем все. Ни разу не видел, чтобы кто-то открыл их для того, чтобы принять какое-то важное решение, по крайней мере, так не везло мне. Творцы этих шедевров: несчастные стажеры, дизайнеры и прочие ребята в красивых костюмах с очень утомленными лицами и натянутыми улыбками, за которые тогда хотя бы не списывали деньги, сами в кулуарах признавали тщетность своих мук. Впрочем, это не мешало им продолжать ночами повторять сизифов труд, чтобы потом потратить заработанное на волшебные таблетки самого разного цвета и магических свойств.

Читать далее

О модальных формах в Obsidian

Уровень сложностиПростой
Время на прочтение19 мин
Количество просмотров4.6K

В этой статье мы рассмотрим очень важный аспект автоматизации ведения ваших заметок, а именно как настроить и вызывать модальные окна, которые будут подготовлены под ваши сценарии.

Читать далее

О проблеме гриппа

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров884

The Influenza Problem. Nature 109, 129–130 (1922). Представленный материал является переводом статьи из журнала Nature начала двадцатого века, посвященной проблеме гриппа: какова природа гриппа, вариативность симптоматики, почему корь стабильно приходила каждые два года, а грипп через нерегулярные промежутки времени? - этими и многими другими вопросами задается автор.

Автор перевода не является ни профессиональным переводчиком, ни медицинским специалистом. Диаграммы представленные в переводе отсутсвуют в оригинале и лишь дополняют статью; материалы созданы или реконструированы автором перевода по историческим данным.

Читать далее
1
23 ...