Обновить
56.59

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Порог рейтинга
Уровень сложности

Введение в MLflow

Уровень сложностиСредний
Время на прочтение19 мин
Количество просмотров29K

MLflow - это инструмент для управления жизненным циклом машинного обучения: отслеживание экспериментов, управление и деплой моделей и проектов. В этом руководстве мы посмотрим, как организовать эксперименты и запуски, оптимизировать гиперпараметры с помощью optuna, сравнивать модели и выбирать лучшие параметры. Также рассмотрим логирование моделей, использование их в разных форматах, упаковку проекта в MLproject и установку удаленного Tracking Server MLflow.

Читать далее

Виртуальная лаборатория робототехники или Как мы выбирали подходящее ПО

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров2.4K

Вступление Так получилось что мы группа студентов и преподавателей заинтересованных в создании имитационных виртуальных лабораторий, в которых студенты могут без особых углубленных знаний попробовать поуправлять квадрокоптером, конвейером или другими интересными моделями. Ведь не всегда есть возможность потренироваться на реальных физических лабораториях. Нужны: место (деньги), оборудование (деньги) и время (тоже деньги). Следовательно придется смотреть в сторону виртуальных моделей. Мы искали удобную среду для создания таких моделей и вот до чего дошли (обозреваем ниже).

Немного истории: факультет электромеханики (ныне переименован в Мехатроники и Автоматизации) НГТУ создавался в 50-х, чтобы готовить специалистов по разработке и производству электродвигателей, электрогенераторов e.t.c. Позднее факультет оброс кафедрами смежных направлений а в конце 2020-х открыл направление Робототехники. Профиль ФГОС и 70% предметов оставили прежними. Как и педсостав. В результате получили выпускников которые: умеют подобрать двигатели для круглого квадрокоптера в вакууме (и не только подобрать, но и спроектировать с нуля или пересчитать/перемотать); умеют настроить регуляторы для этого пепелаца; знают как рассчитать мощность и КПД. А вот о том, как программировать автопилот — только «имеют представление».

В принципе такая заточка имеет право на жизнь если разрабатывать не роботов-доставщиков, а промышленные роботизированные ячейки.

Читать далее

Быстрая оценка эффекта рекламы/события на ключевые показатели: Python + Causal Impact

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров7.7K

Приветствую, меня зовут Владислав Поляков, я аналитик данных в Сбербанке. Сегодня я хочу поделиться, пожалуй, самым простым и быстрым способом оценки эффекта рекламы/события на ключевые показатели. Способ заключается в использовании библиотеки pycausalimpact для Python. Документация к библиотеке.

Вводные:

Данные: Данные ЦБ РФ по ключевой ставке и объему выданных кредитов с 2013 года.

Что будем оценивать?: Как повышение ключевой ставки повлияло на объем выданных кредитов.

Как будем оценивать?: С помощью библиотеки pycausalimpact для Python

Читать далее

Дашборды в СКУД: визуализация данных для удобной аналитики на примере Grafana

Уровень сложностиПростой
Время на прочтение12 мин
Количество просмотров8.8K

Привет, Хабр! На связи Sigur и Дмитрий Попов: в компании я занимаюсь продуктовыми исследованиями. Основной продукт Sigur – одноименная система контроля и управления доступом (СКУД): это контроллеры, предназначенные для управления исполнительными устройствами, например, дверьми или турникетами, считыватели для идентификации пользователей, а также программное обеспечение.

В данном материале я расскажу, как с помощью Grafana визуализировать данные из СКУД и в целом, – об их ценности для бизнеса. В качестве базиса для статьи будет использован мой опыт работы с этим инструментом для аналитики работы демонстрационных зон продуктов компании на выставке Securika Moscow 2024.

В чем сабж?

Представьте себя сотрудником, отвечающим за работу систем безопасности на крупном объекте, где ежедневно требуется требуется решать задачи обслуживания и настройки всего, что связано с охранной сигнализацией, видеонаблюдением и контролем доступа. 

Мало того, что все эти системы надо хорошо знать, за происходящим в них нужно уследить. Конечно, в системах безопасности для решения таких проблем есть отдельный класс систем — PSIM или ССОИ. Они обеспечивают интеграцию систем безопасности и реализуют функции оперативного мониторинга и реакций. Однако, не всегда эти системы подходят заказчику: они могут оказаться нерентабельными или слишком сложными для внедрения. 

Поэтому я задумался о том, как помочь пользователям нашего продукта предоставить инструмент более наглядной визуализации происходящего в системе.

Читать далее

Как Проинициализировать Микроконтроллер [часть 2]

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров4.5K

Программа это реализация алгоритма. А алгоритм это упорядоченная последовательность действий. Поэтому очень большое значение имеет правильный порядок исполнения программы.

В этом тексте я написал как автоматически выявить правильную последовательность инициализации

Читать далее

Анализ российского рынка IBP/SCP-систем

Время на прочтение7 мин
Количество просмотров2.1K

С ростом бизнеса процесс планирования усложняется. Увеличивается число сотрудников, влияющих на планирование, и объем обрабатываемой информации. В таких условиях человеку становится сложно учитывать ключевые факторы и принимать решения для максимизации прибыли. Именно поэтому возникает потребность во внедрении интеллектуальных систем планирования, которые помогают строить точные прогнозы с учетом множества требований и ограничений.

Команда "Круга Громова" провела исследование отечественного рынка IBP/SCP-систем с целью создать "путеводитель", который поможет компаниям сориентироваться в существующих предложениях и сделать осознанный выбор. Мы детально проанализировали функциональные возможности, архитектуру и потенциал развития представленных платформ, а также сформулировали практические рекомендации по их выбору и внедрению. На российском рынке представлено более 15 компаний, которые занимаются внедрением и отладкой систем планирования предприятия. Каждая компания является либо вендором, либо разработчиком IT- решения, которое может быть настроено и адаптировано под бизнес-задачи и потребности конкретного предприятия.

Итогом этой работы стал подробный аналитический отчет, который станет подспорьем для тех, кто стоит перед задачей трансформации процессов планирования и оптимизации цепочек поставок. Приглашаем вас ознакомиться с ключевыми выводами исследования и поделиться своим опытом и видением развития данного направления.

Читать далее

Визуализация эмоций в диалогах людей и чат-ботов

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров1.2K

Эмоции, наши самые древние союзники в борьбе за выживание, формируются в лимбической системе и выражаются в целой куче действий. Страх и отвращение помогают героям фильма совершить побег из Лас-Вегаса так же, как и их не таким уж  далеким предкам - убежать от хищников или не отравиться протухшей едой. Эта статья про словесное выражение эмоций в роликах на ютубе. Большая языковая модель размечает эмоции. На выходе -  визуализации диалоговых эмоций внутри трехмерного кубика с координатами по осям удовольствия, возбудимости и доминирования.

Читать далее

Задача трёх тел (не китайская нефантастика)

Уровень сложностиСредний
Время на прочтение21 мин
Количество просмотров56K

Однажды, выполнив в Гугле запрос "Three body problem" ("Задача трёх тел"), я был просто поражен - первая страница результатов состояла только из ссылок на роман китайского писателя-фантаста Лю Цысиня с соответствующим названием, а также на телесериал, снятый по этому роману, т.е. ссылок на собственно задачу трёх тел не было вообще! Мне это показалось удивительным и несправедливым, поскольку сама по себе задача трёх тел тоже может выглядеть увлекательной в популярном изложении. В этой публикации я постарался привести некоторые доказательства этого утверждения.

Читать далее

Простые, но редко используемые методы аналитики, которые улучшат показатели ваших рекламных кампаний

Время на прочтение11 мин
Количество просмотров3.7K

Digital-аналитика рекламных каналов является неотъемлемой частью работы над маркетинговыми кампаниями.

Одним из самых результативных подходов при анализе рекламных кампаний является исследование показателей эффективности в разрезе различных сегментов.

На практике чаще всего используются следующие популярные разбивки:

Анализ в разрезе рекламных кампаний;

По ключевым словам и группам объявлений;

По типу устройств (смартфоны, планшеты, компьютеры);

По гео (города и страны);

По демографическим признакам (пол и возраст).

Как правило, в ходе исследования специалист разделяет трафик между сегментами и оценивает разницу в стоимости лида (CPL) либо стоимости заказа (CPO). Далее производятся соответствующие корректировки.

Подобный анализ может дать специалисту большой объем полезной информации, которая, будучи правильно учтенной, даст значительный положительный эффект.

Однако практика показывает, что стандартных сегментов часто оказывается недостаточно, и многие аналитики / маркетологи начинают задаваться вопросом: 

На что еще взглянуть в рекламных кампаниях, чтобы увеличить эффективность привлекаемого трафика?

Давайте разбираться! 

Читать далее

Информационное картографирование в экосистеме TON

Уровень сложностиСредний
Время на прочтение19 мин
Количество просмотров3.3K

В статье показано, как с помощью информационных карт можно анализировать большие объёмы данных о транзакциях в блокчейне TON (The Open Network). Карты позволяют достичь ситуационной осведомленности о процессах, протекающих в достаточно запутанном виртуальном пространстве, порождаемом экосистемой TON. На примере карты транзакций, совершаемых за один день, рассмотрим основные компоненты такой экосистемы, а также научимся выявлять структурные особенности инструментов блокчейна, которые используют киберпреступники для своей противоправной деятельности. В основе статьи лежат исследования, опубликованные в научной работе «Информационное картографирование Blockchain-транзакций киберпреступников в экосистеме TON»

Читать далее

Карта промыслов Костромской губернии

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров2.6K

Привет, Хабр! Я историк, работаю над историко-географическими базами данных в российском генеалогическом сервисе familio.org. В этой статье расскажу как мы сделали карту исторических промыслов Костромской губернии для фестиваля семейной истории в Кинешме. Надеюсь, что материал будет интересен не только любителям исторической географии, но и тем, кто интересуется визуализацией своих данных на карте.

Читать далее

Разложение модели числа на подмодели. Часть I

Время на прочтение20 мин
Количество просмотров2.3K

Изучение чисел простых и составных, четных и нечетных длится не одно тысячелетие, а теория чисел пока далека от завершения. Даже для простых и понятных арифметических операций поиск обратных им операций на сегодняшний день не завершен. Например, для n-й степени числа обратной является операция извлечение корня n-й степени, для умножения чисел обратной является факторизация произведения, но простой и доступный алгоритм ее реализации до сих пор не открыт. Оказалось, что это очень большая и сложная проблема. Универсальный способ факторизации до сих не найден. В мире людей предпринимаются огромные усилия огромным числом математиков (судя по публикациям) для отыскания такого способа, но пока без особого успеха.

Известно несколько подходов к решению проблемы (алгоритм Ферма, числовое решето, эллиптические кривые, CFRAC, CLASNO, SQUFOF, Вильямса, Шенкса и др.), которые критикуются и не кажутся перспективными и которые даже не претендуют на универсальность. Автором публикации предлагается оригинальный подход к решению проблемы с претензией на универсальность, т.е. без каких либо ограничений на факторизуемые числа, в частности, ограничений на разрядность чисел.

Существо подхода состоит в разработке такой модели числа, которая использует концепцию закона распределения делителей (ЗРД) числа, открытого автором (публикация 2014г). Подход позволяет находить инволюцию в конечном числовом кольце вычетов (КЧКВ) по составному модулю N, путем разложения предлагаемой модели числа (аналогичного разложению кольца Пирса) в цикловые множества строк (ЦМС) модели.

Цель публикации в первую очередь образовательная, познавательная, популяризация науки, а также стремление привлечь в ряды исследователей, в науку приток новых молодых (и не очень) умов, вызвать в таких умах стремление к поиску ответов на возникающие вопросы.  Масштабность темы требует ввести разумные ограничения на излагаемый материал после краткого панорамного её рассмотрения.

Читать далее

Как выбрать способ визуализации данных

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров9.9K

Привет, Хабр! Меня зовут Света, я — руководитель направления Friflex design. Мы занимаемся разработкой мобильных приложений и веб-сервисов и используем разные способы визуализации данных, чтобы быстро и наглядно показать пользователям важную для них информацию.

В этой статье рассказываю, как правильно выбрать метод визуальной коммуникации.

Читать далее

Ближайшие события

Кластеризация множества объектов, алгоритм K-means++

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров4.9K

Поступила задача выполнения кластеризации множества товаров, по их размерам (двумерная плоскость). Значения распределения: ширина и высота.

После изучения вопроса, было найдено несколько подходящих алгоритмов, одним из самых распространенных оказался алгоритм под названием K-means, а так же его вариация K-means++. Плюсы, в отличии от классики, подошли более разумно к подбору начальных точек опоры, калибрующихся итерационно, до момента идентичности нескольких последовательных результатов.

Читать далее

Как правильно разработать интерактивный прототип?

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров4K

Привет! Меня зовут Московкина Наталия, я старший бизнес-аналитик. Эта статья будет полезна бизнес-аналитикам, которые работают c системами управления данными и часто сталкиваются с тем, что заказчику сложно принять решение по реализации системы на основании статичных макетов. Также бывают случаи, когда передача системы в разработку требует большого количества коммуникаций и уточнений с разработчиками для обсуждения функциональности. В таких ситуациях решить проблему поможет интерактивный прототип.

Читать далее

Аналитика в ритейле: как выбрать правильные метрики

Время на прочтение18 мин
Количество просмотров11K

Привет, друзья-аналитики!

Хочу поговорить об отрасли, с которой начинался мой путь в аналитике и которая до сих пор занимает особое место в моем сердце — ритейл. Аналитикам в этой области будет полезно, для остальных интересно почитать. Статья направлена на базовую аналитику, в следующих статьях будем погружаться глубже.

Читать далее

Semantic BPM. Онтологическое моделирование верхнеуровневых процессов. VAD

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров2.3K

Введение

Представление моделей бизнес‑процессов на основе онтологий (онтологическое моделирование) эквивалентно Semantic BPM. Введение в семантический BPM (Business Process Management) см. «Semantic BPM. Семантика и синтаксис бизнес‑процессов» [semBPM24]. Если кратко, то можно провести аналогию: если классическая BPM система (BPMS: ARIS, бизнес‑студия, fox‑manager и т. п.) — это технологический аналог mediawiki (wikipedia), то Semantic BPM — это технологический аналог semantic mediaWiki (Wikidata), т. е.

IF MediaWiki → Semantic MediaWiki then BPM (ARIS, BPMS, EA) → Semantic BPM

Основной замысел (цель) семантического представления процессов (BPM, EA) не классическими BPM‑системами, а семантическими (Linked Data) — такой же, как и у семантических wiki

Одно из ключевых дополнений к wiki‑гиперссылки (html) это указание не просто что «ОбъектА связан с ОбъектомБ» (т. е. просто «связано») и соответствующий кликабельный переход (wiki‑ссылки, markdown syntax), а указание, что «ОбъектА связан с ОбъектомБ» такими‑то типом отношения (впрочем, как и задание других свойств объекта через отношения).

Изначально все BPMS (изначально называемые CASE‑средствами) — семантические, т.к. их суть — это отношения между объектами, только в них семантика глубоко спрятана «под капотом» BPMS и нестандартная (собственная, проприетарная). Semantic BPM «поднимает» семантическую составляющую на поверхность (возможность работы с семантическим слоем) и использует стандартные сематические технологии Linked Data.

В основе RDF (Resource Description Framework) — триплеты «субъект — отношение — объект» лежит ERD: Entity Relationship (ER) diagram. RDF \ ERD — это способ формализации знаний на основе атома знания — триплета. Вообще ER, subject, predicate, типы рассуждений и другие базовые элементы для работы со знаниями в СССР содержались в школьных учебниках [Логика54].  

Читать далее

Новости проекта Api2App

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров1.1K

Более 4-х месяцев прошло с первого моего поста про Api2App. В этой статье хочу рассказать про обновления дизайна и новый функционал, который был добавлен за это время.

Читать далее

Сквозная аналитика в HR

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров4.8K

Сквозная аналитика в HR в виде приложения в Power BI.

После первой встречи с HR отделом в лице руководителя, специалиста, занимавшегося сбором данных и оформлением отчетов в таблицах Excel, выяснилось, что источники с необходимыми данными находятся в регулярных выгрузках из 1С Предприятие, Google Sheets, Битрикс24, PostgreSQL, iSpring. По визуальному оформлению как таковых «жестких» требований не было, была лишь просьба, учесть наглядность представляемых данных и «желательно как в таблицах Excel».

После чего я приступил к созданию дашборда из нескольких дашбордов с получением данных из первоисточников ежедневно.

Читать далее

Не ggplot2 единым: визуализация в R

Уровень сложностиПростой
Время на прочтение12 мин
Количество просмотров1.8K

Говорите про R что хотите, но когда дело касается визуализации данных, он диктует моду. Не без помощи ggplot2, конечно. Однако стоит ли ограничивать себя только им ? Да и на что способен R без него. Узнаем в этой статье.

Читать далее