Визуализация данных *

Привет, Хабр! Сегодня мы поговорим о том, почему BI-платформам нужен движок, какие сложности создает ClickHouse для аналитиков, когда речь действительно заходит о больших данных, зачем нужно оптимизировать SQL и о многих других вещах, которые часто остаются «за горизонтом» в дискуссиях о BI и хранении данных. Говоря другими словами, я хочу рассказать о том, как мы разрабатывали ДанКо — новый движок, который лежит сегодня в основе Visiology 3, а главное — каким образом ДанКо позволяет достичь высокой производительности в аналитических задачах (в некоторых случаях показывая ускорение вплоть до х100)! Эта статья будет полезна тем, кто еще не сталкивался с задачей организации хранения аналитических данных компании, а также интересна тем, кто как раз, наоборот, уже делал это.

Продолжаем знакомство с моделью числа и ее свойствами, а конкретно, с симметриями, которое этой публикацией завершается. Симметрии излагались на разном уровне представления модели: областей строк, отдельных строк, элементов одной строки и элементов разных строк. Для читателей, ознакомившимися с моими предыдущими статьей 1(О разложении модели числа), статьей 2 (О симметриях...) и др. предлагается продолжить знакомство с проблемой моделирования и исследования чисел. Объект натуральный ряд чисел (НРЧ) настолько богат известными и совершенно новыми свойствами, что само их перечисление потребовало бы много места и времени.
В этой публикации рассматриваются симметрии, связанные с идемпотентами кольца. Их роль в отображении строк-дублей совершенно не похожа ни на что из рассмотренного ранее, как, впрочем, и для других «осей симметрии». Если, например, центральная строка СММ раздвигала\ сдвигала строки-дубли на постоянный интервал, то линия раздела строк идемпотентов, наоборот, как бы «склеивает» (делает смежными) удаленные строки.

Разговор о симметриях подходит к концу, возможно, мне не все удалось увидеть и рассмотреть, изложить текстом, но я старался исследованное мной явление описать в подробностях и деталях. Я представляю, что для проведения успешной атаки на шифр ключевую роль может сыграть «малозначащая» деталь, которую старался не упустить из внимания.   

Цель публикации в первую очередь образовательная, познавательная, популяризация науки, а также стремление привлечь в ряды исследователей, в науку приток новых молодых (и не очень) умов, вызвать в таких умах стремление к поиску ответов на возникающие вопросы.  Масштабность темы требует ввести разумные ограничения на излагаемый материал после краткого панорамного её рассмотрения.

Когда ИИ и нейросети только начинали своё шествие, то не раз и не два говорилось, что было бы здорово с их помощью синтезировать новые лекарства, находить лекарства от болезней, лечить людей.

Об одном таком направлении мы (команда ИИ и BigData в билайне) и расскажем в этом посте, а именно о том, как при помощи ИИ и цифровой патологии можно значительно расширить классические возможности лечения рака почки.

Под катом будет много врачебных терминов, но без этого никак.

Этот текст мы написали с врачами из Сеченовского университета и чуть ранее опубликовали в научном журнале Biomedicines, а сейчас перевели специально для Хабра.

Мы - это команда билайна: Александр Арутюнян и Виктор Гринин.

И наши коллеги-ученые из Сеченовки: Елена Иванова, Алексей Файзуллин, Пётр Тимашов и Анатолий Шехтер. 

Начнем.

Сегодня я раскрою вам мистические свойства функции CALCULATE.
Эта функция обладает удивительной силой и позволяет изменять контекст фильтрации, превращая простые заклинания в мощные артефакты анализа данных.
Позвольте мне, через древние примеры, показать вам, как и когда использовать это могущественное заклинание.

CALCULATE — это могущественное заклинание, которое принимает выражение и набор модификаторов фильтров в качестве аргументов, изменяя контекст фильтрации и возвращая результат выражения в новом контексте.

Простой пример с CALCULATE
Представьте себе таблицу Sales с колонной SalesAmount. Допустим, вы хотите вычислить сумму продаж только для определенной компании.

Произнесите заклинание:
SalesAmount_company = CALCULATE(
SUM('Sales'[SalesAmount]),
'Sales'[company] = "Magic")
Эти слова сосредоточат вашу магию на сумме продаж для компании "Magic ". Но это только начало, ведь CALCULATE может творить чудеса и более сложные.

Что, если вы хотите получить сумму продаж для компании "Magic " и только для отдела "gryffindor"?
Используйте следующее заклинание:
SalesAmount_company_gryffindor = CALCULATE(
SUM('Sales'[SalesAmount]),
'Sales'[company] = "Magic",
'Sales'[department] = "gryffindor")
Теперь ваше заклинание учитывает несколько условий, и магия происходит одновременно для нескольких фильтров, создавая точные и мощные результаты.

CALCULATE также прекрасно работает в сочетании с другими функциями DAX. Например, если вы хотите узнать количество уникальных проектов для компании "Magic ", произнесите заклинание:
UniqueProject_Magic = CALCULATE(
DISTINCTCOUNT('Sales'[ProjectID]),
'Sales'[company] = " Magic")
Это заклинание сочетает мощь CALCULATE и DISTINCTCOUNT, чтобы дать вам уникальные результаты в измененном контексте фильтрации.
Как видите, функция CALCULATE — это мощное заклинание, способное изменять контекст фильтрации и давать точные результаты.
Используйте CALCULATE, когда вам нужно модифицировать контекст фильтрации и применять сложные вычисления, которые невозможно достичь простыми функциями. Это заклинание должно занять достойное место в вашем арсенале Power BI.

Продолжаем знакомство с моделью числа и ее свойствами, а конкретно, с симметриями на разном уровне представления модели: областей строк, отдельных строк, элементов одной строки и элементов разных строк. Для читателей, ознакомившимися с моими предыдущими статьей 1(О разложении модели числа), статьей 2 (О симметриях...) и др. предлагается продолжить знакомство с проблемой моделирования и исследования чисел. Объект - натуральный ряд чисел (НРЧ) настолько богат известными и совершенно новыми свойствами, что само их перечисление потребовало бы много места и времени.

Рассмотрение же конкретного свойства в деталях ограничивает автора с одной стороны располагаемыми знаниями, а с другой - ограниченным объемом публикации. Тем не менее, есть желание показать читателям развернутую картину проявлений такого свойства НРЧ, как симметрия в поведении элементов этого замечательного объекта.

Например, обращал ли кто-нибудь внимание на последовательности квадратичных вычетов (КВВ) элементов НРЧ по разным модулям, когда модель рассматриваем как фрагмент НРЧ или конечное числовое кольцо вычетов по модулю N. Эти квадраты следуют парами R_о, R₁ и получают вид (21 пара) для N = 1961. Пары КВК 484 = 22²;
529 =23² и 625 = 25²; 676 =26² образованы смежными числами, для N = 1961 они окаймляют в 4-м слое средний вычет r_cсс = 0; и для N = 2501 в 5-м слое средний вычет r_cсс = 0.

Почему во втором случае N = 2501 квадраты следуют вначале с флексиями 0, затем с 1²,
4= 2², 3², 4² ? Эти квадраты лежат в строках за пределами тривиальной области ТКВК и среди них нет кратных d_б.

В табличках приведен порядок следования КВВ = КВК полных квадратов, объединенных в пары (верх\низ), всего 42 квадрата (для N = 1961) и 48 квадратов (для N = 2501). Каждый квадрат получен в некоторой точке х_о и реализует решающий интервал (РИ), обеспечивающий получение решения задачи факторизации большого числа (ЗФБЧ) N, т.е. для вычисления делителей N. На основании закона распределения делителей можно записать соотношение d_i = х_о ±√КВК и при необходимости воспользоваться алгоритмом Евклида НОД.

В статье рассматривается выбор оптимального шага при рекурсивном отборе признаков (RFE). Предлагаются три подхода: фиксированный шаг, динамический шаг, зависящий от количества признаков, и динамический шаг, основанный на значимости признаков. На основе как искусственно сгенерированных, так и реальных наборов данных проводится анализ эффективности каждого метода, выявляются их преимущества и недостатки. Также внимание уделяется недостаткам текущей реализации RFE в библиотеке Scikit-learn, и предлагаются пути их улучшения, а также креативные подходы к решению задач feature selection.

В новом материале я хочу поговорить об истории визуализации данных. Речь не только о всяческих диаграммах (о чем недавно в нашем блоге была отдельная большая статья), но в принципе — как вообще появилась идея, что данные можно как-то кодировать и визуализировать? Как давно это началось? Через какие этапы развития прошла сама идея представления данных в наглядном виде? Есть ли еще куда развиваться, или мы уперлись в некий технический потолок? Обо всем этом — и не только.

Подавляющее большинство OSINT-тусовки интересует анализ физ. лиц, что-ж, да будет так, подготовил вам подборку различных ботов и сервисов(ГБ и др. в список не включены, о них и ленивый знает, да и не OSINT это вовсе).

В РУ-сегменте основоположником анализа по соц. сетям является VK, телега хоть и стала отдаляться от понятия мессенджера трансформируясь в соц. сеть и набирать всё бОльшую популярность, но пока и рядом не стояла по объёму потенциально важной информации о цели.

— Стоит отметить, что ВКонтакте уже начал умирать, и по моим предположениям, уже через два-три года былой актуальности от анализа ждать не стоит, народ заметно реже стал им пользоваться. Всё же, VK остаётся ключевым инструментом при анализе биографии человека, его интересов, окружения, происхождения и др.

1. 220vk — Старый, добрый и весьма потрёпанный сервис, позволяющий определить скрытых друзей, узнать на кого подписалась/отписалась цель и её интересы исходя из подписок на сообщества и людей (с временным таймлайном), а также какие были изменения в профиле и др.

2. VKHistoryRobot — Бот в тг, даст вам представление о том, как профиль выглядел в прошлом(очень полезен в случае, если профиль закрытый) предоставляет информацию в виде краткого дампа: Ф.И.; URL; фотография.

3. FindClone, search4faces — сервисы обратного поиска изображения  по VK, позволяют произвести поиск профиля по загруженной фотографии, search4faces из этих двух - бесплатен.

4. Social Graph Bot — бот в телеге, позволяющий выстроить графы взаимосвязей среди списка друзей , с этим инструментом вы поймёте: насколько разноплановое окружение, кто из списка друзей является родственником и т.д; легитимен ли аккаунт и имеет ли он связь с какой либо группой лиц. (применений масса, вот вам гайд с хабра) 

Ещё больше интересного и познавательного контента у меня в Telegram-канале — @secur_researcher

Сквозь тьму и мистику я призываю вас к изучению и овладению искусством Power BI, чтобы возводить величественные визуализации и творить таинственную аналитику данных.

В этом чертоге знаний я буду делиться оккультными советами, таинственными руководствами и практическими ритуалами по темам, которые могут включать моделирование данных, заклинания DAX, проектирование отчетов и многое другое.
Мои заметки вы сможете искать по тегу #PBI_M1o

Сегодня я раскрою тайну различия между двумя древними функциями DAX: SUM и SUMX.

Вы могли бы ошибочно полагать, что они взаимозаменяемы, но на самом деле их сила различна. Позвольте мне, через древние примеры, показать вам, почему и как правильно использовать каждую из них.

Функция SUM

SUM — это простое заклинание, принимающее имя столбца в качестве аргумента и возвращающее сумму всех значений в этом столбце.

Представьте себе таблицу Sales с колонной SalesAmount.

Произнесите заклинание:
SalesAmount = SUM('Sales'[SalesAmount])
И получите общую сумму продаж в ваших данных. Легко, не так ли? Но что, если вы хотите наложить свою магию или вычисления на каждую строку перед их суммированием?

Что, если столбец SalesAmount отсутствует, и вам нужно его создать? У вас есть столбцы OrderQuantity и UnitPrice. Мы не можем просто сложить их и умножить результат, чтобы получить SalesAmount, ибо нам необходимо умножить каждый столбец в каждой строке и затем сложить результаты.

Вы могли бы создать вычисляемый столбец и использовать его в функции SUM, но я предложу более изощренное заклинание.

Продолжаем знакомство с моделью числа и ее свойствами, а конкретно, с симметриями на разном уровне представления модели: областей строк, отдельных строк, элементов одной строки и элементов разных строк. Для читателей, ознакомившимися с моими предыдущими статьей 1(О разложении модели числа), статьей 2 (О симметриях...) и др. предлагается продолжить знакомство с проблемой моделирования и исследования чисел. Прошелся по результатам анализа своих публикаций и очень благодарен разработчику этого объективного механизма оценивания чужого внимания к авторским работам. Как же порой мы ошибаемся!

Те статьи, которые мне казались замечательными и необходимыми, читатели таковыми не считают. А где-то даже наоборот. Я допускаю, что аудитория очень разноплановая и уровень подготовки от школьного до настоящего доктора наук (есть наверное популяризаторы, которым нравится такая аудитория), но все мы в оковах собственного сознания и самосознания.

В моей памяти образ физика Ампера, который поставил перед собой задачу раскрыть связь явлений магнитных и электрических, чтобы не забывать о задаче, в карман пиджака положил магнит (он ему о ней напоминал). Порвал несколько пиджаков, но результата не было.

Экспериментальная установка катушка провода, железный стержень, батарея в цепи с катушкой вольтметр\амперметр, ключ.

Для уменьшения влияний прибор вынесли в другую комнату.

Замыкали цепь, в катушку вставляли стержень и оба с помощником шли к прибору смотреть показания. Прибор не показывал ничего. Так шло время, пока однажды помощник не застрял около прибора, и не увидел как его стрелка качнулась! Крикнул: что вы сделали, прибор ожил!.

Рано или поздно это должно было случиться и оно случилось!

Изучая свойства, мы обогащаем наши знания об объекте. В какой-то момент (случайный или нет). Знаний станет столько, что они свяжутся воедино и приведут к искомому решению. Отсюда терпение, тщательность, аккуратность регистрируемость, поиск новых гипотез их проверка и т.п. вещи.

Цель публикации в первую очередь образовательная, познавательная, популяризация науки, а также стремление привлечь в ряды исследователей, в науку приток новых молодых (и не очень) умов, вызвать в таких умах стремление к поиску ответов на возникающие вопросы.  Масштабность темы требует ввести разумные ограничения на излагаемый материал после краткого панорамного её рассмотрения

MLflow - это инструмент для управления жизненным циклом машинного обучения: отслеживание экспериментов, управление и деплой моделей и проектов. В этом руководстве мы посмотрим, как организовать эксперименты и запуски, оптимизировать гиперпараметры с помощью optuna, сравнивать модели и выбирать лучшие параметры. Также рассмотрим логирование моделей, использование их в разных форматах, упаковку проекта в MLproject и установку удаленного Tracking Server MLflow.

Вступление Так получилось что мы группа студентов и преподавателей заинтересованных в создании имитационных виртуальных лабораторий, в которых студенты могут без особых углубленных знаний попробовать поуправлять квадрокоптером, конвейером или другими интересными моделями. Ведь не всегда есть возможность потренироваться на реальных физических лабораториях. Нужны: место (деньги), оборудование (деньги) и время (тоже деньги). Следовательно придется смотреть в сторону виртуальных моделей. Мы искали удобную среду для создания таких моделей и вот до чего дошли (обозреваем ниже).

Немного истории: факультет электромеханики (ныне переименован в Мехатроники и Автоматизации) НГТУ создавался в 50-х, чтобы готовить специалистов по разработке и производству электродвигателей, электрогенераторов e.t.c. Позднее факультет оброс кафедрами смежных направлений а в конце 2020-х открыл направление Робототехники. Профиль ФГОС и 70% предметов оставили прежними. Как и педсостав. В результате получили выпускников которые: умеют подобрать двигатели для круглого квадрокоптера в вакууме (и не только подобрать, но и спроектировать с нуля или пересчитать/перемотать); умеют настроить регуляторы для этого пепелаца; знают как рассчитать мощность и КПД. А вот о том, как программировать автопилот — только «имеют представление».

В принципе такая заточка имеет право на жизнь если разрабатывать не роботов-доставщиков, а промышленные роботизированные ячейки.

Приветствую, меня зовут Владислав Поляков, я аналитик данных в Сбербанке. Сегодня я хочу поделиться, пожалуй, самым простым и быстрым способом оценки эффекта рекламы/события на ключевые показатели. Способ заключается в использовании библиотеки pycausalimpact для Python. Документация к библиотеке.

Вводные:

Данные: Данные ЦБ РФ по ключевой ставке и объему выданных кредитов с 2013 года.

Что будем оценивать?: Как повышение ключевой ставки повлияло на объем выданных кредитов.

Как будем оценивать?: С помощью библиотеки pycausalimpact для Python

Привет, Хабр! На связи Sigur и Дмитрий Попов: в компании я занимаюсь продуктовыми исследованиями. Основной продукт Sigur – одноименная система контроля и управления доступом (СКУД): это контроллеры, предназначенные для управления исполнительными устройствами, например, дверьми или турникетами, считыватели для идентификации пользователей, а также программное обеспечение.

В данном материале я расскажу, как с помощью Grafana визуализировать данные из СКУД и в целом, – об их ценности для бизнеса. В качестве базиса для статьи будет использован мой опыт работы с этим инструментом для аналитики работы демонстрационных зон продуктов компании на выставке Securika Moscow 2024.

В чем сабж?

Представьте себя сотрудником, отвечающим за работу систем безопасности на крупном объекте, где ежедневно требуется требуется решать задачи обслуживания и настройки всего, что связано с охранной сигнализацией, видеонаблюдением и контролем доступа. 

Мало того, что все эти системы надо хорошо знать, за происходящим в них нужно уследить. Конечно, в системах безопасности для решения таких проблем есть отдельный класс систем — PSIM или ССОИ. Они обеспечивают интеграцию систем безопасности и реализуют функции оперативного мониторинга и реакций. Однако, не всегда эти системы подходят заказчику: они могут оказаться нерентабельными или слишком сложными для внедрения. 

Поэтому я задумался о том, как помочь пользователям нашего продукта предоставить инструмент более наглядной визуализации происходящего в системе.

Программа это реализация алгоритма. А алгоритм это упорядоченная последовательность действий. Поэтому очень большое значение имеет правильный порядок исполнения программы.

В этом тексте я написал как автоматически выявить правильную последовательность инициализации

С ростом бизнеса процесс планирования усложняется. Увеличивается число сотрудников, влияющих на планирование, и объем обрабатываемой информации. В таких условиях человеку становится сложно учитывать ключевые факторы и принимать решения для максимизации прибыли. Именно поэтому возникает потребность во внедрении интеллектуальных систем планирования, которые помогают строить точные прогнозы с учетом множества требований и ограничений.

Команда "Круга Громова" провела исследование отечественного рынка IBP/SCP-систем с целью создать "путеводитель", который поможет компаниям сориентироваться в существующих предложениях и сделать осознанный выбор. Мы детально проанализировали функциональные возможности, архитектуру и потенциал развития представленных платформ, а также сформулировали практические рекомендации по их выбору и внедрению. На российском рынке представлено более 15 компаний, которые занимаются внедрением и отладкой систем планирования предприятия. Каждая компания является либо вендором, либо разработчиком IT- решения, которое может быть настроено и адаптировано под бизнес-задачи и потребности конкретного предприятия.

Итогом этой работы стал подробный аналитический отчет, который станет подспорьем для тех, кто стоит перед задачей трансформации процессов планирования и оптимизации цепочек поставок. Приглашаем вас ознакомиться с ключевыми выводами исследования и поделиться своим опытом и видением развития данного направления.

Эмоции, наши самые древние союзники в борьбе за выживание, формируются в лимбической системе и выражаются в целой куче действий. Страх и отвращение помогают героям фильма совершить побег из Лас-Вегаса так же, как и их не таким уж  далеким предкам - убежать от хищников или не отравиться протухшей едой. Эта статья про словесное выражение эмоций в роликах на ютубе. Большая языковая модель размечает эмоции. На выходе -  визуализации диалоговых эмоций внутри трехмерного кубика с координатами по осям удовольствия, возбудимости и доминирования.

Однажды, выполнив в Гугле запрос "Three body problem" ("Задача трёх тел"), я был просто поражен - первая страница результатов состояла только из ссылок на роман китайского писателя-фантаста Лю Цысиня с соответствующим названием, а также на телесериал, снятый по этому роману, т.е. ссылок на собственно задачу трёх тел не было вообще! Мне это показалось удивительным и несправедливым, поскольку сама по себе задача трёх тел тоже может выглядеть увлекательной в популярном изложении. В этой публикации я постарался привести некоторые доказательства этого утверждения.

Digital-аналитика рекламных каналов является неотъемлемой частью работы над маркетинговыми кампаниями.

Одним из самых результативных подходов при анализе рекламных кампаний является исследование показателей эффективности в разрезе различных сегментов.

На практике чаще всего используются следующие популярные разбивки:

Анализ в разрезе рекламных кампаний;

По ключевым словам и группам объявлений;

По типу устройств (смартфоны, планшеты, компьютеры);

По гео (города и страны);

По демографическим признакам (пол и возраст).

Как правило, в ходе исследования специалист разделяет трафик между сегментами и оценивает разницу в стоимости лида (CPL) либо стоимости заказа (CPO). Далее производятся соответствующие корректировки.

Подобный анализ может дать специалисту большой объем полезной информации, которая, будучи правильно учтенной, даст значительный положительный эффект.

Однако практика показывает, что стандартных сегментов часто оказывается недостаточно, и многие аналитики / маркетологи начинают задаваться вопросом: 

На что еще взглянуть в рекламных кампаниях, чтобы увеличить эффективность привлекаемого трафика?

Давайте разбираться! 

В статье показано, как с помощью информационных карт можно анализировать большие объёмы данных о транзакциях в блокчейне TON (The Open Network). Карты позволяют достичь ситуационной осведомленности о процессах, протекающих в достаточно запутанном виртуальном пространстве, порождаемом экосистемой TON. На примере карты транзакций, совершаемых за один день, рассмотрим основные компоненты такой экосистемы, а также научимся выявлять структурные особенности инструментов блокчейна, которые используют киберпреступники для своей противоправной деятельности. В основе статьи лежат исследования, опубликованные в научной работе «Информационное картографирование Blockchain-транзакций киберпреступников в экосистеме TON»