Обновить
51.84

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Порог рейтинга
Уровень сложности

Как я маркетдату агрегировал. Визуализация данных Nasdaq, LSE и MOEX

Время на прочтение2 мин
Охват и читатели525

В предыдущей статье я рассказал о finmap.org - инструменте визуализации данных Мосбиржи. Спасибо хабравчанам за отзывы и предложения. Отдельная благодарность за донаты - я уже покрыть расходы на AWS. Благодаря вашим идеям, в finmap.org появилась строка поиска по тикеру, а в portfolio можно отобразить американские ETF.

В новой версии опубликован исходный код Github Workflows, добавлены данные торгов Лондонской биржи. Датафайлы приведены к общему формату, это сильно упростило разработку. Отображение исторических данных в виде гистограммы теперь доступно для всех площадок.

Читать далее

С корабля на бал. Межконтинентальный заплыв из Азии в Европу (анализ данных в комплекте)

Время на прочтение17 мин
Охват и читатели1.4K

Повествование пойдет о Босфорском боевике, который состоялся в 2016 году во времена Турецкого военного путча.

⋮ Дисклеймер.
Материал опубликован из собственных очерков, которые были написаны, переписаны и убраны в стол. Во-первых, при случае удобно поделиться с кем-то ссылкой на свою историю, чем расчехлять черновики, во-вторых, присутствует уникальный материал (анализ данных), который любознательные читатели найдут только в этом лонгриде, и в третьих, продолжаю вдохновлять тех людей, кто ищет частичку мотивации.

Мне нужна мотивация

Модель составного полупростого числа

Уровень сложностиСредний
Время на прочтение12 мин
Охват и читатели548

В предлагаемой статье приводится полная списочная многострочная модель (СММ) составного полупростого числа N и перечень вопросов, сопровождающих ее описание. Ответы на вопросы предлагается находить самим читателям. Найденные правильные ответы, либо комментируемые другими читателями, обеспечат глубокое понимание проблем, связанных с подобными числами и задачами. Выбор самих чисел предопределен их широким использованием в области информационной безопасности.
Рассматривая строки модели, особенно ее средней части читателя могут удивлять появления в строках квадратичных вычетов полных квадратов, возникающие интервалы между строками с кратными значениями делителей числа N, поведение средних вычетов и, возможно, что-то еще.

В предлагаемой вниманию читателей модели роль исследуемого числа отводится модулю N КЧКВ, т.е. N задан (может быть большим) и требуется в одной из задач отыскивать делители N.

Для моделирования выбрана простая зависимость (линейная) N = х1 + хо. Очевидно, что список представлений такой модели конечен, и для чисел ограниченного размера может быть легко построен в форме таблицы, содержащей S =½ (N –1) строк. Модель названа списочной многострочной моделью и кратко обозначается (СММ, СМ-модель).

Читать далее

«DAX Fiddle» в виде Telegram бота

Время на прочтение2 мин
Охват и читатели785

Для многих языков есть свои online песочницы, например, для POSTGRES есть условный PostgreSQL Fiddle, также и для аналитического языка DAX хотелось бы побольше подобных инструментов. Существующий dax.do позволяет выполнять запросы условно только на стандартной схеме Contoso, и в век AI хотелось бы иметь инструмент для быстрого выполнения DAX запросов для произвольной схемы данных. Также генерация самой схемы и заполнение её данными также являются трудоемкими, и хотелось бы отдать это всё AI.

Кроме того, сейчас популярны Telegram боты, в связи с этим появилась идея создания Telegram бота для выполнения DAX (и построения простейшего дашборда-таблицы) на произвольной схеме данных, с автоматически сгенерированными данными, своего рода DAX Fiddle. Интересующимся DAX Fiddle — добро пожаловать под кат :)

Читать далее

Как Zeek и Malcolm помогают не только пассивно анализировать сетевой трафик, но и своевременно реагировать на угрозы

Уровень сложностиСредний
Время на прочтение14 мин
Охват и читатели1.3K

Система обнаружения вторжений (СОВ) является одним из важных звеньев сетевой безопасности в инфраструктуре компании. Они могут встраиваться в комплекс сложных аппаратных устройств, например, в популярные сейчас межсетевые экраны нового поколения (NGFW), а также могут существовать как самостоятельные средства защиты информации (СЗИ).

Читать далее

Книга: «Визуализация данных для профессионалов. Дизайн понятных диаграмм и дашбордов»

Время на прочтение7 мин
Охват и читатели9.6K
Привет, Хаброжители!

Задумывались ли вы когда-нибудь о том, насколько сильно визуализация данных облегчает восприятие информации? Мы настолько привыкли к присутствию самых разных диаграмм и графиков в нашей повседневной жизни, что воспринимаем их как должное, не вникая в то, какая сложная это на самом деле задача – придать количественным данным визуальную форму. Казалось бы, выделил столбик в Excel, нажал две кнопки – и готово. Только вот не факт, что вы получите такой результат, который хотелось бы получить, потому что создание хорошей визуализации – это целая наука (и потому что появилось целое множество инструментов, которые позволяют сделать это быстрее и эффективнее, чем Excel).

Именно этой науке и посвящена книга «Визуализация данных для профессионалов. Дизайн понятных диаграмм и дашбордов». Ее автор – Дезире Эбботт – считает, что визуализация данных – это идеальное сочетание математики и творчества. Имея степень магистра по физике, Дезире знает, насколько в любой области деятельности важна теория, но вместе с этим она, «промучавшись в аспирантуре» и так и не получив степень PhD, как никто другой понимает, какое значение имеет доступное изложение материала на человеческом языке. Руководствуясь этим, Дезире удалось написать такую книгу, в которой ключевые принципы визуализации вместе с лежащей в их основании теорией изложены понятно, четко и увлекательно.
Читать дальше →

Как сделать графики и диаграммы понятными: 5 советов для аналитиков

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели5.2K

Привет, Хабр! На связи Кирилл Мазуров, продуктовый аналитик в Garage Eight. В этой статье поделюсь приемами, которые помогут сделать ваши графики и таблицы понятными и логичными. 

Читать далее

Lissa Health — приложение для хранения личной медицинской информации

Время на прочтение6 мин
Охват и читатели2.8K

Приложение позволяет:

Распознавать и хранить результаты медицинских анализов, МРТ, и других исследований в структурированном виде

Просматривать динамику показателей в виде графических отчетов

Составлять аналитические отчеты с помощью искусственного интеллекта

Делал для себя, потом решил расширить аудиторию. Предлагается к попробовать.

Читать далее

Практики OLS: единая точка правды становится еще более универсальной

Время на прочтение3 мин
Охват и читатели645

Корпоративные практики BI отличаются тем, что единое хранилище данных позволяет самым разным сотрудникам — от рядовых специалистов до ТОП-менеджеров — получать нужную информацию и анализировать ее для принятия верных решений. Но это становится возможным только в том случае, если можно гарантировать, что каждый пользователь получит доступ только к данным, которые он имеет право видеть. О том, как этот подход работает на уровне объектов, и в чем разница между RLS и OLS, читайте под катом.

Читать далее

IFC-Ассоциации или как подружить элементы и документы пятью строками кода

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели810

Применение формата IFC продолжает расширятся. Некоторые IFC-Вьюверы после недавнего обновления обрели возможность указывать документ со списком элементов модели, которые этот документ охватывает. Вторая интересная возможность – увидеть процедуру согласования вместе с элементами модели, которые её проходят.

Читать далее

Chint PD7777 8S + RS-485

Время на прочтение14 мин
Охват и читатели1.1K

День добрый, хочу поведать вам как я сделал опрос счетчика ChintPD7777 8s по rs-485 и собирал статистику с выводом её же на Вебморду.

Читать далее

Замолвите словечко за akvorado

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели2.9K

Добрый день! Меня зовут Михолап Константин. Работаю в небольшом операторе связи инженером, а вот в каком уже поймете по AS и страничке в PeeringDB.
В 2025-ом году никого уже не удивить наличием возможности визуализировать входящий трафик для разного рода ISP или ЦОД, поэтому возможно Вы уже слышали что-то про Akvorado.

В рамках этой статьи познакомимся с адаптацией такого программного комплекса инструмента Akvorado. И так, Akvorado - это Netflow-коллектор с функциями визуализации собираемого трафика. К публике он вышел в 2022 году, о нем много кто слышал, я уверен. Были разные материалы например в linkmeup. Очень прост для установки, развертывания и возможно даже обслуживания (если вы чуть-чуть знаете Сlickhouse).

Читать далее

PAL видеоадаптер на FPGA с буфером кадра

Уровень сложностиСредний
Время на прочтение18 мин
Охват и читатели4.7K

Наверное, каждый второй разработчик на ПЛИС в начале своего пути пытался визуализировать работу своих схем. Кто-то подключал TFT-дисплей, кто-то — VGA монитор. А у меня под рукой оказался только телевизор с композитным входом. Ну что ж, работаем с тем, что есть!

Читать далее

Ближайшие события

Self-Service в BI — зачем нужен, как работает и как реализован в Modus

Уровень сложностиСредний
Время на прочтение5 мин
Охват и читатели793

При выборе BI-решений компании всё чаще обращают внимание на наличие инструментов самообслуживания (self-service). Идея проста: дать пользователям возможность самостоятельно решать аналитические задачи, экономя время и ресурсы. В этой статье мы расскажем, что такое self-service и как этот подход реализован в Modus BI.

Читать далее

МРТ для DataScience. Часть 6

Время на прочтение11 мин
Охват и читатели806

Продолжаем изучать МРТ-данные с точки зрения Data Science. Сегодня поговорим о некоторых питоновских библиотеках для обработки МРТ-изображений и их метаданных: SimpleITK, PyDicom, PyNrrd, MONAI.

Содержание и первые части цикла статей здесь.

Читать далее

Экосистема для разработки и применения Computer Vision (CV) в промышленности

Уровень сложностиСредний
Время на прочтение11 мин
Охват и читатели2.3K

В этой статье мы хотим поделиться опытом разработки экосистемы (если есть слово поудачнее, то обязательно поделитесь в комментариях) сервисов для упрощения процесса разработки моделей и решений по CV. Идея написать статью укрепилась после того как мы пообщались со специалистами из разных промышленных компаний и поняли, что опыт у всех довольно разный, а средний уровень зрелости еще не такой высокий.

В данной статье сделаем акцент не на получающиеся ML-модели, их интеграцию и бизнес кейсы, а на обычно скрытый от глаз процесс разработки решений с ML (и CV в частности) в промышленности.

Читать далее

Что будет, если каждый день отслеживать динамику своих метрик. Итоги месяца

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели1.1K

В статье про итоги эксперимента по отслеживанию своих показателей каждый день на протяжении 35 дней. И что будет, если попробовать относиться к себе как к продукту

С графиками 📈📊

Читать далее

Миграция BI-аналитики: как перейти на Apache Superset и не потерять пользователей

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели3.4K

Привет! Меня зовут Виталий Флёрин, я руководитель отдела BI-аналитики в M2. За год мы успешно перевели всю отчетность компании с Cognos Analytics на Apache Superset и увеличили MAU до 200 (каждый третий сотрудник компании). В статье хочу поделиться опытом внедрения новой системы отчетности и ее эффективного использования.

Материал будет полезен BI-специалистам, кто работает над развитием внутренних систем и хочет переехать на Superset.

История началась с того, что после ухода Cognos Analytics с российского рынка, нам нужно было выбрать новую BI для компании и мигрировать всю отчетность. Текущая система была развернута on-premises и продолжала работать в штатном режиме. Да, без обновлений и поддержки, но благодаря этому мы смогли тщательно подойти к выбору нового решения и обеспечить плавный переход пользователей на новую платформу.

Читать далее

Фракталы и бесконечность: 50 лет открытию Бенуа Мандельброта

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели5.3K

Наверное все хотя бы раз видели картинки с фракталами и примерно представляют себе, что это такое. Кажется, будто они были с нами всегда — тем удивительнее, что и самому слову, и его математической базе, и визуальному воплощению — всего лишь полвека. Рассказываем историю одного из самых удивительных (и красочных) математических открытий XX века.

Читать далее

Как интегрировать данные из Яндекс Бизнеса и Calltouch в Яндекс Метрику

Время на прочтение3 мин
Охват и читатели624

Мы столкнулись с тем, что клиенту нужно было видеть статистику расходов Яндекс Бизнес в Яндекс Метрике и отслеживать стоимость звонков по рекламным кампаниям.

Так же клиент хотел видеть простой и понятный дашборд с данными по расходам из кампаний Яндекс Бизнес и стоимостью целевого лида (звонок, переданный в отдел продаж). Дашборд должен был обновляться хотя бы раз в неделю.

Основная сложность в том, что данные по статистике рекламных кампаний ЯБ не доступны по API, но есть возможность выгрузки этой информации в excel-файл. Для того чтобы загрузить эту информацию в Я.Метрику мы воспользовались инструментом загрузки расходов через csv-файл.

Как мы это сделали по шагам:

Шаг 1. Выгрузили данные из рекламного кабинета. Подготовили на основе данных csv по инструкции. Загрузили данные в Я.Метрику.

Что помогло нам получить статистику по расходам внутри Я.Метрики. Теперь эти данные можно склеить с данными по звонкам.

Шаг 2. Сделали интеграцию коллтач и метрики на стороне коллтач

Теперь у нас есть статистика по звонкам в разрезе рекламных источников

Шаг 3. Создали дашборд в Я.Метрике на основе загруженных данных

Получили доступную, для понимания пользователя, статистику по конкретному рекламному каналу

В итоге менее чем за 1 рабочий день подготовили данные для дашборда и создали дашборд, отвечающий задаче клиента. Теперь клиент внутри интерфейса Я.Метрики получает информацию о расходах по рекламной кампании ЯБ и стоимости звонка с этого источника.

А так же подготовили инструкцию, как добавить расходы в Я.Метрику

Читать далее