Обновить
55.77

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Порог рейтинга
Уровень сложности

Использование dax.do для произвольной схемы данных на основе перевода DAX в Contoso через Telegram бот

Время на прочтение3 мин
Количество просмотров1.1K

Привет, Хабр! В работе Business Intelligence аналитика могут встречаться задачи проверки DAX запроса на произвольной схеме, к которой может не быть доступа. Перевод DAX запроса из исходной схемы в схему, к которой есть доступ и есть возможность выполнения DAX запроса, может занимать некоторое время и требовать определенных усилий. В век AI, безусловно, хочется делать перевод в схему автоматически, при помощи AI. Кроме того, ресурс dax.do является достаточно удобной песочницей для Contoso схемы данных, поэтому такое впечатление, что одним из быстрых решений для анализа и запуска DAX без схемы данных является перевод произвольного DAX в dax.do (например, автоматически при помощи Telegram бота), что позволяет уже дальше смотреть полученный DAX в песочнице dax.do на схеме Contoso без каких-то ограничений. Это позволяет проверить работоспособность DAX на незнакомой схеме за секунды. Интересующимся новыми возможностями DAX песочниц — добро пожаловать под кат :)

Читать далее

Визуальная история. Как инфографика меняет подход к данным. Guest Post

Время на прочтение12 мин
Количество просмотров3.2K

Привет, Хабр!

Мне очень понравились ваши отклики на одну из моих недавних статей «Не трогай моих чертежей! История науки в знаменитых изображениях» (и ваша высокая оценка +43), поэтому я какое‑то время подумывал продолжить эту тему большой статьёй об инфографике. Но время шло, и за помощью по этой теме я обратился к уважаемой Анастасии Лазукиной @anastasiamrr, ранее писавшей для этого блога отличные гостевые посты. На Хабре Анастасия сотрудничает с корпоративным блогом FirstVDS, где пишет замечательные материалы с выраженной биореакторной спецификой. Подписывайтесь на неё, следите за обновлениями, а пока заходите под кат. Далее — от автора.

Читать далее

ТОП 6 фишек Zabbix: применение и настройка

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров24K

Всем привет! Меня зовут Женя. Я инженер поддержки бизнес-приложений в компании Банки.ру.
Не так давно мы в направлении Мобайл решили прокачать технический и продуктовый мониторинг и с этой целью начали использовать Zabbix. В результате всю логику алертинга перенесли из Grafana в новый инструмент. Благодаря этому и родилась идея поделиться опробованными фишками Zabbix с сообществом. 

В этой статье я:

• расскажу об интересных возможностях Zabbix;
• поделюсь кейсами их использования и примерами настроек;
• сравню Zabbix и Grafana и расскажу, как мы применяем их в тандеме.

Информация будет полезна продуктовым командам, которые используют только Grafana для визуализации сервисных метрик и алертинга, но хотят масштабировать и развивать свой мониторинг.

Читать далее!

Возможности комбинаторов в ClickHouse

Время на прочтение9 мин
Количество просмотров3K

Что делать с запросами к СУБД, выполнение которых затягивается на десятки минут, как можно оптимизировать вложенные операторы, чтобы получить нужные данные за секунды? За счет чего подобные операции выполняются в Visiology автоматически? Ответы на эти вопросы мы попробуем дать сегодня на примере небольшого синтетического теста со сложным SQL-запросом, и разберемся при чем тут комбинаторы в ClickHouse. Эта статья будет полезна тем, кто интересуется SQL-оптимизаторами, а также всем существующим и будущим пользователям Visiology, кто хочет заглянуть под капот системы. Если вы из их числа, добро пожаловать под кат :)

Читать далее

«Чем ближе к вокзалу, тем хуже кебаб?»: «исследование»

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров14K

Во французском сабреддите я наткнулся на пост с интересной гипотезой:

Чем ближе точка к вокзалу, тем хуже там кебаб.

Пост на французском привлёк достаточно большое внимание, учитывая относительно небольшой размер сабреддита; это доказывало, что многие с ним согласны. Впрочем, в комментариях были и критики, рассказывающие истории, противоречащие сформулированной гипотезе.

Я решил, что мне нечем заняться, ведь я вылетевший с учёбы выгоревший безработный с новоприобретённым диагнозом «аутизм», поэтому стоит пожертвовать немного своего времени на благую цель — проведение этого неформального «исследования». В пределах следующих трёх рабочих дней мне на почту точно придёт Нобелевская премия мира и куча рабочих офферов.

Читать далее

Почему observability — это не только Grafana и Prometheus

Время на прочтение11 мин
Количество просмотров21K

Вы видите красивые графики в Grafana, алерты настроены, метрики собираются — значит, все под контролем? На самом деле, нет. Когда в продакшене что-то пойдет не так, Prometheus покажет скачок latency, но не объяснит, почему это произошло. Логи могут не содержать нужных данных. Трейсов нет. Итог — часы расследования, хаотичные гипотезы, поиски иголки в стоге сена.

Observability — одно из тех модных слов, которые часто понимают неправильно. Для многих оно сводится к связке Grafana + Prometheus, не более. Однако в реальных системах наблюдаемость (observaбыстроbility) — это больше, чем просто красивые дашборды с метриками. В этой статье разберемся, почему классический стек не покрывает все задачи, какие альтернативы есть на рынке и как построить современный observability-стек.
Читать дальше →

Как я маркетдату агрегировал. Визуализация данных Nasdaq, LSE и MOEX

Время на прочтение2 мин
Количество просмотров815

В предыдущей статье я рассказал о finmap.org - инструменте визуализации данных Мосбиржи. Спасибо хабравчанам за отзывы и предложения. Отдельная благодарность за донаты - я уже покрыть расходы на AWS. Благодаря вашим идеям, в finmap.org появилась строка поиска по тикеру, а в portfolio можно отобразить американские ETF.

В новой версии опубликован исходный код Github Workflows, добавлены данные торгов Лондонской биржи. Датафайлы приведены к общему формату, это сильно упростило разработку. Отображение исторических данных в виде гистограммы теперь доступно для всех площадок.

Читать далее

С корабля на бал. Межконтинентальный заплыв из Азии в Европу (анализ данных в комплекте)

Время на прочтение17 мин
Количество просмотров2.2K

Повествование пойдет о Босфорском боевике, который состоялся в 2016 году во времена Турецкого военного путча.

⋮ Дисклеймер.
Материал опубликован из собственных очерков, которые были написаны, переписаны и убраны в стол. Во-первых, при случае удобно поделиться с кем-то ссылкой на свою историю, чем расчехлять черновики, во-вторых, присутствует уникальный материал (анализ данных), который любознательные читатели найдут только в этом лонгриде, и в третьих, продолжаю вдохновлять тех людей, кто ищет частичку мотивации.

Мне нужна мотивация

Модель составного полупростого числа

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров984

В предлагаемой статье приводится полная списочная многострочная модель (СММ) составного полупростого числа N и перечень вопросов, сопровождающих ее описание. Ответы на вопросы предлагается находить самим читателям. Найденные правильные ответы, либо комментируемые другими читателями, обеспечат глубокое понимание проблем, связанных с подобными числами и задачами. Выбор самих чисел предопределен их широким использованием в области информационной безопасности.
Рассматривая строки модели, особенно ее средней части читателя могут удивлять появления в строках квадратичных вычетов полных квадратов, возникающие интервалы между строками с кратными значениями делителей числа N, поведение средних вычетов и, возможно, что-то еще.

В предлагаемой вниманию читателей модели роль исследуемого числа отводится модулю N КЧКВ, т.е. N задан (может быть большим) и требуется в одной из задач отыскивать делители N.

Для моделирования выбрана простая зависимость (линейная) N = х1 + хо. Очевидно, что список представлений такой модели конечен, и для чисел ограниченного размера может быть легко построен в форме таблицы, содержащей S =½ (N –1) строк. Модель названа списочной многострочной моделью и кратко обозначается (СММ, СМ-модель).

Читать далее

«DAX Fiddle» в виде Telegram бота

Время на прочтение2 мин
Количество просмотров1.1K

Для многих языков есть свои online песочницы, например, для POSTGRES есть условный PostgreSQL Fiddle, также и для аналитического языка DAX хотелось бы побольше подобных инструментов. Существующий dax.do позволяет выполнять запросы условно только на стандартной схеме Contoso, и в век AI хотелось бы иметь инструмент для быстрого выполнения DAX запросов для произвольной схемы данных. Также генерация самой схемы и заполнение её данными также являются трудоемкими, и хотелось бы отдать это всё AI.

Кроме того, сейчас популярны Telegram боты, в связи с этим появилась идея создания Telegram бота для выполнения DAX (и построения простейшего дашборда-таблицы) на произвольной схеме данных, с автоматически сгенерированными данными, своего рода DAX Fiddle. Интересующимся DAX Fiddle — добро пожаловать под кат :)

Читать далее

Как Zeek и Malcolm помогают не только пассивно анализировать сетевой трафик, но и своевременно реагировать на угрозы

Уровень сложностиСредний
Время на прочтение14 мин
Количество просмотров1.6K

Система обнаружения вторжений (СОВ) является одним из важных звеньев сетевой безопасности в инфраструктуре компании. Они могут встраиваться в комплекс сложных аппаратных устройств, например, в популярные сейчас межсетевые экраны нового поколения (NGFW), а также могут существовать как самостоятельные средства защиты информации (СЗИ).

Читать далее

Книга: «Визуализация данных для профессионалов. Дизайн понятных диаграмм и дашбордов»

Время на прочтение7 мин
Количество просмотров13K
Привет, Хаброжители!

Задумывались ли вы когда-нибудь о том, насколько сильно визуализация данных облегчает восприятие информации? Мы настолько привыкли к присутствию самых разных диаграмм и графиков в нашей повседневной жизни, что воспринимаем их как должное, не вникая в то, какая сложная это на самом деле задача – придать количественным данным визуальную форму. Казалось бы, выделил столбик в Excel, нажал две кнопки – и готово. Только вот не факт, что вы получите такой результат, который хотелось бы получить, потому что создание хорошей визуализации – это целая наука (и потому что появилось целое множество инструментов, которые позволяют сделать это быстрее и эффективнее, чем Excel).

Именно этой науке и посвящена книга «Визуализация данных для профессионалов. Дизайн понятных диаграмм и дашбордов». Ее автор – Дезире Эбботт – считает, что визуализация данных – это идеальное сочетание математики и творчества. Имея степень магистра по физике, Дезире знает, насколько в любой области деятельности важна теория, но вместе с этим она, «промучавшись в аспирантуре» и так и не получив степень PhD, как никто другой понимает, какое значение имеет доступное изложение материала на человеческом языке. Руководствуясь этим, Дезире удалось написать такую книгу, в которой ключевые принципы визуализации вместе с лежащей в их основании теорией изложены понятно, четко и увлекательно.
Читать дальше →

Как сделать графики и диаграммы понятными: 5 советов для аналитиков

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров7.4K

Привет, Хабр! На связи Кирилл Мазуров, продуктовый аналитик в Garage Eight. В этой статье поделюсь приемами, которые помогут сделать ваши графики и таблицы понятными и логичными. 

Читать далее

Ближайшие события

Lissa Health — приложение для хранения личной медицинской информации

Время на прочтение6 мин
Количество просмотров3.6K

Приложение позволяет:

Распознавать и хранить результаты медицинских анализов, МРТ, и других исследований в структурированном виде

Просматривать динамику показателей в виде графических отчетов

Составлять аналитические отчеты с помощью искусственного интеллекта

Делал для себя, потом решил расширить аудиторию. Предлагается к попробовать.

Читать далее

Практики OLS: единая точка правды становится еще более универсальной

Время на прочтение3 мин
Количество просмотров817

Корпоративные практики BI отличаются тем, что единое хранилище данных позволяет самым разным сотрудникам — от рядовых специалистов до ТОП-менеджеров — получать нужную информацию и анализировать ее для принятия верных решений. Но это становится возможным только в том случае, если можно гарантировать, что каждый пользователь получит доступ только к данным, которые он имеет право видеть. О том, как этот подход работает на уровне объектов, и в чем разница между RLS и OLS, читайте под катом.

Читать далее

IFC-Ассоциации или как подружить элементы и документы пятью строками кода

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров1.2K

Применение формата IFC продолжает расширятся. Некоторые IFC-Вьюверы после недавнего обновления обрели возможность указывать документ со списком элементов модели, которые этот документ охватывает. Вторая интересная возможность – увидеть процедуру согласования вместе с элементами модели, которые её проходят.

Читать далее

Chint PD7777 8S + RS-485

Время на прочтение14 мин
Количество просмотров1.9K

День добрый, хочу поведать вам как я сделал опрос счетчика ChintPD7777 8s по rs-485 и собирал статистику с выводом её же на Вебморду.

Читать далее

Замолвите словечко за akvorado

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров4.5K

Добрый день! Меня зовут Михолап Константин. Работаю в небольшом операторе связи инженером, а вот в каком уже поймете по AS и страничке в PeeringDB.
В 2025-ом году никого уже не удивить наличием возможности визуализировать входящий трафик для разного рода ISP или ЦОД, поэтому возможно Вы уже слышали что-то про Akvorado.

В рамках этой статьи познакомимся с адаптацией такого программного комплекса инструмента Akvorado. И так, Akvorado - это Netflow-коллектор с функциями визуализации собираемого трафика. К публике он вышел в 2022 году, о нем много кто слышал, я уверен. Были разные материалы например в linkmeup. Очень прост для установки, развертывания и возможно даже обслуживания (если вы чуть-чуть знаете Сlickhouse).

Читать далее

PAL видеоадаптер на FPGA с буфером кадра

Уровень сложностиСредний
Время на прочтение18 мин
Количество просмотров7.3K

Наверное, каждый второй разработчик на ПЛИС в начале своего пути пытался визуализировать работу своих схем. Кто-то подключал TFT-дисплей, кто-то — VGA монитор. А у меня под рукой оказался только телевизор с композитным входом. Ну что ж, работаем с тем, что есть!

Читать далее

Self-Service в BI — зачем нужен, как работает и как реализован в Modus

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров1K

При выборе BI-решений компании всё чаще обращают внимание на наличие инструментов самообслуживания (self-service). Идея проста: дать пользователям возможность самостоятельно решать аналитические задачи, экономя время и ресурсы. В этой статье мы расскажем, что такое self-service и как этот подход реализован в Modus BI.

Читать далее