Обновить
47.78

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Порог рейтинга
Уровень сложности

Grafana, InfluxDB, два тега и одна сумма. Или как посчитать сумму подгрупп?

Время на прочтение12 мин
Охват и читатели42K

Всем привет!

Занимаюсь тестированием производительности. И очень люблю настраивать мониторинг и любоваться метриками в Grafana. А стандартом для хранения метрик в инструментах для подачи нагрузки является InfluxDB. В InfluxDB можно сохранять метрики из таких популярных инструментов, как:


Работая с инструментами по тестированию производительности и их метриками, накопил подборку рецептов программирования для связки Grafana и InfluxDB. Предлагаю рассмотреть интересную задачу, которая возникает там, где есть метрика с двумя и более тегами. Думаю, это не редкость. И в общем случае задача звучит так: подсчёт суммарной метрики по группе, которая делится на подгруппы.
Посчитаем тремя способами

Визуализируем данные Node JS приложения с помощью Prometheus + Grafana

Время на прочтение5 мин
Охват и читатели27K

В этой статье я покажу как разработать удивительно информативные и удобные дашборды для любого Node JS приложения, опишу связку Prometheus с Grafana и дам шаблоны кода, чтобы вы могли использовать полученные знания для решения своих задач.


Большая часть статьи никак не ориентированна именно на Node JS разработчиков и может быть полезна вне зависимости от языка программирования.


Ссылка на Github репозиторий с кодом к статье — https://github.com/pavlovdog/grafana-prometheus-node-js-example


Читать дальше →

Город и данные: анализ пешеходной доступности объектов в Праге с помощью data science

Время на прочтение12 мин
Охват и читатели4.5K


Несколько лет назад компания Veeam открыла R&D центр в Праге. Изначально у нас был небольшой офис примерно на 40 человек, но компания активно растет, и сейчас, в новом просторном офисе Rustonka нас уже больше двухсот. Veeam нанимает сотрудников не только из Чехии и Евросоюза, но и активно релоцирует успешных кандидатов из России. Многие переезжают вместе с женой и детьми, и вот тут у них возникает вопрос, с которым я и моя семья столкнулись четыре года назад, когда мы впервые оказались в Праге: нам надо было решить, где выбрать жилье, в какой садик будет ходить дочка, и решить множество других проблем, которые возникали по причине полного незнания города. Конечно, можно проверить всё это своими ногами, но мне захотелось подойти к вопросу с инженерной точки зрения и решить эту задачу с помощью дата-сайнс подхода — с помощью анализа данных в открытом доступе определить наиболее благоприятные для проживания районы Праги.


Определение степени благоприятности района — довольно обширная задача, и оценка может быть весьма субъективна, поэтому для начала, я немного конкретизирую и опишу проблему следующим образом:


Какой район Праги наиболее привлекателен с точки зрения пешеходной доступности инфраструктуры для детей в возрасте от 10 до 16 лет?


Под пешеходной доступностью в своей работе я беру расстояние в 1300 метров. Именно такой порог, согласно различным исследованиям, считается оптимальным для этой возрастной группы.
В качестве объектов инфраструктуры я выбрал такие, которые, по моему мнению, посещает большинство детей. Это школы, библиотеки, образовательные центры, спортивные центры и игровые площадки.

Читать дальше →

Как визуализировать и анимировать (геофизические) модели. Показываем исходные данные

Время на прочтение4 мин
Охват и читатели4.5K

Также смотрите другие статьи серии "Как визуализировать и анимировать (геофизические) модели":



В зависимости от проекта и масштаба данных мы можем выбрать различные варианты визуализации — и все же, для любого масштаба данных важным является именно позволить наглядно оценить этот масштаб. К примеру, на региональном уровне отображение на глобусе Земли позволит легко понять как масштаб, так и расположение изучаемой территории. Вот мы и займемся отображением данных на глобусе.


Earth Observation Data on the Globe


Слева направо: EMAG2 Earth Magnetic Anomaly, Sandwell and Smith Free Air Gravity Grid, GEBCO Gridded Bathymetry Data.

Читать дальше →

Gnuplot 5.0. Spiderplot на 4 оси своими руками

Время на прочтение3 мин
Охват и читатели2.8K
image
При работе над визуализацией данных для статьи возникла необходимость иметь 4 оси с положительными метками на всех.
Читать дальше →

Как визуализировать и анимировать (геофизические) модели

Время на прочтение3 мин
Охват и читатели8.3K

Данная публикация это начало цикла статей. Если вам интересно, скажите об этом, а если не интересно, цикл на этом и закончится, тогда просто смотрите ниже список необходимого программного обеспечения и примеры.


Также смотрите другие статьи цикла:



Это не пошаговое руководство по визуализации трех- и четырехмерных данных, а подход к тому, как и чем это можно сделать и, притом, сделать качественно. Вероятно, многие из нас бывали в ситуациях, когда уже есть подготовленные с большим трудом данные, которые необходимо визуализировать, но неизвестно, как же это сделать так, чтобы не испортить все впечатление от выполненной работы. Существует много коммерческого программного обеспечения для этих целей, но мы будем рассматривать исключительно Open Source программы.


Tambora Volcano, Indonesia

Анализ популярности YouTube видео участников Евровидения 2020

Время на прочтение6 мин
Охват и читатели29K

13 марта на официальном YouTube канале Евровидения была выложена композиция группы Little Big, которая будет представлять Россию на конкурсе. Посмотрев клип, захотелось сравнивать статистику видео нашей группы, с видео других участников; какие ролики самые просматриваемые, у кого самый большой процент лайков, кого чаще всего комментируют. Гугление готовой статистики ни к чему не привело. Поэтому было решено самому собрать нужную статистику.

Читать дальше →

Коронавирус: почему надо действовать прямо сейчас

Время на прочтение19 мин
Охват и читатели5.6M

Вступление


Учитывая всё, что происходит с коронавирусом, может оказаться очень сложно принять решение, что делать прямо сейчас. Стоит ли подождать, пока станет больше информации? Надо ли предпринять что-то уже сегодня? Если да, то что?

В этой статье со множеством графиков, данных и моделей из большого числа источников мы постараемся ответить на вопросы:

  • Сколько людей заболеют коронавирусом в вашем регионе?
  • Что случится, когда они начнут заболевать?
  • Что вы должны делать?
  • Когда?

Когда вы закончите читать статью, вы придёте к следующим выводам:

  • Коронавирус приближается к вам.
  • Он приближается с экспоненциальной скоростью: сперва постепенно, а потом внезапно.
  • Это вопрос нескольких дней. Может быть, неделя или две.
  • Когда это случится, ваша система здравоохранения будет перегружена.
  • Ваши сограждане будут лечиться в коридорах.
  • Изможденные медицинские работники сломаются. Некоторые погибнут.
  • Им придётся решать, кто из пациентов получит лечение, а кто умрет.
  • Единственный способ предотвратить это — социальная изоляция уже сегодня. Не завтра. Сегодня.
  • Это значит держать как можно больше людей дома, начиная с сегодняшнего дня.

Если вы политик, общественный деятель или руководитель, у вас есть власть и ответственность, чтобы предотвратить описанное выше.

Сейчас вы можете опасаться: что, если это избыточная реакция? Не станут ли люди смеяться надо мной? Вдруг они разозлятся на меня? Не буду ли я выглядеть глупо? Не лучше ли подождать, пока другие сделают первые шаги? Что, если это слишком навредит бизнесу?

Однако через 2-4 недели, когда весь мир будет закрыт и изолирован, когда окажется, что несколько драгоценных дней социальной изоляции, которые вы организовали, спасли жизни, вас больше не будут критиковать. Люди будут благодарить вас за то, что вы приняли правильное решение.

Итак, давайте разбираться.
Много графиков и длинный текст

Network diagram as code / Схема сети как код

Время на прочтение6 мин
Охват и читатели18K
В последние пару лет стал больше заниматься документацией. Написать поясняющий текст о том, как работает та или иная система — в целом, это достаточно просто. Нарисовать схему, на которой будут отображены все ключевые объекты, связи между этими объектами, тоже вполне легко.

Но самый проблемный момент — это поддерживать эту документацию в актуальном состоянии. И ладно бы текст, но схемы… Т.к. вся документация онлайн, т.е. в формате html, то к тексту прилагаются картинки gif/jpeg/png, на которых собственно изображены схемы. А схемы рисуются в различных программах типа Visio или онлайн-сервисах а-ля draw.io. Затем экспортируешь схему в графический формат и прилагаешь к html. Все просто.

В чем проблема?
Читать дальше →

Сравнение динамики котировок двух акций на python на примере привилегированных и обычных акций Сбербанка

Время на прочтение3 мин
Охват и читатели13K
Здравствуйте, сегодня хотел бы рассказать про мой опыт анализа акций сбербанка. Порой они показывают немного разную динамику — мне стало интересно проанализировать движение их котировок.

В данном примере мы будем скачивать котировки с сайта Финама. Ссылка для скачивания обычного Сбербанка.
Читать дальше →

7 бесплатных курсов для специалистов по работе с данными (DS и DE)

Время на прочтение3 мин
Охват и читатели38K
La finale! Именно этим французским выражением можно назвать эту статью. Ведь она последняя уже во второй серии подборок бесплатных курсов от Microsoft. И сегодня у нас курсы для специалистов по анализу данных и инженеров данных. Присоединяйтесь!

Кстати!

  • Все курсы бесплатные (вы даже сможете попробовать платные продукты бесплатно);
  • 6/7 на русском языке;
  • Начать обучение можно мгновенно;
  • По окончании вы получите бейдж об успешном прохождении обучения.

Присоединяйтесь, подробности под катом!

Следующая серия статей


Эта серия статей, начало 2020 года


Более ранняя серия статей, 2019 год


Читать дальше →

Химия Кеннета Снельсона (структура электрона)

Время на прочтение4 мин
Охват и читатели10K

В циклосферной теории строения электронных оболочек атомов и молекул, предложенной Кеннетом Снельсоном, электроны считаются отрицательно заряженными кольцевыми магнитами. При противоположной ориентации магнитных полей у смежных электронов их края притягиваются друг к другу и формируют электронные оболочки. Наиболее устойчивые оболочки атомов получаются из 8, 10 и 14 электронов.


image


Рис. 1. Иллюстрации к описанию атомных электронных оболочек из патента К. Снельсона


Эта теория хорошо объясняет известные химические свойства и структурные особенности различных простейших молекул, а также длину периодов в таблице Менделеева (см. «Химия Кеннета Снельсона»). И объясняет явно лучше квантовой механики с её многочисленными постулатами — орбиталями, принципом неопределённости, волновыми функциями и т.п.. Зато квантовая механика неплохо справляется с описанием спектральных свойств атома водорода, которые сложно объяснить исходя из простой кольцевой формы электрона. Но можно предположить, что у электрона кольцо не простое, а составное – состоящее из замкнутой цепочки мелких колечек. И попытаться обосновать этим линейчатость спектра водородного атома.

Читать дальше →

ClickHouse – визуально быстрый и наглядный анализ данных в Tabix. Игорь Стрыхарь

Время на прочтение12 мин
Охват и читатели21K

Предлагаю ознакомиться с расшифровкой доклада 2017 года Игорь Стрыхарь «ClickHouse – визуально быстрый и наглядный анализ данных в Tabix».


Веб-интерфейс для ClickHouse в проекте Tabix.
Основные возможности:


  • Работает с ClickHouse напрямую из браузера, без необходимости установки дополнительного ПО;
  • Редактор запросов с подсветкой синтаксиса;
  • Автодополнение команд;
  • Инструменты графического анализа выполнения запросов;
  • Цветовые схемы на выбор.

Ближайшие события

Julia и клеточные автоматы

Время на прочтение8 мин
Охват и читатели14K


Сегодня мы отправимся в красочное путешествие по миру клеточных автоматов, попутно изучая некоторые хитрые приемы их реализации, а также попытаемся понять, что скрывается за этой красотой — любопытная игра для праздного ума или глубокая философская концепция, находящая отклики во многих моделях.

Читать дальше →

На пути к построению графика

Время на прочтение11 мин
Охват и читатели16K

Добрый день, дорогой читатель! Эта статья возникла благодаря попытке взглянуть на операционный мониторинг со стороны аналитики. Она будет вам полезна, если:

  • что-то из следующего списка хорошо знакомо: Grafana, InfluxDB, Prometheus, Zabbix или другая система мониторинга с похожими идеями;
  • вы не эксперт/профессионал/уверенный миддл в различных типах отображения временных рядов и матстатистике (в противном случае для вас, весьма вероятно, будет скучновато);
  • есть желание взглянуть на некоторые аспекты «под микроскопом».

Если вы решили, что условия выше соблюдены, добро пожаловать под кат.



Читать дальше →

Что мы узнали о сотрудниках, когда начали использовать аналитику в HR

Время на прочтение12 мин
Охват и читатели22K


Меня зовут Юля Степашкина, и я HR-аналитик в Redmadrobot. Расскажу, как однажды мы виртуозно переобулись в прыжке и столкнулись со сменой почти трети команды за год. Сразу уточню, ситуацию мы разрулили, начали собирать и анализировать статистику по кадрам и уже делаем заход на прогнозирование. Идёт пятый месяц, как собрали дашборды и внимательно следим за показателями, полёт нормальный. Под катом история сборки.
Давайте по порядку

Простой пример парсинга и аналитики данных по игре World of Tanks

Время на прочтение3 мин
Охват и читатели9.8K

В этом небольшом примере, я хочу показать, как парсить данные с сайтов и как дальше использовать их для анализа. Для этого я спарсил таблицу рейтингов кланов из игры World of Tanks и посмотрел, как рейтинг клана может коррелировать с другими данными.


Читать дальше →

Выбираемся из ада зависимостей в QlikView

Время на прочтение13 мин
Охват и читатели12K

Keanu-1


TL;DR;


В статье описано, как внедрялся Apache Airflow для управления заданиями обновления отчетности, построенной на QlikView в достаточно крупном внедрении.

Читать дальше →

Попытка решить проблему выбора авиабилетов перед отпуском #2

Время на прочтение2 мин
Охват и читатели7.4K
Всем привет! Настали длинные выходные, а это значит, что пришло время поделиться новыми фичами, которые были сделаны с момента предыдущего поста:

  1. Комбинатор сложных маршрутов
  2. Сложные билеты (треугольники)
  3. История цен на билеты

Скриншот одной из новых фичей:

image
Читать дальше →

Анализ данных по коронавирусу SARS-CoV-2 (2019-nCov)

Время на прочтение2 мин
Охват и читатели19K

В последнее время вижу много выпусков новостей о новом вирусе, но так ли всё плохо, прошёл ли пик эпидемии или всё ещё впереди. По большей части из новостных выпусков сложно сделать хоть какие-то выводы. В итоге решил разобраться сам, и вот, что из этого получилось.


image

Читать дальше →