Визуализация данных *

Superset не самый новый bi-инструмент, но его популярность продолжает расти. На мой взгляд, он достаточно прост в освоении, но все же требует некоторых усилий и времени, чтобы разобраться куда тыкать, чтобы загрузить данные и нарисовать красивый отчет. Лично я за свою карьеру в IT уже второй раз сталкиваюсь с необходимостью переезда на этот инструмент. Он снова новый для компании и многие сотрудники с ним раньше не работали. Поэтому я и решила написать статью-шпаргалку, которая поможет в несколько кликов создать работающий дашборд и всегда будет под рукой.

В дополнении к гайду напишу с какими подводными камнями мне приходилось сталкиваться, как их решить, а также покажу несколько полезных фичей Superset. Это поможет быстро разобраться в интерфейсе и знать, на что обратить внимание.

Я покажу, как сервис, который изначально создавался для мониторинга серверов, можно использовать для бизнесовых кейсов. Речь пойдет про Grafana.

Grafana — это интерфейс для анализа данных в различном виде. Причем источником данных может быть что угодно: база данных, excel.

Давайте попробуем создать демо версию дашборда, имитировать сбор данных с различных датчиков и настроить реагирование на инциденты. Это довольно популярная задача для фуд агротеха.

Привет, Хабр! В этой статье мы разберемся, как с помощью тепловых карт (heatmap) можно не только проанализировать поведение игроков, но и улучшить дизайн игровых уровней. Тепловые карты — это мощный инструмент для выявления закономерностей в данных о движении игроков, частоте смертей или размещении объектов. Они помогают разработчикам не просто визуализировать, а принимать обоснованные решения, создавая более увлекательные и сбалансированные игровые миры.

Привет, Хабр! Сегодня в мире геймдева уже нельзя представить успешную игру без грамотного использования аналитики. Знание о том, как игроки ведут себя в игровом мире, помогает разработчикам не просто собирать данные, а находить подходы для улучшения геймплея, балансировки механик и создания более увлекательного, персонализированного игрового опыта. В этой статье мы поговорим о том, как именно аналитика делает игры лучше: от адаптации уровня сложности и персональных рекомендаций до влияния на развитие сюжета. Мы рассмотрим, как данные применяются на практике, приведя примеры из таких хитов, как "Resident Evil 4", "Destiny 2", "Detroit: Become Human" и других.

Телеграм сейчас является основным источником контента для многих. У Хабра тоже есть канал t.me/habr_com, его читает более 100 000 подписчиков. Кроме этого, о технологиях есть тысячи других каналов. Сколько их? Какая у них аудитория? Где найти данные? Разберемся в статье.

Стало интересно сделать анализ всех телеграм каналов: подписчики, рейтинги, частота статей, процент репостов, процент рекламы и т.д., поэтому посмотрел как можно достать данные. Забегая вперёд, скажу что собрал датасет со всеми телеграм каналами, в том числе и каналы с одним подписчиком. Их около 2 млн по всем гео. Какого-то сервиса, где можно сразу быстро и просто взять все каналы и набор метрик по ним, я не нашел, поэтому посмотрел что есть из готовых данных.

Существуют агрегаторы данных телеграм типа tgstat (https://tgstat.ru/). Один из способов - парсинг данных агрегаторов. Варианты с ботами, виртуальными аккаунтами показались более затратными, поэтому парсил несколько агрегаторов.

Итак, посмотрел ряд агрегаторов, взял на пробу три датасемпла. Самым адекватным показался семпл tgstat, поэтому, остановился на нем. В сервисе надо регистрироваться по телеграм аккаунту. Контент динамический, то есть, подгружается по клику. В парсинге всех данных не было смысла - важно было посмотреть что получится на семплах. Спарсил несколько категорий RU домена.

Сегодня расскажу про tech каналы с этой страницы (https://tgstat.ru/tech). Это каналы категориии 'Технологии', Россия. Периодически читаю каналы этой категории, ну и канал Хабра там есть. Поэтому, реллевантно будет здесь расказать именно о технологических каналах.

Анализ рынка, в котором вы хотите запустить продукт - одна из ключевых задач для запуска успешного бизнеса. В анализ рынка входит анализ конкурентов и поведения конечного потребителя вашего продукта, будь то импорт товаров или запуск своего продукта.

В данной статье я вам предлагаю рассмотреть пример аналитического подхода к созданию фильма, на котором вы сможете заработать максимальное количество денег, популярности или респекта от аудитории.

Красота и стиль – это ценность. В отношении данных это проявляется в любви к графикам. Если вы читаете эти строки, значит и вас не обошел этот недуг. Кому нужны эти скучные таблицы? Ведь есть же ГРАФИКИ!

Привет! Я работаю аналитиком данных в IT компании и только начинаю писать статьи на habr. Как и все когда-то я только начинала входить в IT и не понимала, что мне необходимо знать. Эта статья поможет тем кто находится в поисках подходящей BI платформы для изучения.

Привет Хабр! Это продолжение истории о развитии «Культуры работы с данными». Первая статья была о том, как данный термин вообще появился в России. Итак, у нас есть план продаж идея, как сделать использование аналитики в компании массовым, тем самым увеличив охват и глубину использования аналитических инструментов в компании (и мы все знаем, что это за «аналитический инструмент»), остается проверить эту идею на практике.

Очевидно, что самый простой способ — это узнать у наших текущих заказчиков, у которых уже были достаточно крупные инсталляции, не нужна ли им тысяча — другая лицензий бесплатно? Ну, там, туда — сюда раздать, потестировать... вдруг что‑то да приживется? Кстати, первый, кто сообразил что это «золотая жила», и даже пытался нам самим это рассказать — был Иван Черницын, Начальник управления аналитических решений, технологий больших данных и искусственного интеллекта Дирекции региональных продаж ПАО «Газпром нефть» — большое ему за это Спасибо: он много рассказывал на конференциях про использование Qlik внутри «Газпром нефти», в частности — про работу с большими инсталляциями. Это нам помогло и с другими заказчиками, но больше ни один «нефтяник» на Qlik даже не взглянул, наоборот, видя насколько успешно стало использование данного инструмента и слыша «все все увидели, стало все открыто, все говорим на одном языке» — все остальные бегали от нас, как от огня..

Привет, Хабр! Одной из важных задач в аналитических запросах является расчет долей, который позволяет узнать, какая часть записей из общего количества по всей таблице соответствует какому-либо критерию. Также нередко полезными оказываются коэффициенты проникновения (в общем-то тоже являющиеся долями). Они позволяют оценить продажи, найти взаимосвязи признаков и сделать много еще чего полезного. Чтобы проводить такого рода расчеты идеально подходит язык DAX. Если Вам интересно, насколько это удобно и как именно сделать это в DAX — добро пожаловать под кат :)

Как было бы классно, если бы за доли секунды, мельком скользнув по графику, вы уже видели ответ на вопрос. А не сидели с линейкой и уровнем в попытке попасть в нужную ячейку на пересечении столбца и строки или сравнить высоту соседних колонок.

Особенно, если это презентация - экран далеко, а вместо линейки стакан кофе. Идеальный недостижимый мир или все в наших руках?

График — многопараметрический объект, рассматривать и оптимизировать который можно часами. Для простоты эксперимента давайте остановимся хотя бы на одном параметре — визуальная кодировка. Еще проще - ограничимся пятью самыми популярными: барчарт, линейный, скаттерплот, пайчарт и таблица.

Как понять, готов ли продукт к релизу? В этой статье — проверенные инструменты и подходы для мониторинга качества в QA. Мы делимся опытом создания автоматизированных отчетов, визуализации данных в Grafana, конфигурации тестов и многого другого!

Буквально месяц назад, мы с моим коллегой участвовали в HAKATON. Наша команда взялась за интересную задачу от компании МТС: на основе тысяч опросов, найти усредненный синоним к определенной категории ответов и визуализировать это в виде графика, либо облака слов.

После выполнения задачи и защиты проекта мы задумались...

Вараны острова Комодо, также называемые в литературе драконами, — самая крупная из живущих на земле ящериц. Длина его тела может достигать 3 метров, а масса 140 кг [1]. Это доминирующий хищник своего региона, который может добывать животных (свиньи, буйволы, олени), порой 10-ти кратно превосходящих его весу.

Важнейшим инструментом такой охотничьей эффективности являются зубы. У комодского варана их 60 штук [2], изогнутых как сабли и острых как бритва (край зуба усилен металлизированным слоем, образующим микро пилу [3]). 

Этот комплект еще и регулярно, раз в 40 дней обновляется [4]. Не нужно ни стоматологов ни заточников — просто мечта. Однако фантастическая скорость роста зубов должна требовать и фантастических затрат «стройматериалов». Сколько, например, кальция и железа нужно варану в день для поддержания такого темпа?

Ниже мы оценим эти показатели, опираясь на «ангем», «матан» и python. Кто не испугался, welcome.

Функция scatterplot() из библиотеки seaborn предназначена для построения диаграммы рассеяния, позволяя визуализировать взаимосвязь между двумя числовыми переменными. Она предоставляет множество параметров для настройки внешнего вида точек, цветовых оттенков и размеров, что делает её полезной для анализа данных с несколькими переменными.

Привет, Хабр! При работе с Business Intelligence и дашбордами практически в любой предметной области встречаются даты и календари, поэтому от выбора представления дат и их составных частей (день, месяц, квартал, полугодие, год и т.д.), ключей дат и таблицы с датами зависит производительность всех дашбордов. В этой статье я расскажу о том, как можно оптимизировать работу с датами в Visiology — с использованием DAX и без него. Интересно? Добро пожаловать под кат! :)

Причины написания статьи, общие правила использования handlebars в superset и советы содержатся в первой статье, поэтому сразу опишу следующие шаблоны.

Вот вам карты «возможного» местоположения разработчиков Telegram и React для затравки.

Telegram Desktop. Всего 205 человек. Из них 3 основные. Из них два (работают с 2014 и 2019) в районе Самара-Кавказ (Армения, Грузия, Азербайджан) и один (работает с 2018) вероятно в Турции.

ReactJS. Всего 1854 человек. Основной состав: 14 работает, 26 уволилось. Примерно 50/50 сидят на восточном и западном побережье США.

Если вам важна высокая стабильность и скорость сети на ваших серверах, тогда вам надо отвественнее подойти к выбору провайдера. В данной статье я показываю, как добавить метрики и дешборды в Grafana для оценки скорости сети с помощью speedtest-exporter.

Сейчас нейросети – это хайп, который, кажется, прошёл свой пик завышенных ожиданий на кривой Гартнера, и внутри компании мы периодически спорим о полезности нейросетей и об их будущем. Один из споров даже вышел за пределы компании на Форум Data&AI с темой "AI мифы, хайп и реальность".

В статье мы расскажем, как по запросу одного из клиентов развили нашу платформу в части интеграции с нейросетевой моделью GigaChat.