Восемь лет назад был создан консорциум Human Cell Atlas (HCA), который поставил перед собой чрезвычайно амбициозную задачу — картировать все тело человека, а это около 37,2 триллионов клеток. И сейчас ученые сообщают, что атлас сейчас на стадии первого черновика. Что ж, к чему привели тысячи и тысячи часов, вложенных в создание этого исторического «клеточного атласа»?
Все мы любим ClickHouse, но прекрасно знаем, что у этой СУБД есть свои особенности и ограничения. В этой статье мы поговорим о том, почему нужно избавляться от лишних операторов JOIN, если вы работаете с большими нагрузками, а также оценим, какой эффект дает исключение JOINов, поднятие их на уровень выше, перестановка таблиц местами и некоторые другие хитрые трюки на уровне кода SQL. Всех, кто работает с ClickHouse, а также тех, кто не хочет работать с ClickHouse, но подумывает получить все готовенькое от Visiology, приглашаю под кат!
Сегодня поговорим о том, как устроены модели данных в BI-платформах. Рассмотрим два основных типа моделей данных, которые используются в BI: физическую и логическую.
Когда стоит вопрос о выборе BI-платформы, реализация модели данных является одним из ключевых критериев, на который мы обращаем внимание в первую очередь. Важно понимать, как работает модель данных в конкретной BI-системе, так как функционал модели во-многом определяет возможности платформы по работе с данными в целом. Это также поможет выбрать подходящий способ работы с данными в зависимости от задач бизнеса и технических ограничений платформы. Обсудим преимущества каждой модели данных, а также ограничения и способы их частичного обхода.
В процессе аналитики данные преобразуются в информацию и формируют знания, помогающие действовать своевременно и эффективно в ответ на вызовы рынка.
В материале разбираемся, чем данные отличаются от информации и рассказываем о четырех уровнях анализа данных:
• Описательном
• Диагностическом
• Предиктивном
• Предписывающем
Мы, Luxms, создаём передовые решения для обработки и анализа данных. В этой статье мы поговорим о том, как на основе рейтингов можно пропустить подходящий вам BI-инструмент и о том, как выбрать неподходящий.
Рейтинг кажется находкой для бизнеса: посмотрел кто в топе, выбрал лучшее решение среди более чем сотни существующих на рынке. Но всё не так просто: рейтинги ошибаются, не дают полной картины, иногда даже намеренно вводят читателей в заблуждение.
Хотите разобраться, как подобрать BI-решение для своего бизнеса? Узнать, что делать, чтобы не полагаться только на рейтинги? Или просто заглянуть за кулису того, как работают аналитические инструменты и почему они бывают неточны? Заходите под кат, там всё расскажем и дадим советы по осознанному выбору: наш материал для всех ЛПР и ЛВР, а также технарей, которым будет забавно увидеть, как искажаются канонические термины и названия продуктов.
В данной статье представлен обзор двух вариантов датчиков для измерения толщины нити, проволоки, линии. Такие датчики можно применять для измерения толщины филамента, интенсивности спектральных линий, числа капель, штрих-меток и др.
В продаже можно найти различные по конструкции и цене:
Привет, Хабр! Язык запросов DAX популярен и эффективен для построения дашбордов в Business Intelligence, и за счет свой функциональной природы DAX в чем-то ближе к реляционной алгебре, по сравнению с SQL. Особенности DAX удобно рассмотреть на основе примеров DAX-запросов, переведенных на реляционную алгебру. В частности, использование ALL в итераторе SUMX в рамках наиболее популярной DAX функции SUMMARIZECOLUMNS позволяет рассмотреть некоторые нюансы DAX. Если интересно описание ALL в DAX с точки зрения реляционной алгебры — добро пожаловать под кат! :)
Superset не самый новый bi-инструмент, но его популярность продолжает расти. На мой взгляд, он достаточно прост в освоении, но все же требует некоторых усилий и времени, чтобы разобраться куда тыкать, чтобы загрузить данные и нарисовать красивый отчет. Лично я за свою карьеру в IT уже второй раз сталкиваюсь с необходимостью переезда на этот инструмент. Он снова новый для компании и многие сотрудники с ним раньше не работали. Поэтому я и решила написать статью-шпаргалку, которая поможет в несколько кликов создать работающий дашборд и всегда будет под рукой.
В дополнении к гайду напишу с какими подводными камнями мне приходилось сталкиваться, как их решить, а также покажу несколько полезных фичей Superset. Это поможет быстро разобраться в интерфейсе и знать, на что обратить внимание.
Я покажу, как сервис, который изначально создавался для мониторинга серверов, можно использовать для бизнесовых кейсов. Речь пойдет про Grafana.
Grafana — это интерфейс для анализа данных в различном виде. Причем источником данных может быть что угодно: база данных, excel.
Давайте попробуем создать демо версию дашборда, имитировать сбор данных с различных датчиков и настроить реагирование на инциденты. Это довольно популярная задача для фуд агротеха.
Привет, Хабр! В этой статье мы разберемся, как с помощью тепловых карт (heatmap) можно не только проанализировать поведение игроков, но и улучшить дизайн игровых уровней. Тепловые карты — это мощный инструмент для выявления закономерностей в данных о движении игроков, частоте смертей или размещении объектов. Они помогают разработчикам не просто визуализировать, а принимать обоснованные решения, создавая более увлекательные и сбалансированные игровые миры.
Привет, Хабр! Сегодня в мире геймдева уже нельзя представить успешную игру без грамотного использования аналитики. Знание о том, как игроки ведут себя в игровом мире, помогает разработчикам не просто собирать данные, а находить подходы для улучшения геймплея, балансировки механик и создания более увлекательного, персонализированного игрового опыта. В этой статье мы поговорим о том, как именно аналитика делает игры лучше: от адаптации уровня сложности и персональных рекомендаций до влияния на развитие сюжета. Мы рассмотрим, как данные применяются на практике, приведя примеры из таких хитов, как "Resident Evil 4", "Destiny 2", "Detroit: Become Human" и других.
Телеграм сейчас является основным источником контента для многих. У Хабра тоже есть канал t.me/habr_com, его читает более 100 000 подписчиков. Кроме этого, о технологиях есть тысячи других каналов. Сколько их? Какая у них аудитория? Где найти данные? Разберемся в статье.
Стало интересно сделать анализ всех телеграм каналов: подписчики, рейтинги, частота статей, процент репостов, процент рекламы и т.д., поэтому посмотрел как можно достать данные. Забегая вперёд, скажу что собрал датасет со всеми телеграм каналами, в том числе и каналы с одним подписчиком. Их около 2 млн по всем гео. Какого-то сервиса, где можно сразу быстро и просто взять все каналы и набор метрик по ним, я не нашел, поэтому посмотрел что есть из готовых данных.
Существуют агрегаторы данных телеграм типа tgstat (https://tgstat.ru/). Один из способов - парсинг данных агрегаторов. Варианты с ботами, виртуальными аккаунтами показались более затратными, поэтому парсил несколько агрегаторов.
Итак, посмотрел ряд агрегаторов, взял на пробу три датасемпла. Самым адекватным показался семпл tgstat, поэтому, остановился на нем. В сервисе надо регистрироваться по телеграм аккаунту. Контент динамический, то есть, подгружается по клику. В парсинге всех данных не было смысла - важно было посмотреть что получится на семплах. Спарсил несколько категорий RU домена.
Сегодня расскажу про tech каналы с этой страницы (https://tgstat.ru/tech). Это каналы категориии 'Технологии', Россия. Периодически читаю каналы этой категории, ну и канал Хабра там есть. Поэтому, реллевантно будет здесь расказать именно о технологических каналах.
Анализ рынка, в котором вы хотите запустить продукт - одна из ключевых задач для запуска успешного бизнеса. В анализ рынка входит анализ конкурентов и поведения конечного потребителя вашего продукта, будь то импорт товаров или запуск своего продукта.
В данной статье я вам предлагаю рассмотреть пример аналитического подхода к созданию фильма, на котором вы сможете заработать максимальное количество денег, популярности или респекта от аудитории.
Красота и стиль – это ценность. В отношении данных это проявляется в любви к графикам. Если вы читаете эти строки, значит и вас не обошел этот недуг. Кому нужны эти скучные таблицы? Ведь есть же ГРАФИКИ!
Привет! Я работаю аналитиком данных в IT компании и только начинаю писать статьи на habr. Как и все когда-то я только начинала входить в IT и не понимала, что мне необходимо знать. Эта статья поможет тем кто находится в поисках подходящей BI платформы для изучения.
Привет Хабр! Это продолжение истории о развитии «Культуры работы с данными». Первая статья была о том, как данный термин вообще появился в России. Итак, у нас есть план продаж идея, как сделать использование аналитики в компании массовым, тем самым увеличив охват и глубину использования аналитических инструментов в компании (и мы все знаем, что это за «аналитический инструмент»), остается проверить эту идею на практике.
Очевидно, что самый простой способ — это узнать у наших текущих заказчиков, у которых уже были достаточно крупные инсталляции, не нужна ли им тысяча — другая лицензий бесплатно? Ну, там, туда — сюда раздать, потестировать... вдруг что‑то да приживется? Кстати, первый, кто сообразил что это «золотая жила», и даже пытался нам самим это рассказать — был Иван Черницын, Начальник управления аналитических решений, технологий больших данных и искусственного интеллекта Дирекции региональных продаж ПАО «Газпром нефть» — большое ему за это Спасибо: он много рассказывал на конференциях про использование Qlik внутри «Газпром нефти», в частности — про работу с большими инсталляциями. Это нам помогло и с другими заказчиками, но больше ни один «нефтяник» на Qlik даже не взглянул, наоборот, видя насколько успешно стало использование данного инструмента и слыша «все все увидели, стало все открыто, все говорим на одном языке» — все остальные бегали от нас, как от огня..
Привет, Хабр! Одной из важных задач в аналитических запросах является расчет долей, который позволяет узнать, какая часть записей из общего количества по всей таблице соответствует какому-либо критерию. Также нередко полезными оказываются коэффициенты проникновения (в общем-то тоже являющиеся долями). Они позволяют оценить продажи, найти взаимосвязи признаков и сделать много еще чего полезного. Чтобы проводить такого рода расчеты идеально подходит язык DAX. Если Вам интересно, насколько это удобно и как именно сделать это в DAX — добро пожаловать под кат :)
Как было бы классно, если бы за доли секунды, мельком скользнув по графику, вы уже видели ответ на вопрос. А не сидели с линейкой и уровнем в попытке попасть в нужную ячейку на пересечении столбца и строки или сравнить высоту соседних колонок.
Особенно, если это презентация - экран далеко, а вместо линейки стакан кофе. Идеальный недостижимый мир или все в наших руках?
График — многопараметрический объект, рассматривать и оптимизировать который можно часами. Для простоты эксперимента давайте остановимся хотя бы на одном параметре — визуальная кодировка. Еще проще - ограничимся пятью самыми популярными: барчарт, линейный, скаттерплот, пайчарт и таблица.
Как понять, готов ли продукт к релизу? В этой статье — проверенные инструменты и подходы для мониторинга качества в QA. Мы делимся опытом создания автоматизированных отчетов, визуализации данных в Grafana, конфигурации тестов и многого другого!
Буквально месяц назад, мы с моим коллегой участвовали в HAKATON. Наша команда взялась за интересную задачу от компании МТС: на основе тысяч опросов, найти усредненный синоним к определенной категории ответов и визуализировать это в виде графика, либо облака слов.
После выполнения задачи и защиты проекта мы задумались...
