Визуализация данных *

Сегодня для того, чтобы данные действительно работали на бизнес, недостаточно просто собрать и обработать их. Необходимо превратить их в понятные и удобные решения – своего рода аналитические продукты, которые приносят реальную пользу. Проще говоря, аналитический продукт (он же data product) – это автоматизированная цепочка действий над данными, результатом которой является полезная информация или рекомендация для решения конкретной бизнес-задачи. Появление таких продуктов стало возможным благодаря построению централизованной аналитической платформы с полной архитектурой данных от интеграции до представления. Иными словами, чтобы данные приносили пользу, они должны пройти путь от извлечения из источников до представления в понятной форме, охватывая этапы интеграции, обработки, представления и управления данными.

Наша «база» — единая аналитическая платформа, реализованная по принципам, применяемым в зрелых data-driven компаниях. В её основе – современный техстек, включающий стриминговую шину данных Apache Kafka на слое интеграции (Stage), высокопроизводительное хранилище ClickHouse на уровнях ODS/DWH/Data Mart, оркестратор пайплайнов Apache Airflow (с использованием dbt) для ETL/ELT и контроля качества данных, систему метаданных OpenMetadata для управления информацией о данных, BI-платформу Yandex DataLens для визуализации, а также собственный REST API-слой для интеграции с внешними системами. Такой подход обеспечивает масштабируемость и воспроизводимость: наша база данных поглощает до сотен миллионов записей в сутки и почти мгновенно выдаёт результаты аналитических запросов благодаря ClickHouse. Все инструменты связаны в единую архитектуру, где потоки событий из источников сразу попадают в Kafka, оттуда – в ClickHouse, после чего данные доступны для построения витрин, дашбордов, алертов и API-интеграций в реальном времени.

Органы власти ежедневно принимают сотни важных решений — от распределения бюджета до работы школ и больниц. Но часто эти решения опираются на устаревшие отчеты или интуицию, а не на свежие данные. BI (Business Intelligence) — это технологии сбора, анализа, визуализации данных, которые помогают принимать обоснованные решения. Рассказываем, как BI-решения упрощают работу органам власти и госучреждениям.

Меня зовут Екатерина Петрова, я автор медиа «вАЙТИ» и аналитик. Перечитывая свой любимый роман И. Ильфа и Е. Петрова «Двенадцать стульев», а именно сцену с архивариусом Коробейниковым, я вдруг поняла: его бумажный архив ордеров на имущество бывших дворян не что иное, как идеальный пример реляционной базы данных. Алфавитные указатели — это индексы, книги учета — таблицы с первичными ключами, ордера — настоящие транзакции.

Наконец‑то появилось действительно полезное исследование «Будущее труда с ИИ‑агентами» (Стэнфорд), которое превращает абстрактные споры о том, кого и как заменит искусственный интеллект, в конкретную дорожную карту профессий: какие задачи автоматизируются первыми, а какие навыки резко вырастут в цене.

Эта статья — не для того, чтобы вас напугать. Здесь будут конкретные инструменты и советы, чтобы вы сами могли ответить на главный вопрос:

• Какие навыки развивать?
• Какие задачи смело отдавать ИИ, а за какие стоит побороться и стать в них сильнее?
• Как изменится ваша профессия?
• За какие умения будут платить больше даже, чем за программирование и аналитику?

В основе статьи — так называемая «матрица желаний и возможностей» автоматизации. Её создали как раз в Стэнфорде. Распределив свои рабочие задачи по четырём простым зонам этой матрицы, вы увидите, как ИИ повлияет именно на вашу профессию — и куда лучше направить усилия уже сейчас.

Твит, который подтолкнул меня к реализации описанного в статье мини-проекта.

Взявшись за эту задачу, я около двух часов ваял небольшой скрипт, который будет скрейпить данные из базы крейтов Rust crates.io и анализировать их для выяснения, какие пакеты чаще скачиваются для работы (то есть в будние дни), а какие для развлечения (то есть в выходные).

Привет, Хабр! В аналитическом языке DAX одной из важных функций является SUMMARIZECOLUMNS. Эта функция готовит данные для дашбордов, также реализует декартово произведение полей группировки (если поля группировки из разных таблиц). Для понимания DAX полезно ознакомиться с особенностями SUMMARIZECOLUMNS, интересующимся деталями SUMMARIZECOLUMNS — добро пожаловать под кат :)

Современная наука невозможна без компьютерных вычислений — от обработки результатов измерений до моделирования процессов. Одним из наиболее широко используемых инструментов для вычислений в ядерной физике и физике высоких энергий является фреймворк ROOT, разрабатываемый в CERN.

Собственная архитектура e2k с очень длинной машинной командой VLIW не позволяет отечественным процессорам Эльбрус без портирования нативно запускать программное обеспечение, в том числе и ROOT.

В статье рассмотрим "айсберг" проблем, с которыми пришлось столкнуться в ходе портирования ROOT, а такжк сферу и примеры его применения.

Сегодня обсудим, как работать с цифровыми продуктами, и почему дизайн — это не только про красоту, но и про удобство, структуру и командную работу. Будет немного практики и советов для тех, кто задумывается о карьере дизайнера в IT. Поехали!

Меня зовут Яна — и я Тeam Lead Designer в компании «Оптимакрос». Я начинала как дизайнер в рекламных агентствах и типографиях, занималась графикой, брендингом и оформлением различных объектов, работая с каждым клиентом индивидуально. Со временем мне захотелось более масштабных и технологичных задач, поэтому я решила попробовать себя в IT.

В послевоенное советское время убивали словом, по крайней мере, так было принято в кругу друзей прекрасного поэта Шефнера. Никакой крамолы, но это только полуправда: в Люблино уже тогда куда больше ценилась финка за голенищем, но оставим былое.

Как говорят нам опытные инфоцыгане коучи в модно-стильно-молодежно снятых роликах на YouTube RuTube — сейчас время data driven подхода! А значит убивают нынче цифрой. Я, если кому-то интересно, предпочитаю, семерку, она более всего походит на старый добрый мушкет или, на крайний случай, серп.

Шутки в сторону. В современном мире, когда каждая наша «улыбка» — не более чем поток единиц и нулей, который позволяет системе распознавания лиц списать с нас 67 рублей за проезд, цифры, действительно, определяют многое. Раньше обидным было слышать про небольшой размер достоинства, теперь, у топ-менеджмента корпораций досаду, гнев и злость вызывать маленькая EBITDA или ROI. О времена! О нравы! Да простит меня Александр Сергеевич.

10 лет назад я впервые познал силу цифр. До того момента я думал, что аналитика — это красивые отчеты, за которые платят много денег западным консалтинговым компаниям ради имиджа. Функциональное назначение трудов PWC, Mckinsey и прочих сильных мира сего ограничивалось следующим: орудие для удара по голове нерадивому сотруднику, оконный ограничитель летом в душном офисе, ну и, конечно, подставка под шатающийся стул. Все. То есть совсем все. Ни разу не видел, чтобы кто-то открыл их для того, чтобы принять какое-то важное решение, по крайней мере, так не везло мне. Творцы этих шедевров: несчастные стажеры, дизайнеры и прочие ребята в красивых костюмах с очень утомленными лицами и натянутыми улыбками, за которые тогда хотя бы не списывали деньги, сами в кулуарах признавали тщетность своих мук. Впрочем, это не мешало им продолжать ночами повторять сизифов труд, чтобы потом потратить заработанное на волшебные таблетки самого разного цвета и магических свойств.

В этой статье мы рассмотрим очень важный аспект автоматизации ведения ваших заметок, а именно как настроить и вызывать модальные окна, которые будут подготовлены под ваши сценарии.

The Influenza Problem. Nature 109, 129–130 (1922). Представленный материал является переводом статьи из журнала Nature начала двадцатого века, посвященной проблеме гриппа: какова природа гриппа, вариативность симптоматики, почему корь стабильно приходила каждые два года, а грипп через нерегулярные промежутки времени? - этими и многими другими вопросами задается автор.

Автор перевода не является ни профессиональным переводчиком, ни медицинским специалистом. Диаграммы представленные в переводе отсутсвуют в оригинале и лишь дополняют статью; материалы созданы или реконструированы автором перевода по историческим данным.

Согласитесь, мы сталкиваемся с графиками буквально каждый день — в новостях, банковских приложениях, фитнес-трекерах, на работе и даже в социальных сетях. Но далеко не все визуализации помогают разобраться в данных. Часто они сбивают с толку, выглядят как случайный набор линий и цифр и вместо пользы вызывают только недоумение.

Хотя на самом деле понятный график способен за секунды донести суть, сэкономить время и помочь быстрее принять решение. Почему навык визуализации сегодня важен каждому — от студента до руководителя — мы поговорили с Анастасией Кузнецовой — экспертом по визуализации данных и автором курсов на Stepik.

На связи Анна Астахова, директор по развитию ИТ-интегратора «Белый код». BI-системы в аптечном ритейле больше не воспринимаются как «красивая надстройка» — это уже стандарт. Мы провели вебинар, где показали, как именно бизнес-аналитика меняет работу сети из 250+ аптек. Делюсь тезисами, кейсами и коротким видеофрагментом из демо.

По мере роста бизнеса стандартные методы отчётности и ручной анализ данных перестают быть эффективными. В условиях высокой конкуренции и динамичного рынка информация устаревает ещё до завершения её обработки. Маркетинговые стратегии теряют свою точность. Управление ассортиментом становится реактивным, а не проактивным. Рассмотрим, как бизнес-аналитика помогает крупным e-commerce компаниям.

Привет! Меня зовут Арсен, я разработчик в DDPlanet и сегодня хочу поделиться нашим опытом разработки системы KPI для оценки производительности сотрудников в нашей компании. Как мы пришли к необходимости такой системы, как реализовывали первую и последующие версии и почему выбрали те или иные инструменты при разработке.

Типичная проблема в сетях: дисбаланс между продажами и товарными запасами. И для этого есть та самая волшебная таблетка. Важно видеть и считать коммерческие показатели, иначе бизнес не справится с конкуренцией. В статье на примерах расскажу, как аналитика помогает аптечным сетям.

С помощью Python мы научимся отправлять себе сообщения в Telegram от имени нашего собственного бота. Причём это будут не просто сообщения, а уведомления с информацией о времени загрузки отчёта и ещё и с графиком для анализа. Пошагово разберём, как это сделать, обсудим, зачем это нужно и какие возможности для улучшения есть.

В статье представлен сравнительный анализ девяти схем раскладки труб водяного теплого пола. Исследование проведено методом численного моделирования для типового помещения с акцентом на зону у наружной стены, однако важно понимать, что в реальных условиях эксплуатации не существует универсального «идеального» варианта.

Тем не менее, данное моделирование позволяет сравнить эффективность разных схем и определить, в каких случаях каждая из них будет предпочтительнее. 

Геоаналитика позволяет взглянуть на привычные данные совершенно иначе, учитывая пространственный и временной контексты. Благодаря этому становится возможным выявление скрытых взаимосвязей и тенденций, таких как плотность спроса, эффективность маркетинговых мероприятий и распределение клиентской базы. Эти знания незаменимы для принятия обоснованных управленческих решений.

В ритейле геоаналитика помогает определять оптимальные места для открытия новых магазинов. Например, сети магазинов могут использовать геоаналитику для контроля и корректировки своих точек. Такой подход позволяет увеличивать трафик и улучшать позиции в поисковой выдаче даже без дополнительных рекламных вложений. Например, на Летней школе по анализу данных от Центра непрерывного образования ФКН НИУ ВШЭ Дарья Горкунова, тимлид DS‑команды в ecom.tech, на практическом примере рассказала о применении геоаналитики для выбора локации дарксторов в труднодоступных районах, выступив с докладом «Геоаналитика: как открыть даркстор в тайге».

Yandex DataLens предлагает удобные инструменты геоанализа, интегрированные с сервисом Яндекс.Карты. Эта платформа помогает легко создавать интерактивные карты и геовизуализации даже начинающим пользователям. Благодаря таким инструментам аналитики получают возможность быстро оценить расположение клиентов, оптимизировать логистику и повысить качество услуг, опираясь на точные данные о географии своей деятельности.

Платформа Yandex DataLens поддерживает различные типы графиков, позволяющие представлять данные на карте наиболее удобным способом. Рассмотрим все эти виды чуть позднее подробнее, а для начала давайте кратко пройдемся по шагам загрузки своих данных.

На связи Анна Астахова, директор по развитию ИТ-интегратора «Белый код». В регионах есть локальные аптечные сети, для которых внедрять стандартный набор дашбордов выходит накладно. Но и потребность в том, чтобы анализировать показатели, у такого бизнеса тоже есть. Рассказываю, какое решение нашли.