Системный и бизнес-анализ

Недавно рассказывал о многомерном анализе данных временных рядов с помощью Dimension-UI, упоминая простой и удобный интерфейс для доступа к данным, гибкость, интерактивность и другие преимущества. Пришло время проверить, как это работает на практике. В качестве полигона для анализа мы используем статистику футбольных матчей: посмотрим данные по голам, детализированные по командам, статистику по счёту, а также сравним результативность в домашних и гостевых матчах.

Привет, Хабр! Сегодня я хочу рассказать о применении одного из интересных методов работы со статистическими данными — расчета коэффициента конкордации, который также называют коэффициентом Кендалла W. Он помог нам упростить выбор BI-платформы на замену многострадальному Qlik, который сегодня вообще непонятно как продлевать. Под катом — куча BI-систем, наши попытки усреднить результаты рейтингов…и г-н Кендалл с его методом 100-летней давности.

Каждый год архитектура ПО меняется под давлением новых идей и технологий, и далеко не все из них доживают до зрелости. Чтобы навести порядок в хаосе, редакторы InfoQ разбирают тренды через модель «Crossing the Chasm» и показывают, что уже стало частью мейнстрима, а что остаётся в зоне экспериментов.

В этом обзоре — самые заметные направления последних лет: от стремительного взросления LLM и повального интереса к RAG до агентного ИИ, малых языковых моделей, «зелёного» софта и социотехнической архитектуры. Текст будет особенно интересен архитекторам и аналитикам, которые хотят понимать не только технологии, но и то, как они вписываются в реальные системы и команды.

В BI нынче неспокойно: ушли импортные системы, на которых выросло, выучилось и местами громко ругалось целое поколение аналитиков (а то и не одно). Казалось, что SAP, Oracle, IBM Cognos — столпы, на которых основано все и без которых аналитика невозможна. И вот их не стало. Однако ничто не терпит пустоты и на их место стали претендовать российские системы: без проблем с локализацией интерфейса, с нормальными функциональными возможностями и с особым подходом к рынку. Или…? В общем, давайте разберемся в том, какие BI-платформы представлены на российском рынке, что они умеют и чему им ещё предстоит научиться.

В этом обзоре сравнили несколько отечественных BI-платформ корпоративного уровня. Рассмотрели их функциональность, технические особенности, способы работы с данными, а также оценили подход к клиентам, цены и условия лицензирования. Для аналитиков и СТО — must read.

В одном из американских сериалов про полицию я услышал фразу, которую старший следователь говорит новичку в отделе: «Послушай, самое страшное в том, что ты даже не знаешь, чего не знаешь». Кажется, что эта фраза идеально подходит для описания современного бизнеса.

Привет! Это команда курса «Аналитик данных» в Практикуме. Мы подготовили подборку статей и видео, которые помогут сделать первые шаги в аналитике и поучиться у экспертов рынка. Здесь вы найдёте объяснения базовых принципов A/B-тестирования, узнаете о типичных ошибках, способах ускорения экспериментов и проверке гипотез. А ещё сможете познакомиться с опытом экспертов и крупных корпораций, которые делятся своими практиками и лайфхаками.

Поговорим о «грехах», которые часто совершают начинающие аналитики данных. Эта информация будет полезна и другим специалистам, работающим с аналитиками — например, ML и дата-инженерам, а также руководителям и менеджерам, которые хотят знать, где могут возникнуть ошибки и как их предотвратить. Просто показывать пальцем и цокать языком не будем: в статье будут полезные инсайты, которые помогут улучшить качество вашей работы.

Привет, Хабр! На связи команда Ad-Hoc аналитики X5 Tech. В этой статье расскажем, как мы научили поиск извлекать важные сущности из запросов пользователей. Полный разбор реализации NER (Named Entity Recognition) для продуктового ритейла, шаг за шагом: как мы размечали данные, считали метрики на уровне токенов и сущностей — и почему для коротких и длинных запросов потребовались разные архитектурные решения.

Привет, Хабр! 👋 Меня зовут Семён Юников, я Head of BI в банке Уралсиб. Сегодня расскажу о том, как наш отдел собственными силами превратил масштабную задачу по улучшению аналитических артефактов в захватывающее и геймифицированное приключение под названием BI Challenge. Более 80 участников (внутренних разработчиков нашего Банка), свыше 1000 дашбордов, десятки внутренних обновлений и одно большое профессиональное сообщество.

Благодаря (в том числе) статье на Хабре от 2010 года в 2011-2012 гг. плотно изучал, что такое блокчейн и криптовалюта.

И, если сначала многие считали это гиковским изобретением, некой вещью-в-себе, то позже большая четвёрка решила родить мысль о том, что криптовалюта - скам, а вот блокчейн - важное изобретение человечества (но, как заметил С. Возняк, всё ровно наоборот, хотя и он был не прав); после этого, в криптозиму 2018-го посыпались утверждения о том, что блокчейн вообще никому и нигде не нужен; в 2020-х риторика сменилась на то, что блокчейн нужен, но не везде и, наконец, сейчас блокчейны настолько разнообразны, как по скорости (масштабированию), так и по безопасности, и децентрализации, что их можно применять везде и внедряют их повсюду: от учёта права собственности (в Грузии) и планирования бюджета (в США) - до токенизации всего и вся (RWA, DePin, etc.). 

И тем не менее у блокчейна и криптовалют, благодаря мифологии, навязанной СМИ, всё ещё много противников и критиков. 

Они никак не хотят признавать один важный и очевидный факт: чтобы человечеству рвануть вперёд, к цивилизации I-II-III типа, надо… стать человечеством именно, т.е. единым, планетарным видом. Для этого в свою очередь необходимо решить 4 фундаментальные проблемы:

Привет, Хабр! Хочу поделиться своей историей того, как я пришла к GitHub Actions в попытках автоматизировать сбор аналитики для личного использования.

Статья будет полезна аналитикам, которые хотят автоматизировать сбор и анализ данных для своих небольших пет‑проектов.

Фича для мобилки, которая должна работать на более ранних версиях.
Как подойти к реализации и преодолеть ограничения?

Книг по Data Science в последние годы выходит просто море — от толстых академических учебников, перегруженных формулами, до популярных «лайтовых» пособий, обещающих образно говоря, за неделю научить предсказывать курс биткоина. Но далеко не каждая книга способна удержаться в золотой середине: быть одновременно достаточно практичной, понятной и при этом содержательной. Русское издание «Изучаем Data Science» как раз из таких примеров, на которые можно порекомендовать обратить внимание (хотя формул здесь тоже хватает).

Есть множество инструментов для создания AI-агентов, и в основе им нужно три вещи. Во-первых, им нужно понимать свою основную цель и правила, в рамках которых они должны работать. Например, вы можете создать агента и сказать ему: «Ты здесь, чтобы помогать клиентам с общими запросами о существующих услугах банка». Во-вторых, нам нужен промпт — это запрос к агенту, который агент может попытаться выполнить. И наконец, нужен набор инструментов — это действия и системы, к которым агент имеет доступ, чтобы исполнить запрос.

Большинство конструкторов агентов объединяют эти три требования в одну статическую, синхронную систему, но в Camunda мы решили этого не делать. Мы обнаружили, что это создаёт слишком много ограничений для применения, не масштабируется и сложно поддерживается. Чтобы преодолеть эти ограничения, мы придумали концепцию, которая позволяет разделить эти требования и полностью визуализировать агента так, чтобы открыть его для гораздо большего числа сценариев использования — не только на техническом уровне, но и в такой форме, которая снимает многие опасения у людей, добавляющих AI-агентов в свои основные процессы.

Хабр, привет! Меня зовут Вячеслав Демин, я больше четырёх лет работаю в сфере Data Science. Сейчас руковожу направлением аналитики данных в Сбере и преподаю на курсе «Специалист по Data Science» в Яндекс Практикуме. Начинал с этого же курса в 2020 году, после чего работал в сфере страхования и нефтехимии.

В этом материале расскажу, чем стажёр отличается от джуниора, а джуниор от джуниора-плюс — и какие требования к дата-сайентистам начальных грейдов предъявляют работодатели.

После моей первой статьи про пирамиду ICN Holding поступил аргументированный (ну как…) ответ на подсвеченные мной красные флаги. В этом материале мы их подробно разберем – и еще раз убедимся, что, как ни крути, в красивую и легальную картинку этот пазл никак не складывается.

В процессе поиска работы мы привыкли к тому, что компании тестируют наши навыки. Но редко задумываемся, что тестовое задание — это не экзамен с единственно верным ответом, а прежде всего уникальная возможность заглянуть за внешний фасад компании.

Тестовое задание это результат работы её внутренних структур, культурных механизмов, ценностей и страхов, явно и неявно сформулированных в набор требований к новому идеальному сотруднику. Это её ДНК, упакованное в текст.

Эта статья — о том, как методы анализа контекста и внимания к «неважным» и неозвученным деталям позволили мне разглядеть в пунктах тестового задания очертания будущего рабочего места. О том, почему я принял решение не отправлять выполненную работу (после шести дней разбора заданий).

Привет, Хабр!

Меня зовут Елизавета Акманова, я ведущий аналитик ГК Юзтех. Как и многие из вас, бОльшую часть своей карьеры я работала с монолитными фронтендами — привычными, предсказуемыми, но не всегда гибкими. Однако недавно мне довелось стать частью проекта, где мы переходим с монолита на микрофронты.

Этот опыт стал для меня новым вызовом. Микрофронты — это другая архитектура, другие принципы, другая логика работы. И я хочу поделиться с вами своими находками, ошибками и инсайтами.

В этой статье мы разберём, что такое микрофронты и как они работают «под капотом» глазами аналитика. В следующей части расскажу про реальный процесс перехода от монолита к микрофронтам, который прошли мы с командой.

Поехали!

Представьте переводчика. Один специализируется на технических мануалах, другой — на юридических контрактах, третий — на медицинских исследованиях. Знание языка — база, но уникальными экспертами их делает знание и понимание особенностей языка в определенной сфере. Системные аналитики — такие же «переводчики» между бизнесом и ИТ, и их «специализация» (предметная область) критически важна.

Меня зовут Любовь Вайгель. Я системный аналитик MedTech-компании №1 в России — СберЗдоровье. Чтобы разобраться, как работа системного аналитика отличается в разных предметных областях, и как специалистам мягче пройти смену профиля компании, я провела собственный анализ. Подробно о полученных результатах — в статье.

Работа бизнес/системного аналитика на аутстаффе, словно увлекательное, но порой очень непредсказуемое путешествие. С одной стороны, открывается целый мир разнообразных проектов, знакомство с разными командами и бесценный опыт. С другой - приходится постоянно адаптироваться к новым условиям.

Успех аналитика в аутстаффинге, на мой взгляд, определяется не столько знанием методологий, сколько умением ладить с людьми. Постоянная смена проектов держит в тонусе, заставляет быстро осваивать новые инструменты. Но самое сложное — это каждый раз выстраивать отношения с новыми заказчиками.

Бывает, что заказчик требует строгой отчётности для каждого действия, то, наоборот, махнёт рукой и скажет: «Делайте, что считаете нужным». Тут главное — не потеряться и понять, чего он на самом деле хочет. Потому что от этого понимания зависит, как пойдёт работа дальше.

Мы, аналитики, — как лоцманы. Наша задача — провести корабль (то есть проект) через бурные воды к намеченной цели. При этом заказчики могут быть разными: опытными, самоуверенными, сомневающимися, а то и просто равнодушными. И к каждому нужен свой подход, свой ключик.

Вот и получается, что задача аналитика — не только требования собирать и документацию писать. А ещё быть психологом и дипломатом. Чтобы в итоге все остались довольны, и проект взлетел.

Поэтому хочу поделиться своими наблюдениями. Расскажу о типажах заказчиков, которые мне чаще всего встречались, и о том, как с каждым из них лучше взаимодействовать, чтобы избежать проблем и достичь желаемого результата. Постараюсь дать не просто сухую теорию, а практические советы, основанные на личном опыте.