Системный и бизнес-анализ

В сегодняшней, уже третьей по счету, публикации я продолжу делится результатами нагрузочных испытаний вычислительных технологий массивных параллельных вычислений (на Habr уже представлены мои материалы, посвященные сравнению Impala, Trino и Greenplum, в том числе по методике TPC-DS). В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.

Всем привет! Меня зовут Ирина Загирова, я являюсь системным аналитиком в Банке Уралсиб. Сегодня хочу рассказать о трендовом инструменте, который уже помогает большому количеству людей в повседневной работе. Так же и в работе аналитика этот инструмент уже незаменим. Речь пойдет о нейросетях.

Нейросети помогают свести информацию в визуальный пример за короткие сроки. Что особенно важно для спринтов в рамках Agile, чтобы успеть провести груминг задачи и составить спецификацию функциональных требований.

Аналитика данных — направление, в котором специалисты умеют видеть в на первый взгляд сложной выгрузке данных целые процессы, закономерности и возможности для улучшения продуктов или услуг бизнеса. Например, у нас в Хабре аналитики могут посмотреть, какая аудитория читает определенный блог: выявить, откуда она приходит, понять её специализацию, средний возраст, пол, интересы в сообществе и даже готовность к работе. 

Аналитики могут строить исследования — например, о зарплатах, или составлять рейтинги. А еще могут посмотреть, какой знак зодиака преобладает среди коллег — по неформальному запросу. Но все это — большая работа с данными, которые нужно уметь правильно обрабатывать. 

Знаем, что самое сложное — понять, с чего вообще начать, если вы задумались о том, чтобы стать аналитиком. Для этого мы написали эту статью.

Курсы учат «эталонному» ТЗ на десятки страниц с диаграммами и ссылками на стандарты. Такое полотно текста выглядит надёжным, но на практике это оборачивается задержками. Пока аналитик пишет документацию «по правилам», команда ждёт задачу. Для бизнеса, который ждал изменений «ещё вчера», это выглядит так, будто аналитик тормозит процесс, хотя он просто следует инструкции.

Меня зовут Ольга, я бизнес-аналитик в Outlines Tech. Пятнадцать лет работаю в финтехе, сейчас отвечаю за операционные риски. Хочу поделиться мнением, почему шаблоны это не панацея и как бизнес-аналитик может ставить задачи быстрее и понятнее. Об этом редко говорят на курсах и конференциях, хотя именно это определяет эффективность работы.

История моделей данных  — это не строгое следование хронологии, а путь нарастания сложности для решения всё более трудных задач. Чтобы понять, почему появились сложные модели, нужно начать с самой простой и интуитивно понятной из них. Это проведет нас от базовых структур к комплексным, позволит осознанно выбирать инструмент, понимая все предпосылки и компромиссы.

«Широкие» таблицы

Путь поиска баланса между простотой, производительностью и гибкостью начинался с «широких» (их также называют «плоских») таблиц, где вся информация хранится в единой структуре. Это была эпоха простоты: достаточно одного запроса — и все двести атрибутов пользователя оказывались у вас в руках. Процесс извлечения данных был быстрым и интуитивно понятным, поскольку обходился без сложных соединений и подзапросов.

Однако у этой простоты обнаружилась обратная сторона — избыточность. Представьте, что данные о сотрудниках и их работодателях хранятся в одной таблице. Если компания меняет название, то необходимо обновлять каждую запись, которая связана с изменяемой информацией. Это не только расточительно с точки зрения хранения, но и чревато аномалиями в данных. Также при увеличении количества данных в «широких плоских» таблицах возрастает и риск нарушения консистентности информации.

Меня зовут Витя, в Selectel я работаю проектировщиком интерфейсов. В нашей команде анализом решений, связанных с пользовательским образом, занимается дизайнер. Такой подход позволяет быть ближе к пользователям и проектировать сценарии взаимодействия, продумывая метрики, на которые мы будем смотреть в перспективе, и оценивать их эффективность. Возможно, вы читали мои статьи и знаете, как мы используем PostHog в работе.

За долгую практику работы с сервисом накопилось большое количество кейсов, когда PostHog помогал мне получать и обрабатывать данные. Хочу поделиться знаниями с начинающими дизайнерами, аналитиками и продактами.

Всем привет! Меня зовут Анастасия Козлова, я Senior BI Analyst в маркетинге Skyeng. Сегодня хочу рассказать, как мы научились справедливо оценивать вклад каждого рекламного канала с помощью кастомной мультиканальной модели атрибуции, что нас к этому подтолкнуло и как мы её настроили технически. 

На сегодняшний день ритейл стал частью нашей повседневной жизни. Поход в магазин, покупка на онлайн-платформе или заказ доставки товаров стали обыденностью для миллионов пользователей. Учитывая этот факт, нужно понимать, что ритейл всегда был важной частью экономики, отражающей как макроэкономические показатели и технологические тенденции, так и повседневные изменения в поведении потребителей. Будучи связующим звеном между производством и конечным потребителем, розничная торговля выполняет не только утилитарную, но и стратегическую функцию, выступая своеобразным индикатором экономического здоровья страны. По существующим экономическим индикаторам и показателям в розничной торговле можно легко увидеть колебания потребительской активности, изменения в структуре расходов населения и реакции бизнеса на экономические вызовы и структурные перестройки.

Цифровизация в ритейле активно меняет способы, которыми компании взаимодействуют с потребителями, организуют логистику и управляют складскими запасами. Это не просто тренд, а необходимость для выживания в условиях высокой конкуренции и быстрых изменений на рынке.

В подготовленном мною материале я предлагаю рассмотреть ключевые технологические тренды, формирующие будущее глобального продуктового ритейла. На основе данных из международных отчетов, таких как ReportsInsights, Statsmarketresearch, WiFiTalents и др., анализируются аспекты цифровизации, способные определить конкурентоспособность розничных игроков в новой экономической реальности.

Вы думали, что гонитесь за оборотом на маркетплейсах?
Наивные!

Пока вы празднуете каждый новый заказ, в юнитке живет нечто, медленно, но верно высасывающее вашу прибыль. Этот поедатель маржи не просто ее съедает; он сливает рекламный бюджет, замораживает капитал в стоках и наносит вашей логистике смертельный удар.

Каждый невыкупленный товар — это не просто потерянная продажа, это очередная гниющая рана вашей P&L, приводящая к сепсису всего вашего бизнеса.

Жертвы неоправданных расчетов! Пришло время взглянуть в лицо этому KPI-убийце и узнать, как обезвредить его, прежде чем он приведет к схлопыванию бизнеса.

Или вы позволите ему поглотить вас, оставив лишь красный баланс и отрицательный кэш-флоу?

Выбор за вами, пока еще есть выбор.

Привет, хабр! В прошлой статье мы говорили о применении языков разметки для описания графических артефактов, идее языка разметки для аналитиков и приложении для генерации макетов UI и BPMN схем.

В сегодняшней статье хочу рассказать об эволюции экспериментов с разметкой и поделиться опытом разработки генератора веб форм для 1С, который позволяет прототипировать и запускать автоматизацию бизнес процессов, эмулируя работу пользователя с ТСД.

Всем привет! Меня зовут Данеш, я — разработчик BI, и одна из популярных платформ для бизнес-аналитики, с которой я работаю, — Qlik Sense. Даже сегодня, несмотря на то, что платформа зарубежная, многие выбирают ее. Но для некоторых задач возможностей Qlik Sense не хватает. Например, Qlik не справляется с тяжелыми циклическими вычислениями и посимвольным сравнением строк. Рассказываю, как решили одну задачу, которая казалось на первый взгляд простой.

Привет, Хабр! На связи команда PT Cyber Analytics. Мы подготовили для вас материал по устройству и безопасности современных беспроводных сетей. В его основе — результаты проведенных проектов и экспертиза наших исследователей.

Представьте, что вы вернулись в 1995 год. Там, где вместо гигабитных скоростей — dial-up, вместо Netflix — видеокассеты, а Wi-Fi — это магия, передающая данные со скоростью всего лишь 1–2 Мбит/с. Сейчас все иначе: беспроводные сети — от домашнего Wi-Fi до корпоративных инфраструктур, поддерживающих сотни устройств одновременно, — стали неотъемлемой частью нашей цифровой жизни.

Кажется, что может быть проще — взять интервью. Возможно, для кого‑то и так, но практика показывает, что без подготовки и опыта результат интервью может быть неудовлетворительным.

В этой статье я делюсь своими скромными наработками для проведения аналитического интервью — ведь долгая работа в проектах заставляет на практике познать все нюансы. И, возможно, кому‑то мои наработки будут полезны — чтобы не пополнять «кладбище» неудач.

Говоря о серьезных кластерах в компаниях, нам часто приходится взаимодействовать со сторонними отделами и их данными. И зачастую, когда речь идет об ad-hoc, самый эффективный инструмент - Trino. Он удобен тем, что в платформе данных можно добавить каталог, который позволит по сути избежать настройки коннекшена для конечного пользователя. Просто в запросе указываешь название каталога данных и трино сам понимает, что нужно взять данные со сторонней базы данных. Но все меняется, когда выразительности SQL нам перестает хватать для выполнения поставленных задач и мы переходим в Spark. Точнее, менялось. С релизом Spark 3.0 появилась возможность взаимодействовать с внешними источниками так же просто, как в Trino.

Примечание: Статья посвящена формату XBRL-CSV2 (тэг "@context":"www.cbr.ru/xbrl_csv2").

Авторство формата принадлежит Банку России.
Автор статьи — архитектор, принимавший участие в разработке формата в качестве технического специалиста.

Введение.

Банк России использует стандарт XBRL для сбора отчетности от некредитных финансовых организаций. Несмотря на всю продуманность XBRL, при формировании и обработке отчетности возникает проблема, связанная с реестровыми формами.

Эти формы содержат гиперкубы с открытыми осями. При большой вариативности значений таких осей реестровые отчеты становятся чрезвычайно объемными.

Решение этой проблемы — создание производного от XBRL-XML формата: XBRL-CSV.

Основная предпосылка: CSV органически приспособлен для хранения реестровых форм. Открытые оси выносятся в начальные колонки, а комбинации значений ячеек открытых осей в каждой строке образуют составной открытый ключ, однозначно идентифицирующий запись.

Остальные колонки — это данные, которые определяют три аспекта показателя:

Привет! Я Рамиль Сакаев — аналитик в команде Авито Авто. В статье рассказываю, как адаптированная RFM-методология помогла нам выявить недоработанные зоны CRM-коммуникаций и создать бенчмарк для маркетологов.

Привет, Хабр! На связи Егор Марюшко.

Я не верю в то, что ИИ отберёт у бизнес и системных аналитиков работу.

Как сказал Крейг Винг в одном из своих выступлений: «ИИ — это невероятно дорогостоящий галлюцинирующий попугай, комбинирующий лишь то, что увидел».

ИИ — это современный и перспективный инструмент, и им надо уметь пользоваться. Любой инструмент должен быть простым, полезным и эффективным. Я решил подготовить серию статей с промтами, минимальная модификация которых позволяет решать конкретные задачи, регулярно возникающие перед аналитиком. Не пытаться заменить его творческую и аналитическую деятельность, а упростить и ускорить рутинные операции.

В данной статье разберём промт для создания критериев приемки (Acceptance Criteria) для User Story, проверим его работу на наиболее распространённых и доступных ИИ: ChatGPT, DeepSeek, Qwen, Алиса (Яндекс GPT), GigaChat.

Тема применения сервисов GenAI сейчас на хайпе, на конференциях по этой теме всегда аншлаг, а подавляющее большинство пользователей «играется» с текстовыми запросами в бесплатных сервисах, восторгаясь полученными результатами.

В этой статье хочу пойти дальше и определиться с понятием AI-агентов и показать пример создания AI-агента с помощью системы n8n.io и популярных сервисов GenAI.

Самые интересные новости финансов и технологий в России и мире за неделю: серебро и золото продолжают ставить рекорды, JPMorgan боится тараканов, принудительное гашение четырех фондов Тинькофф, новый самый молодой миллиардер, США раздумывают над спецоперацией в Венесуэле, ChatGPT снимет ограничения на эротику, а роботов Илона Маск не могут дособирать (потому что у них нет лапок).

Как устроен формат кодирования с плавающей точкой, что он из себя представляют и где может использоваться.