Добрый день, дорогие читатели!
Хотела бы поделиться своим накопленным опытом и предложить вам некий универсальный чек-лист или даже в некоторой степени перечень рекомендаций в разрезе активностей и ролей, который поможет вам при интеграции систем, подготовке новых проектов. Желаю вам приятного чтения!
Арктика — стратегический, но сложный регион России, где качество жизни тесно связано с климатом, логистикой и экономикой. Чтобы понять, кто из северян планирует уехать, а кто хочет остаться, в 2024 году было проведено масштабное социологическое исследование более 10 000 жителей Арктической зоны. Основная цель — выявить факторы, определяющие миграционные намерения: возраст, доход, уровень удовлетворенности, социальные связи и восприятие стабильности. Для анализа использовался латентный классовый анализ (Latent Class Analysis, LCA) — метод, позволяющий выделить скрытые группы респондентов с похожими паттернами ответов. После очистки и перекодировки данных модель StepMix выявила три устойчивых кластера: «мобильных», намеренных покинуть Север; «оседлых», предпочитающих остаться; и «неопределившихся», колеблющихся между этими полюсами. Модель показала высокую устойчивость (ARI = 1.0, энтропия ≈ 0.96), что подтверждает надежность разделения классов. Результаты демонстрируют, что за миграционными настроениями стоят не только объективные условия жизни, но и субъективные оценки стабильности и перспектив. LCA позволил увидеть эти различия, скрытые за усредненными показателями, и показать, что в арктическом обществе существует значимая группа «сомневающихся» — тех, чье решение уехать или остаться может измениться под воздействием социальных и экономических факторов.
Один запрос выполняется 100 мс, другой — меньше 1 мс. Оба делают одно и то же, но второй написан на странном, почти алхимическом SQL. В чём подвох? Первый использует OR, а второй — хитрую комбинацию AND. Этот перевод — расследование того, почему условие OR так дорого обходится вашей базе данных, и практическое руководство по тому, как проектировать схемы, чтобы избежать этой ловушки производительности.
Приветствую, Хабр! Я продолжаю цикл статей по веб-аналитике. Последним был обзор новоиспеченного Яндекс Тег Менеджера, а сегодня разберу крайне малоизвестный, но ввиду сложившейся ситуации набирающий популярность Motomo Tag Manager.
Привет, я Мариам Джанунц, мидл QA-инженер Битрикс24 в Далее. В статье покажу на реальных примерах, как использовать методы тест‑дизайна при проверке сложных бизнес-процессов. Когда есть десятки ролей, ветвлений и условий — и один баг в логике может сломать всю цепочку.
Материал полезен QA, проектным менеджерам, аналитикам и всем, кто работает с enterprise-решениями — системами, в которых важна устойчивость и прозрачность CJM. Вы узнаете, как не утонуть в бесконечных кейсах и минимальными артефактами держать под контролем весь процесс.
dbt — это фреймворк для трансформации данных внутри хранилища и отличный инструмент для аналитиков и дата-инженеров на больших проектах, где число SQL-скриптов может переваливать за сотни. Мы с командой много работаем с dbt, и в этой статье хочу поделиться своим опытом: расскажу о его ключевых элементах и некоторых лучших практиках на примере одного кейса.
Это не гайд, как развернуть dbt и создать проект, а знакомство с тулом для тех, кто пока с ним не работал и хочет разобраться, что это вообще такое.
Для решения классических аналитических задач в банке дата‑специалисты обрабатывают миллиарды транзакций. Поэтому создание единого информационного пространства для работы с большими объёмами данных потребует решить как задачи оптимизации производительности и обеспечения безопасности, так и задачи удобства для пользователей — и найти баланс между ними.
Сергей Виноградов на конференции Data&ML2Business рассказал про разработку и построение DWH для задач Яндекс Пэй. В этой статье — дополненный рассказ о том, как устроена аналитическая платформа на базе Greenplum® и ClickHouse®, которую решили строить на базе managed‑сервисов в облаке. А также о том, как жизнь аналитиков облегчает связка Apache Spark™ и Jupyter‑ноутбуков в Yandex DataSphere.
Цепочка создания ценности — это путь, который проходит продукт от идеи до конечного результата, полученного клиентом. Каждый шаг добавляет новую часть ценности. Чтобы управлять этим процессом, его нужно видеть целиком: сбой на любом этапе отражается на результате.
Modus BI здесь работает сквозным слоем — объединяет данные всех этапов в единую систему для управления цепочкой создания ценности.
В современном бизнесе обработка больших объемов текстовой информации остается серьезным вызовом. В практике искусственного интеллекта и анализа данных компании «Технологии Доверия» мы регулярно сталкиваемся с запросами клиентов на оптимизацию процессов работы с документами. Сегодня мы хотим поделиться историей создания инновационного решения, которое помогло нашему бизнесу и бизнесу наших клиентов справиться с этой задачей.
В сегодняшней, уже третьей по счету, публикации я продолжу делится результатами нагрузочных испытаний вычислительных технологий массивных параллельных вычислений (на Habr уже представлены мои материалы, посвященные сравнению Impala, Trino и Greenplum, в том числе по методике TPC-DS). В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.
Всем привет! Меня зовут Ирина Загирова, я являюсь системным аналитиком в Банке Уралсиб. Сегодня хочу рассказать о трендовом инструменте, который уже помогает большому количеству людей в повседневной работе. Так же и в работе аналитика этот инструмент уже незаменим. Речь пойдет о нейросетях.
Нейросети помогают свести информацию в визуальный пример за короткие сроки. Что особенно важно для спринтов в рамках Agile, чтобы успеть провести груминг задачи и составить спецификацию функциональных требований.
Аналитика данных — направление, в котором специалисты умеют видеть в на первый взгляд сложной выгрузке данных целые процессы, закономерности и возможности для улучшения продуктов или услуг бизнеса. Например, у нас в Хабре аналитики могут посмотреть, какая аудитория читает определенный блог: выявить, откуда она приходит, понять её специализацию, средний возраст, пол, интересы в сообществе и даже готовность к работе.
Аналитики могут строить исследования — например, о зарплатах, или составлять рейтинги. А еще могут посмотреть, какой знак зодиака преобладает среди коллег — по неформальному запросу. Но все это — большая работа с данными, которые нужно уметь правильно обрабатывать.
Знаем, что самое сложное — понять, с чего вообще начать, если вы задумались о том, чтобы стать аналитиком. Для этого мы написали эту статью.
Курсы учат «эталонному» ТЗ на десятки страниц с диаграммами и ссылками на стандарты. Такое полотно текста выглядит надёжным, но на практике это оборачивается задержками. Пока аналитик пишет документацию «по правилам», команда ждёт задачу. Для бизнеса, который ждал изменений «ещё вчера», это выглядит так, будто аналитик тормозит процесс, хотя он просто следует инструкции.
Меня зовут Ольга, я бизнес-аналитик в Outlines Tech. Пятнадцать лет работаю в финтехе, сейчас отвечаю за операционные риски. Хочу поделиться мнением, почему шаблоны это не панацея и как бизнес-аналитик может ставить задачи быстрее и понятнее. Об этом редко говорят на курсах и конференциях, хотя именно это определяет эффективность работы.
История моделей данных — это не строгое следование хронологии, а путь нарастания сложности для решения всё более трудных задач. Чтобы понять, почему появились сложные модели, нужно начать с самой простой и интуитивно понятной из них. Это проведет нас от базовых структур к комплексным, позволит осознанно выбирать инструмент, понимая все предпосылки и компромиссы.
«Широкие» таблицы
Путь поиска баланса между простотой, производительностью и гибкостью начинался с «широких» (их также называют «плоских») таблиц, где вся информация хранится в единой структуре. Это была эпоха простоты: достаточно одного запроса — и все двести атрибутов пользователя оказывались у вас в руках. Процесс извлечения данных был быстрым и интуитивно понятным, поскольку обходился без сложных соединений и подзапросов.
Однако у этой простоты обнаружилась обратная сторона — избыточность. Представьте, что данные о сотрудниках и их работодателях хранятся в одной таблице. Если компания меняет название, то необходимо обновлять каждую запись, которая связана с изменяемой информацией. Это не только расточительно с точки зрения хранения, но и чревато аномалиями в данных. Также при увеличении количества данных в «широких плоских» таблицах возрастает и риск нарушения консистентности информации.
Меня зовут Витя, в Selectel я работаю проектировщиком интерфейсов. В нашей команде анализом решений, связанных с пользовательским образом, занимается дизайнер. Такой подход позволяет быть ближе к пользователям и проектировать сценарии взаимодействия, продумывая метрики, на которые мы будем смотреть в перспективе, и оценивать их эффективность. Возможно, вы читали мои статьи и знаете, как мы используем PostHog в работе.
За долгую практику работы с сервисом накопилось большое количество кейсов, когда PostHog помогал мне получать и обрабатывать данные. Хочу поделиться знаниями с начинающими дизайнерами, аналитиками и продактами.
Всем привет! Меня зовут Анастасия Козлова, я Senior BI Analyst в маркетинге Skyeng. Сегодня хочу рассказать, как мы научились справедливо оценивать вклад каждого рекламного канала с помощью кастомной мультиканальной модели атрибуции, что нас к этому подтолкнуло и как мы её настроили технически.
На сегодняшний день ритейл стал частью нашей повседневной жизни. Поход в магазин, покупка на онлайн-платформе или заказ доставки товаров стали обыденностью для миллионов пользователей. Учитывая этот факт, нужно понимать, что ритейл всегда был важной частью экономики, отражающей как макроэкономические показатели и технологические тенденции, так и повседневные изменения в поведении потребителей. Будучи связующим звеном между производством и конечным потребителем, розничная торговля выполняет не только утилитарную, но и стратегическую функцию, выступая своеобразным индикатором экономического здоровья страны. По существующим экономическим индикаторам и показателям в розничной торговле можно легко увидеть колебания потребительской активности, изменения в структуре расходов населения и реакции бизнеса на экономические вызовы и структурные перестройки.
Цифровизация в ритейле активно меняет способы, которыми компании взаимодействуют с потребителями, организуют логистику и управляют складскими запасами. Это не просто тренд, а необходимость для выживания в условиях высокой конкуренции и быстрых изменений на рынке.
В подготовленном мною материале я предлагаю рассмотреть ключевые технологические тренды, формирующие будущее глобального продуктового ритейла. На основе данных из международных отчетов, таких как ReportsInsights, Statsmarketresearch, WiFiTalents и др., анализируются аспекты цифровизации, способные определить конкурентоспособность розничных игроков в новой экономической реальности.
Вы думали, что гонитесь за оборотом на маркетплейсах?
Наивные!
Пока вы празднуете каждый новый заказ, в юнитке живет нечто, медленно, но верно высасывающее вашу прибыль. Этот поедатель маржи не просто ее съедает; он сливает рекламный бюджет, замораживает капитал в стоках и наносит вашей логистике смертельный удар.
Каждый невыкупленный товар — это не просто потерянная продажа, это очередная гниющая рана вашей P&L, приводящая к сепсису всего вашего бизнеса.
Жертвы неоправданных расчетов! Пришло время взглянуть в лицо этому KPI-убийце и узнать, как обезвредить его, прежде чем он приведет к схлопыванию бизнеса.
Или вы позволите ему поглотить вас, оставив лишь красный баланс и отрицательный кэш-флоу?
Выбор за вами, пока еще есть выбор.
Привет, хабр! В прошлой статье мы говорили о применении языков разметки для описания графических артефактов, идее языка разметки для аналитиков и приложении для генерации макетов UI и BPMN схем.
В сегодняшней статье хочу рассказать об эволюции экспериментов с разметкой и поделиться опытом разработки генератора веб форм для 1С, который позволяет прототипировать и запускать автоматизацию бизнес процессов, эмулируя работу пользователя с ТСД.
Всем привет! Меня зовут Данеш, я — разработчик BI, и одна из популярных платформ для бизнес-аналитики, с которой я работаю, — Qlik Sense. Даже сегодня, несмотря на то, что платформа зарубежная, многие выбирают ее. Но для некоторых задач возможностей Qlik Sense не хватает. Например, Qlik не справляется с тяжелыми циклическими вычислениями и посимвольным сравнением строк. Рассказываю, как решили одну задачу, которая казалось на первый взгляд простой.