Pull to refresh
21
0
Андрей Харлак @qlever

технический директор Qlever Solutions

Send message

Что такое Ansible и как применяется в DWH-проектах? Сравнение Ansible с Puppet, Chef, SaltStack

Reading time11 min
Views6.4K

В статье рассказываем, что такое Ansible и как инструмент может применяться в проектах DWH: от автоматического развертывания и настройки компонентов до восстановления после сбоев и централизованного управления параметрами.

Сравниваем Ansible с другими инструментами для автоматизации управления инфраструктурой: Puppet, Chef, SaltStack.

Читать далее

Зачем бизнесу нужно DWH и как обосновать необходимость проекта? Можно ли оценить окупаемость хранилища?

Reading time9 min
Views3.2K

Проекты внедрения DWH относятся к трудоемким и всегда требуют вложений, стоимость проектов начинается от 1,5 млн руб.

К проекту необходимо привлекать системных аналитиков, архитекторов DWH, разработчиков, DevOps, дата-инженеров. Кроме затрат на ФОТ, нужны бюджеты на инфраструктуру и технологии, так как готового решения DWH из "коробки" не существует.

Как при таких затратах аргументировать для бизнеса необходимость внедрения DWH? Какие бизнес-задачи может решить хранилище данных? Можно ли оценить окупаемость и эффективность внедрения? Читайте в статье.

Читать далее

Логика построения BI-приложения. Методология DAR для проектирования дашбордов

Reading time5 min
Views3.3K

В BI-системах визуализации объединяются в листы, а несколько листов, отражающих конкретную предметную область, называются аналитическим приложением.

Структура приложения может как упростить восприятие данных, позволяя быстро находить нужную информацию, так и усложнить процесс анализа, если приложение построено хаотично.

В этой статье рассказываем о методологии DAR для разработки аналитического приложения на основе дедуктивного способа познания.

Читать далее

Четыре вида аналитики данных: дескриптивная, диагностическая, предиктивная, прескриптивная

Reading time6 min
Views9.3K

В процессе аналитики данные преобразуются в информацию и формируют знания, помогающие действовать своевременно и эффективно в ответ на вызовы рынка.

В материале разбираемся, чем данные отличаются от информации и рассказываем о четырех уровнях анализа данных:

Описательном

Диагностическом

Предиктивном

Предписывающем

Читать далее

Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциями

Reading time14 min
Views24K

Эпоха современных хранилищ данных началась с появления реляционных баз данных (далее БД). С появлением бизнес‑аналитики следствием развития БД стала концепция Data Warehouse (корпоративное хранилище данных, DWH).

Дальнейший рост объемов данных, введение термина «большие данные» и разнообразие требований к обработке привели к эволюции архитектур данных.

Рассмотрим этапы эволюции архитектуры данных: чем отличаются концепции, какие у них преимущества и недостатки, для каких задач в работе с данными подходят.

Читать далее

Как DWH и BI-аналитика может помочь устранить до 80% ошибок при планировании отгрузок на маркетплейсы

Reading time8 min
Views3.6K

Для проведения многомерного анализа продаж и разработки дальнейшей стратегии, необходимо учитывать не только розничные и онлайн-продажи, но и проводить анализ результатов торговли и результатов конкурентов на маркетплейсах: объем заказов, выкупа и возвратов, остатки на складах, затраты на логистику, сравнение с конкурентами и т. д.

Получить единый доступ к данным из Wildberries, Ozon, Яндекс Маркет и платформ аналитики маркетплейсов (Маяк, SellerFox, Moneyplace, MPStats) помогут корпоративное хранилище данных и аналитические приложения на базе современной BI-платформы.

В статье на примере дашбордов, разработанных для крупного производителя детской одежды с более 70 магазинами в России и странах СНГ, рассказываем, как DWH и BI могут помочь:

• Разрабатывать новые стратегии маркетинга и продаж на маркетплейсах
• Проводить ABC-XYZ анализ товаров
• Планировать отгрузки продукции на склады

Читать далее

7 способов выгрузить данные из 1С для бизнес-аналитики

Reading time7 min
Views19K

При загрузке данных из 1С во внешнюю BI‑платформу обычно возникают трудности. 1C — закрытая проприетарная система, подключиться к которой напрямую и просто выгрузить данные без нарушения лицензионной политики нельзя.

Как решить эту проблему?

Рассматриваем 7 самых популярных способов извлечения данных из 1С для бизнес‑аналитики, их плюсы и минусы.

Читать далее

Как сделать дашборд в FineBI за 15 минут? Инструкция по созданию визуализаций

Reading time4 min
Views4.6K

FineBI – флагманская self-service платформа для бизнес-аналитики от китайского разработчика FanRuan, которая предлагает функциональность, удобство использования, широкие возможности масштабирования и легкую интеграцию с различными источниками данных.

Рассказываем, как создать простой дашборд в BI-платформе FineBI.

Читать далее

Как правильно визуализировать данные, чтобы принимать эффективные решения?

Reading time10 min
Views16K

Для того чтобы данные были понятны даже для неподготовленного человека, их можно представить в виде визуализаций: графиков, диаграмм, таблиц, карт.

В статье рассказываем, как создавать эффективные визуализации, которые раскроют природу данных и помогут выявить скрытые в них закономерности.

Читать далее

Как подойти к внедрению DWH, чтобы не было «больно»? Какие методологии использовать и какой стек выбрать?

Reading time9 min
Views7.5K

В статье рассказываем о том, кому стоит задуматься о внедрении DWH, как сократить вероятность ошибок на этапе разработки проекта, выбрать стек, методологию и сэкономить ИТ-бюджеты. 

Читать далее

Что такое СУБД Greenplum? Зачем она нужна в больших проектах DWH? Чем отличается от ClickHouse?

Reading time9 min
Views34K

Ошибки в построении DWH возникают не только в результате того, что первоначально не были учтены возможные изменения в бизнес-процессах, потребностях и целях компании, но и из-за некорректного выбора стека технологий и СУБД. 

Порядок хранения данных выбирается в соответствии с разными сценариями работы - запросами, разным объемом данных, количеством транзакций, необходимостью обновлений данных.

В статье читайте о СУБД Greenplum и о том, в каких случаях строить хранилища на ее основе.

Читать далее

Снежинка, Data Vault, Anchor Modeling. Какая методология проектирования DWH подойдет для вашего бизнеса?

Reading time6 min
Views20K

Зачем тратить время на выбор методологии построения DWH? Крайне важно правильно выбрать методологию моделирования данных для хранилища еще на этапе проектирования, это поможет обеспечить необходимый уровень гибкости и масштабируемости, а также позволит синхронизоваться с поставленными бизнес-задачами.

Сравниваем Снежинку, Data Vault и Anchor Modeling и предлагаем алгоритм выбора методологии построения DWH.

Читать далее

Вредные советы: как самостоятельно внедрить DWH и потратить впустую деньги и время

Reading time7 min
Views7.3K

DWH — это единый репозиторий структурированных данных для построения бизнес-аналитики, отчётов и обеспечения исторического анализа данных.
Многие компании осознают необходимость создания корпоративного хранилища, но не все понимают, что внедрение DWH при неграмотном, спешном подходе может стать дорогим удовольствием, только усугубляющим проблемы в работе с данными.

Читать далее

Как мигрировать на российский BI без потери качества?

Reading time4 min
Views2.9K

После ухода основных вендоров BI-решений: Qlik, Tableau, Power BI, проблема экстренного импортозамещения коснулась многих.
Во избежание приостановки процессов бизнес начал искать возможности продления лицензий или миграции на другую платформу без потери функциональности.
Делюсь эффективными шагами при организации проекта миграции на отечественную платформу на примере перехода с Qlik на PIX BI.

Читать далее

Как настроить подключение к ClickHouse в FineBI V6.0?

Level of difficultyEasy
Reading time2 min
Views1.8K

В последнее время в работе часто сталкиваюсь с вопросом про подключение FineBI V6.0 к ClickHouse - столбцовой системе управления базами данных (СУБД) для онлайн обработки аналитических запросов (OLAP). Ловите пошаговую инструкцию.

Читать далее

Кто управляет информацией — тот владеет миром: как сделать так, чтобы данные генерировали прибыль, а не убытки?

Level of difficultyMedium
Reading time8 min
Views2.6K

У всех компаний есть разнообразные данные: о клиентах, транзакциях, закупках, оборудовании, доходах и расходах. Но для одних компаний данные – драйвер роста, а другие несут убытки, полагаясь на них. Разница в том, что первые управляют информацией: знают, как и в какой форме она поступает, как ее внести в корпоративные системы, обогатить, и главное - как использовать, а вторые пускают эту работу на самотек и живут в зоопарке информационных систем без единой версии правды.

Это обзорный материал, я расскажу в нем об объектах основных данных, о том, по каким причинам часто возникают ошибки, какими инструментами улучшить качество данных и рассмотрю шаги конкретного проекта по внедрению НСИ.

Читать далее

8 шагов по внедрению проекта по управлению нормативно-справочной информацией (НСИ) и расчет окупаемости ROI

Level of difficultyMedium
Reading time6 min
Views6.4K

Компании годами пользуются устаревшими, полными ошибок и задвоений справочниками клиентов, контрагентов или товаров, но не рассчитывают, насколько дорого это обходится. Справочники и классификаторы, содержащие основные данные бизнеса, называются НСИ (нормативно-справочная информация). По ссылке выше я рассказывал, что это и зачем приводить НСИ в порядок.

Несмотря на убытки, вызванные некачественными данными, бизнес часто откладывает проект по внедрению системы управления НСИ как дорогостоящий. Я приведу расчет ROI (return of investment – коэффициент рентабельности инвестиций) для телеком-компании, которая уже на 2 год может выйти на окупаемость 192% с опорой на пошаговый план внедрения, который позволит не затянуть проект.

Читать далее

Roadmap построения эффективной бизнес-аналитики для ресторанной сети — 5 ключевых показателей

Level of difficultyMedium
Reading time6 min
Views8.8K

Я уже более 10 лет работаю в сфере корпоративной бизнес-аналитики, и, основываясь на этом опыте, могу сказать, что первым препятствием к внедрению часто является непонимание, какую вообще пользу можно получить и какие данные для этого надо анализировать.

Это статья – первая из серии, где я раскрою оптимальную последовательность обработки информации, которая позволяет получить максимальную ценность из данных. Рассматривать буду на примере ресторанной сети, поскольку мой опыт в значительной степени был связан именно с аналитикой для «большой тройки» фастфуда.

Вот roadmap, по которому мы будем двигаться, и сегодня в фокусе финансовые показатели.

Читать далее

5 лучших практик для успешной стратегии управления мастер-данными

Reading time4 min
Views2.6K

Задумывались ли вы, во сколько вашему бизнесу обходятся ошибки в справочниках компании? По данным Gartner — ведущей мировой исследовательской компании, неверные данные о клиентах могут стоить компании 30% ее годового дохода. С точки зрения информационных технологий, данные о клиентах относятся к мастер‑данным или, как они еще называются, — основным данным.

Поделюсь тем, что такое мастер‑данные, почему ими важно управлять и как с помощью внедрения стратегии управления мастер‑данными (master data management — MDM) сократить потери бизнеса.

Потребность в разработке стратегии MDM тесно связана с назревшей необходимостью цифровой трансформации бизнеса. Этот процесс сопровождается накоплением и умножением десятков, иногда сотен различных приложений и систем, которые генерируют и используют данные. Сведения передаются от отдела к отделу, от бизнеса к бизнесу и в конечном итоге фрагментируются, повреждаются, дублируются…

В таких обстоятельствах использование данных становится все более трудным, если не сказать — невозможным. Причем это касается не только сложных проектов! Даже выявление наиболее прибыльных клиентов или высокомаржинальных продуктов является невыполнимой задачей, если не научиться управлять мастер‑данными.

Читать далее

Как технология in-memory изменила бизнес-аналитику

Reading time10 min
Views9.6K
Примерно 5 миллисекунд проходит от запроса до ответа, если данные хранятся на жестком диске. SSD отвечает в 30 раз быстрее — за 150 микросекунд. Оперативной памяти требуется в 300,000 раз меньше времени — лишь 15 наносекунд.*



Можно долго рассуждать о том, как бизнес-аналитика помогает финансам или логистике. Способов применить информацию много, все время появляются новые. Но принцип работы разных аналитических решений один и заключается он в том, чтобы соединить данные из разных источников и посмотреть на них вместе — то есть целиком.

Чтобы воспользоваться информацией из нескольких источников, нужно к ним подключиться и извлечь данные. Но данные создавались разными способами, с разной периодичностью и хранятся в разных форматах. Поэтому прежде, чем визуализировать данные или передать другим системам для дальнейшей обработки, их придется объединить с помощью каких-то математических операций — трансформировать.

Технология in-memory заключается в том, что для трансформации в оперативную память единовременно загружаются все данные из разных источников. После этого трансформацию можно выполнить «на лету», без запросов к диску. Например, кликом выбрать измерение и сразу получить график, который будет отображать значения показателей в нужном разрезе. Благодаря тому, что все данные уже в оперативной памяти, аналитическому приложению не нужно делать запросы к жесткому диску для получения новой информации.

Это вступление должно помочь мне рассказать о том, как и почему менялись технологии, лежащие в основе современных аналитических решений.
Читать дальше →

Information

Rating
1,715-th
Location
Санкт-Петербург, Санкт-Петербург и область, Россия
Registered
Activity