BI-Ассистент для создания аналитических дашбордов и автоматизированного анализа данных

Привет, Habr! На связи Александр Сулейкин, Founder DUC Technologies и наша LLM-команда – Роман Бабенко и Александра Деведерова, а также Бутнев Даниил — аналитик, бывший сотрудник компании, являющейся центром компетенций по качеству и метрологии. Мы подготовили статью по возможному применению и созданию BI-ассистентов на базе LLM моделей для создания аналитических дашбордов. Данная сфера пока еще находится в зачаточном состоянии, развитие LLM для BI-решений только набирает популярность. В данной статье мы описали возможный кейс совмещения BI и LLM на примере реального Use Case в сфере метрологии.

1. Введение

Создание аналитических дашбордов и проведение комплексного анализа данных являются важными аспектами работы организаций. Однако этот процесс часто требует глубоких технических знаний, что делает его труднодоступным для пользователей без специальной подготовки. Особенно актуальной становится проблема, когда речь идет о небольших компаниях или отделах, где ресурсы ограничены, а необходимость в оперативном анализе данных высока. Это создает барьер между бизнесом и информацией, которую можно было бы использовать для принятия взвешенных решений.

Цель данной статьи - представить разработку BI-Ассистента, виртуального помощника, предназначенного для автоматизации процесса создания аналитических дашбордов и выполнения аналитических запросов. Этот инструмент направлен на упрощение взаимодействия с данными и снижение порога входа для пользователей, не обладающих технической подготовкой.

2. Постановка задачи

Для решения вышеописанных проблем был разработан BI-Ассистент, который должен соответствовать следующим функциональным требованиям:

Обработка текстовых запросов пользователей: BI-Ассистент должен уметь понимать запросы, сформулированные на естественном языке, и корректно интерпретировать их смысл, чтобы сделать взаимодействие максимально удобным и интуитивно понятным.
Автоматическая генерация дашбордов и отчетов: виртуальный ассистент должен автоматически визуализировать данные и создавать отчеты на основе запросов пользователей и заданных параметров, что позволит быстро и легко получать нужные данные без необходимости ручной работы.
Детализированная аналитика и прогнозирование: пользователь не только получает доступ к данным, но и имеет возможность принимать обоснованные решения на основе анализа и прогнозов.

Внедрение BI – ассистента с указанными функциональными требованиями существенно улучшит работу с данными в организации, делая ее более эффективной и прозрачной.

3. Анализ существующих решений

На рынке существует ряд BI – систем, в которых для анализа и построения данных используется большие языковые модели (LLM). Рассмотрим некоторые из наиболее популярных решений и их особенности.

Power BI с Copilot - это новая функция, представленная Microsoft, которая объединяет возможности искусственного интеллекта (ИИ) с традиционной аналитикой данных в платформе Power BI. Copilot призван упростить создание отчетов, анализ данных и предоставление рекомендаций на основе данных, используя ИИ.

Возможности Power BI с Copilot:

Упрощение создания отчетов: Copilot может автоматически создавать отчеты на основе заданных вами данных. Просто опишите, какой отчет вы хотите увидеть, и Copilot предложит возможные варианты дизайна и содержания.
Генерация инсайтов и рекомендаций: Copilot анализирует ваши данные и предлагает рекомендации, основанные на выявленных закономерностях и аномалиях. Это помогает быстрее найти важные выводы и принять более обоснованные решения.
Автоматическая обработка запросов: Вы можете задавать вопросы на естественном языке, и Copilot будет интерпретировать ваш запрос, искать релевантные данные и представлять результаты в виде визуальных элементов или текста.
Улучшенное взаимодействие с данными: Copilot делает работу с данными более интуитивной и удобной, предлагая подсказки и помогая пользователям лучше понимать свои данные.
Повышенная продуктивность: Автоматизация рутинных задач и ускорение процесса анализа данных позволяют сэкономить время и усилия аналитиков, давая им возможность сосредоточиться на более стратегических задачах.

Ограничения Power BI с Copilot:

Качество данных: Как и любой инструмент AI, Copilot работает наиболее эффективно с качественными и правильно структурированными данными. Плохо подготовленные данные могут привести к ошибочным результатам.
Вычислительные ресурсы: Некоторые функции Copilot могут требовать значительных вычислительных ресурсов, что может влиять на производительность при работе с очень большими наборами данных.
Необходимость адаптации: Поскольку это относительно новый функционал, пользователям потребуется время, чтобы освоить новые возможности и научиться эффективно их применять.

Tableau Agent — это интеллектуальный помощник на базе генеративного искусственного интеллекта (ИИ), встроенный в экосистему Tableau. Он предназначен для упрощения анализа данных, создания визуализаций и получения инсайтов с помощью естественного языка. Этот инструмент особенно полезен для пользователей, которые хотят ускорить процесс анализа данных, не обладая глубокими техническими знаниями.

Возможности Tableau Agent:

Запуск анализа данных: Tableau Agent предлагает вопросы для анализа на основе ваших данных, помогая начать работу с "чистого листа".
Создание визуализаций: Поддерживается создание различных типов диаграмм, включая гистограммы, линейные графики, тепловые карты, диаграммы рассеяния и другие.
Анализ временных рядов: Агент помогает анализировать данные за разные периоды времени.
Создание и объяснение расчетных полей: Tableau Agent может создавать и объяснять расчетные поля на основе естественного языка.

Ограничения Tableau Agent:

Ограниченная поддержка языков: Поддерживается английский и ограниченное количество других языков. Если ваш язык не поддерживается, ответы будут на английском.
Ограниченная функциональность в создании расчетов: Tableau Agent не может задавать уточняющие вопросы при создании расчетов. Пользователю нужно быть максимально конкретным.
Отсутствие поддержки некоторых функций Tableau: Агент не может создавать дашборды, изменять типы данных или роли полей, а также настраивать интерактивные элементы, такие как фильтры и параметры.
Эти инструменты предлагают мощные возможности для анализа данных, включая многомерное моделирование, ETL-процессинг и визуализацию данных. Однако, несмотря на свою эффективность, они имеют ограничения, такие как зависимость от технических знаний, необходимость кастомизации и высокие требования к качеству данных. В данной статье мы рассмотрим альтернативное решение на базе Open-Source.

4. Архитектура BI-Ассистента

После проведенного анализа мы определили требования к BI-ассистенту:

Независимость от существующих BI-систем;
Подключение к различным источникам табличных данных (реляционные и колоночные БД);
Загрузка и индексация модели данных (схемы, метаинформация, описания) из источников – создание семантического слоя данных;
Редактирование и дополнение модели данных пользователем;
Обработка запросов пользователя на русском языке, включающее RAG поиск информации в семантическом слое;
Формирование SQL-запроса на получение необходимых данных из источников для формирование ответа;
Генерация ответа пользователю на основе подготовленных данных;
Построение графиков и диаграмм для визуализации извлеченных данных;
Формирование дашборда на основе созданных графиков и диаграмм;
Обновление данных на дашбордах при обновлении их в источниках;
Ведение истории чатов (запросов и полученных результатов).

На основе формализованных требований мы разработали прототип виртуального ассистента SmartBI, построив решение на основе одного проекта с открытым кодом.

Наш виртуальный ассистент помогает пользователям в создании аналитических дашбордов и проведении автоматизированного анализа данных. Ассистент обрабатывает запросы пользователей, собирает необходимые данные и предоставляет детализированную аналитику по выбранному периоду, типам работ и другим параметрам, обновляет данные на дашбордах при обновлении их в источниках. В системе существует модуль «Модель данных», с помощью которого пользователь системы может дополнять описания таблиц, атрибутов или связей для более точного ответа.

SmartBI осуществляет визуализацию данных на основе декларативного языка Vega-Lite. Это означает, что пользователь лишь задает параметры отображения данных, указывая тип требуемого графика, оформление линий начертания, подписей к осям, легенды и т.д. На основе заданного описания модель LLM генерирует код графика по заданной спецификации Vega-Lite. Затем данный код графика в формате JSON передается компилятору Vega, задача которого проинтерпретировать заданные пользователем параметры и создать изображение с визуализацией. Это позволяет создать решение, не привязанное к какой-либо BI-системе.

Архитектура виртуального ассистента выглядит следующим образом:

Архитектура виртуального ассистента на базе SmartBI

SmartBI состоит из трех основных сервисов:

Пользовательский интерфейс: интуитивно понятный пользовательский интерфейс для задавания вопросов, определения взаимосвязей между данными и интеграции источников данных.
Сервис ИИ: обрабатывает запросы с помощью векторной базы данных для поиска контекста, направляя LLM для получения точных результатов SQL-запросов.
Движок: служит в качестве семантического движка, сопоставляя бизнес-термины с источниками данных, определяя взаимосвязи и включая предопределённые вычисления.

Алгоритм работы виртуального ассистента следующий:

Запрос пользователя. Пользователь отправляет запрос через чатбот. Запрос обрабатывается модулем NLP, который интерпретирует его и переводит в структурированный вид.
Структурированный запрос. Полученный запрос отправляется в модуль подключения к BI-системам или базам данных. Здесь формируются SQL-запросы или вызовы API для извлечения необходимых данных.
Данные. Извлечённые данные передаются в модуль генерации отчетов, где на их основе строится ответ.
Результаты. Готовые отчеты отправляются обратно пользователю в чат-бот.

Интерфейс системы выглядит следующим образом:

Интерфейс системы SmartB - Моделирование

5. Примеры использования

Продемонстрируем работу виртуального ассистента на одном реальном кейсе для анализа данных метрологических служб.

Запрос: «Выведи по каждому холдингу последовательно количество предприятий выполняющих ГОЗ и количество предприятий выполняющих ВТС. Добавь столбец с типом выполняемых работ ГОЗ или ВТС.»

Пользователь вводит данный запрос в чат-бот. BI- ассистент обрабатывает запрос и выдает следующий результат:

Результаты работы BI-ассистента для метролога

* - приведенные данные являются измененными в целях демонстрации

На вкладке «Ответ» пользователь видит ответ на свой запрос. Также у него есть возможность перейти на вкладку «SQL» для просмотра запроса, с которым система обратилась к базе данных.

На вкладке «График» графически представляется результат запроса:

* - приведенные данные являются измененными в целях демонстрации.

Сгенерированные графики можно закрепить на дашборде, на котором их можно двигать и масштабировать в зависимости от пожеланий пользователя.

* - приведенные данные являются измененными в целях демонстрации.

6. Преимущества и ограничения виртуального помощника SmartBI

У нас получилось создать BI-ассистента, обладающего широким спектром возможностей:

Упрощение работы с данными для неопытных пользователей. SmartBI снижает порог входа для работы с аналитическими инструментами. Даже пользователи без специальных знаний в области IT или статистики могут легко формировать запросы и получать необходимые данные.
Экономия времени на создание отчетов и дашбордов. Благодаря автоматизации этого процесса, пользователи могут получать необходимые данные без ручного написания сложных запросов. Это поможет сосредоточиться на иных задачах.

Несмотря на преимущества, виртуальный ассистент имеет некоторые ограничения:

Зависимость от качества входных данных. Эффективность работы SmartBi во многом зависит от точности исходных данных, поэтому важно уделять достаточное внимание подготовке данных и их проверке перед вводом в систему. В целом, вопросы качества встает краеугольным для корректной работы всех подобных ассистентов (у всех вендоров).
Необходимость доработки для специфических задач. Уникальные задачи могут потребовать привлечение специалистов по данным для их верной адаптации под нужды компании.

7. Заключение.

Итогом нашей работы стало успешное создание MVP BI-ассистента, способного существенно ускорить и упростить процесс работы с данными для широкого круга пользователей.

Впереди нас ждет еще много возможностей для совершенствования. К ним относятся улучшение точности анализа и расширение функционала, с помощью которых система сможет решать более сложные и специфические задачи, а также встраивание механизмов проверки качества данных на всем ЖЦ движения инфопотоков.

Как подобные решения могут быть полезны в вашей повседневной работе? Делитесь своим опытом в комментариях, тем самым вы поможете нам сделать наш продукт более эффективным и обозначить перспективы для его развития.

Наш ТГ-канал: t.me/dataundercontrol