Привет, Хабр! Сегодня я предлагаю немного порассуждать на тему ИИ в сфере BI-аналитики. В последнее время тема искусственного интеллекта все чаще поднимается на конференциях, да и мне самому все больше приходится рассуждать про ИИ и даже делать доклады о методах его применения (например, как на конференции Data&AI). Совершенно точно вокруг очень много хайпа и хочется разобраться, где же на самом деле ИИ в контексте BI-аналитики даёт реальное преимущество, а где — всё ещё нет.
Решения класса ИИ встраиваются сегодня в различные BI-платформы — как в западные, так и в российские. Однако практика показала, что недостаточно просто “прикрутить” “как-то” искусственный интеллект к тому, что работает и без него (хотя если честно, некоторые это используют как способ ведения продаж). Чтобы получить полезный результат, нужно действительно встраивать нейросеть там, где это может сэкономить время и давать экономический эффект.
Начну, пожалуй, с актуальных трендов развития и применения ИИ:
Развитие ИИ-агентов
На наш взгляд и стремительное развитие (качество ответов растёт с каждой новой версией LLM), и технические ограничения современных LLM (к примеру, проблемы со сложными сценариями планирования) дали большой скачок развитию ИИ-агентов. ИИ-агент может решать более сложные сценарии с ветвлением, обращениями к внешним системам, взаимодействием с пользователями. Сегодня мы уже говорим не просто про чат-ботов, которые могут обратиться к своей базе данных и дать ответ на типовой вопрос. Технически вполне можно обеспечить поддержку агентов подавляющего большинства действий пользователей — от подсказок по заполнению полей до прогнозирования действий и предложения других решений.
Например, мы в Visiology начинали с ViTalk GPT, который помогает готовить формулы на DAX, а также скрипты на Python. И уже первая версия нашего ассистента помогала экономить порядка 20% времени на работу с BI-платформой. Что касается “ViTalk 2.0”, которого скоро получат наши пользователи, он будет намного эффективнее.
Эволюция on-prem моделей
Не так давно считалось, что получить качественный ответ на сколь-нибудь сложный вопрос можно только у облачных ChatGPT и его аналогов. Однако на практике мы видим, что все больше ИИ-моделей (к примеру Qwen) получают способность работать локально, внутри компании. Их производительность и эффективность для определенных типов задач оказывается не хуже, а безопасность и сохранность данных делают возможным применение таких моделей в корпоративной среде с высокими требованиями безопасности. И сегодня интерес заказчиков в B2B движется в сторону локального использования ИИ.
ИИ пока не заменяет людей
Хочется сказать пару слов насчет страхов, что ИИ заменит людей. Для end-to-end сценариев BI-аналитиков эта тенденция не оправдывается. Мы всё ещё не видели ни одного реального применения “ванильного” text-to-sql, который качественно отвечает за любые запросы бизнес-пользователей.
Достаточно представить, что должен сделать обычный человеческий аналитик, чтобы ответить на более-менее сложный запрос бизнеса - например:
“Как изменение цен на ключевые товары повлияло на общий уровень удовлетворённости клиентов?”
Чтобы ответить на такой вопрос, нужно понять, а что такое “ключевые товары”, что такое “удовлетворенность клиентов”, что такое “уровень удовлетворенности”, что такое “общий уровень”, что значит “повлияло”. И дальше - а что, если некоторых данных нет в DWH, а что если данных и в источнике нет, а что если доступа нет, а все ли пользователи должны иметь доступ к этой информации, а что если бизнес вообще до конца не понимает, что он на самом деле хочет и вопрос совершенно в другом и так далее… Деятельность BI-аналитика сложна и затрагивает далеко не только “сухую” трансформацию вопросов бизнеса в SQL и графики на дашбордах.
Появление небольших моделей
На самом деле процесс машинного обучения может быть длительным и трудоемким. И вообще-то, обычно таким он и является. Но в последнее время на виду оказывается все больше небольших или “не таких уж больших” языковых моделей. Их особенность состоит в том, что обучить LLM для выполнения каких-то стандартных задач оказывается достаточно просто. То есть мы можем с небольшими затратами получить выгоды от работы с ИИ. И эта тенденция применима в частности в сфере BI.
Осторожнее с бенчмарками!
Сегодня появилось множество бенчмарков, которые позволяют оценить эффективность той или иной LLM. Однако не стоит ориентироваться на них, как на последнюю инстанцию истины (достаточно взять, к примеру, бенчмарк ARC-AGI-2 и посмотреть актуальные результаты современных моделей). И даже крупные эксперты часто говорят, что используют определенную модель, хотя в популярных тестах она может занимать не первое место. Почему не взять №1? Да просто потому, что в конкретной задаче она может оказаться менее (и даже намного менее) эффективна и удобна. Поэтому для правильного выбора LLM из всего доступного множества необходимо тестирование и пилотирование в своих конкретных кейсах.
Заключение
Какие выводы можно сделать из всего этого? Современный ИИ по-прежнему обладает рядом ограничений, не может решать “незнакомые” ему задачи и плохо справляется с многоступенчатыми действиями. Однако для определенного спектра сфер применения уже есть решения, которые справляются очень хорошо, если их направить. И как вы уже поняли, я говорю совсем не про ChatGPT.
В следующей статье я расскажу о том, как мы используем ИИ в качестве ETL, а вам предлагаю поделиться в комментариях своим опытом или своими ожиданиями использования ИИ в BI.
