В середине мая для самых заинтересованных мы приоткрыли завесу тайны и провели первый закрытый предпоказ нашей новой Visiology 3.0. Сегодня пришло время открыто сообщить о том, что мы находимся на финальной стадии разработки BI-платформы нового поколения, которая не только “сильнее, быстрее и выше” предыдущей версии, но также, я уверен, сможет стать реальной заменой для Power BI. Все подробности о том, “как и почему” — под катом.
С точки зрения топ-менеджеров, принимать решения, не опираясь на актуальные данные в современных условиях — настоящее корпоративное безрассудство. А для ИТ-шников это означает необходимость во внедрении и развитии Business Intelligence-системы. И самое главное, чтобы такой BI-платформой было удобно пользоваться в первую очередь топ-менеджерам и аналитикам. А аналитикам, как показала практика и данные недавно проведенного исследования рынка труда, удобнее работать с Microsoft Power BI — именно таких специалистов (и вакансий) на рынке больше всего.
Не буду долго ходить вокруг да около и скажу прямо — одним из самых интересных новшеств Visiology 3.0 станет поддержка языка запросов DAX, с которым знакомы десятки тысяч аналитиков только в России, и по которому можно найти множество курсов — открытых и закрытых, платных и бесплатных. Даже на Хабре есть материалы по DAX. Таким образом, Visiology 3.0 может стать реальной заменой Microsoft Power BI. Так что это — не просто маркетинговый ход, а результат длительной и интенсивной разработки, которую мы ведем сегодня.
Поддержка DAX? И все?
Нет, конечно это не все. :) Иначе мы не стали бы выстраивать принципиально новую архитектуру и создавать самим себе сложности в последующем переводе клиентов с версий 2.Х на 3.0. Дело в том, что постоянный мониторинг запросов от наших клиентов и активных пользователей еще в прошлом году привел команду к выводу, что нам требуется пересмотр архитектуры. И мы действительно многое поменяли.
Если отвлечься от самих потребностей и от технологий, то главной причиной для модернизации платформы стали достаточно философские идеи. Когда мы определяли новое позиционирование платформы, то решили, что наш главный конкурент — не Microsoft Power BI, не SAP и не какая-нибудь российская платформа. Вместо этого мы решили бороться со сложностью процессов, с трудоемкостью работы аналитиков.
То есть на одной чаше весов оказались все более сложные задачи анализа данных, а на другой — обычные жизненные удовольствия. Ведь каждый человек хочет сходить в парк, провести время с семьей, посмотреть хороший фильм — да много чего можно сделать, если BI-система решает стоящие перед ней задачи быстро и без лишних трудозатрат. Поэтому самым главным KPI для Visiology 3.0 стало время. Мы начали оценивать, сколько времени аналитик тратит на те или иные действия. И чем меньше этот показатель, тем, соответственно, лучше. Поэтому в третьей версии многие вещи, требовавшие ранее дополнительного кода на Java Script или Python, будут решаться нажатием пары кнопок.
Основные изменения
Мы пока не можем поделиться всеми подробностями нового релиза — он еще в работе и есть целый ряд нюансов, которые требуют уточнения и поиска решений. Но зато сегодня я могу рассказать об основных изменениях, которые точно ждут платформу Visiology 3.0:
Обновленный движок ViQube 2
Недавно, в релизе 2.23 мы и так разогнали ViQube, который показал прирост производительности до 40%. Но для Visiology 3.0 мы делаем полный ревайзинг движка, чтобы рост скорости обработки запросов был в разы.
ClickHouse как основная СУБД
Это, кстати, один из важных факторов роста производительности. ClickHouse уже доказал свою состоятельность в работе с BigData, и, например, рост скорости обработки данных на порядок, о котором рассказали в Uber, — прямое тому подтверждение.
Ряд оптимизаций процессов кеширования
Данные не всегда входят в память. И в этом случае нужно оптимально работать с дисками. Тут получилось сразу несколько оптимизаций, которые помогут при работе с медленными хранилищами. К тому же оптимизации кэша и индексы уже учитывают архитектуру ClickHouse.
Улучшенная технология In-Memory
Кстати, сама по себе практика вычислений in-memory тоже претерпела изменения. Тут надо глубоко лезть под капот, и мы сделаем это…но чуть позже.
Совершенно новый платформонезависимый веб-интерфейс
Это очень важное обновление, потому что все больше компаний переходят на разные версии Linux, равно как растет количество желающих работать с мобильных устройств. Обновленный веб-интерфейс предусмотрен для всех категорий пользователей (включая аналитиков, администраторов и разработчиков).
Поддержка языка DAX
DAX — это мощный язык для работы с данными, который требует минимум предрасчетов. Как хорошо знают аналитики, львиная доля времени, уходящего на манипуляции с BI-платформой, приходится на настройку ETL и подготовку витрин. За счет DAX мы стремимся делать сложные расчеты на сырых данных практически в реальном времени.
Конечно, тут не все получится сразу. Мы будем действовать постепенно, а степень поддержки DAX будет расти от релиза к релизу. И ориентироваться будем в первую очередь на запросы клиентов.
Упрощенный процесс формирования модели данных
Мы стремились создать простую и легко понятную модель данных. Ведь обычно очень много времени тратится на создание модели данных, ее доработку…а также на передачу другим аналитикам. В 3.0 модель данных станет простой и понятной.
В третьей версии мы отходим от OLAP и кубов, двигаясь к табличной и объектной модели данных. Благодаря этому данные можно будет покрутить в разных разрезах, проще устанавливать фильтры. Более того, идея в том, чтобы модель не нужно было заранее настраивать и выбирать — что будет измерением, а что — показателем. В 3.0 можно будет загружать нормализованные таблицы и предусматривать между ними разные связи — не обязательно приводить к звезде.
Кроме этого в Visiology 3.0 появится визуальная модель данных c поддержкой Drag&Drop. Например, таким образом таблицы можно будет просто связать друг с другом, и даже тип связи можно будет определить автоматически.
Автоматизированная загрузка
Получение данных из различных источников — большая головная боль для аналитиков. И именно поэтому часто дашборды строятся без учета всей актуальной информации. Мы уже частично решили этот вопрос за счет SmartForms. И продолжаем улучшения, чтобы снизить временные затраты на подготовку данных.
Эволюция self-service
Ну и, конечно, мы предложим расширенные возможности самостоятельной работы для аналитиков. Сначала этот функционал будет реализован в виде песочницы с экспериментальными и пилотными функциями. Но в дальнейшем мы четко берем курс на low-code и максимальный уровень self-service.
Релиз будет во второй половине 2022 года
Но все это — дело ближайшего будущего. Мы сейчас работаем над релизом 3.0, который выйдет в свет до конца текущего года. И на закрытой премьере мы наглядно показали, как система будет выглядеть в будущем. Тем временем мы продолжаем развивать версию 2.ХХ, и некоторые из прорывных функций Visiology 3.0 будут отражены уже в этих релизах!
Краткую демонстрацию BI-платформы “из будущего”, можно посмотреть здесь. А если у вас остались вопросы о новом функционале и возможностях, вы можете задавать их прямо сейчас. Кроме этого мы постоянно анализируем поступающие от заказчиков запросы, и именно они влияют на порядок реализации фичей из бэклога.
В следующих постах мы подробнее рассмотрим технические инновации и особенности новой платформы Visiology 3.0. Подписывайтесь на наш блог, чтобы ничего не пропустить, а также делитесь своим мнением, какой должна быть современная BI-система.