Администрируем сервер Дельта BI, применяя опыт работы с Tableau Server
Головная боль администратора BI сервера пропорциональна масштабу развернутого решения. Начнем с главных ориентиров, следуя которым мы привыкли достигать баланса в работе BI сервера (и улучшать качество ночного сна админа). А дальше разберемся, какой функционал помогает решать эти и другие задачи в Дельта BI — на фоне привычного для Vizuators Tableau Server (TS).
Наши ориентиры при администрировании Tableau Server
Четко распределенные роли пользователей с продуманными уровнями доступа.
Адекватно распределенное время старта автоматизированных процессов.
Разделение этапов процесса разработки.
Оптимальное использование ресурсов для максимальной производительности.
Различия админки сервера Дельта BI и Tableau
Домен (Клиент) — наивысшая единица администрирования в Дельта BI. В Tableau эти функции выполняет сайт (site) — он позволяет изолировать наборы пользователей, их групп и контента в рамках одной инсталляции TS. В обеих системах по умолчанию устанавливается только одна единица сайта/клиента — default, и к ней могут быть добавлены новые.
В Дельта BI нет аналога любимого TS администраторами CLI-инструмента tsm для управления сервером, а также TSM через веб-интерфейс. В Дельта всё настраивается через веб-интерфейс. Это ограничивает возможности планирования автоматизированных задач обслуживания сервера с помощью пакетных файлов.
Также в Дельта отсутствуют предустановленные admin views. Но можно подключаться к репозиторию и создавать дашборды для контроля работы сервера, активности пользователей и др. Да, для аудита сервера пригодился бы базовый набор дашбордов, но если понадобится, администратор может создать для себя свой дашборд.
Журналы в Дельта BI — логи в Tableau
В Дельта BI для логирования есть специальные удобные инструменты. Все данные об активности на сервере расположены в разделе Журналы. В Tableau логи приходится искать в папках, где установлена система.
Что есть в Журналах?
Записи — лог входа пользователей в систему.
Транзакция — лог запросов к источникам данных. При этом доступен SQL код запроса и время его выполнения в виде графика и таблицы.
Система — логирует системные события на выбранном уровне ведения журнала.
Удаленные элементы — логирует все безвозвратные удаления контента. По умолчанию этот журнал отключен.
Параметры журнала позволяют настраивать уровень ведения логирования, и параметры хранения логов.
Распределение ролей пользователей
В Дельта BI и Tableau разные подходы к распределению ролей пользователей. При создании пользователя указывается один из двух вариантов: профессиональный пользователь (Creator) или пользователь с правами просмотра (Viewer). В дальнейшем тип пользователя можно изменить в рамках домена (Клиента). Профессиональный пользователь может быть назначен администратором домена (Клиента) и администратором предприятия (всего сервера).
В Tableau ролей пользователей больше — 7 ролей от уровня Viewer до Server administrator. С точки зрения администрирования меньшее количество ролей пользователей облегчает процесс. С другой стороны, чтобы ограничить права пользователей в Дельта, так или иначе придется купить для них профессиональные лицензии.
Каталогизация контента
Система каталогизации контента на обеих платформах тоже несколько отличается. В Дельта BI системы каталогов создаются отдельно для каждого пользователя, для Роли, и есть общие каталоги. В Tableau каталоги (projects) сразу при создании делятся на первый и более низкие уровни.
Таким образом, в Tableau мы сначала создаем систему каталогов, а затем формулируем и применяем правила, регулирующие к ним доступ. В Дельта BI при создании группы (Роли) каталоги для нее создаются автоматически (допускается также расширение системы каталогов более низкого уровня). Далее доступ регулируется приданием пользователю той или иной Роли.
Роли в Дельта BI — группы Tableau Server
Роли в Дельта BI — отчасти аналог групп TS. С их помощью администратор управляет уровнями доступа и возможностями обмена контентом в системе. Для ролей создаются групповые папки для хранения контента. Если мы хотим расширить возможности доступа пользователя, нужно добавить его в несколько ролей. Например, в групповую папку определенной роли добавился дашборд. К нему получат доступ все пользователи, которым была добавлена эта роль. Если обычный пользователь (не администратор) не имеет ролей, ему доступны только личные папки и папки с контентом общего доступа.
Авторизацию (Доступ) в Дельта BI можно проходить в ручном режиме и через дополнительные инструменты: репозиторий (База данных), Active Directory, Azure Active Directory, Open LDAP, SAML и Open ID. По умолчанию при установке системы для авторизации используется репозиторий, но это можно изменить.
В отличие от Tableau, в Дельта BI больше возможностей кастомизации клиентского интерфейса для профессиональных пользователей (без прав администратора). На вкладке Профили можно «забрать» права и элементы интерфейса у пользователя, нехарактерные для его профессиональной роли. Например, отключить работу с моделями данных или работу с публикациями, ограничить возможности работы с формулами. При этом используются предустановленные профили или создаются свои, настроенные на другие профессиональные роли.
Управление данными и источниками
Оба инструмента позволяют гибко управлять данными — корректировать их, создавать, удалять, а также тестировать подключения.
Функционал для работы с источниками, в основном, тоже похож. Администратор Дельта BI распределяет доступ к источникам данных в менеджере источников. Добавляя Роли и определяя для них доступ, админ управляет доступом пользователей к источникам, моделям данных и ко всем связанным элементам.
В менеджере источников администратор может редактировать наложение метаданных в моделях данных. Это делается для того, чтобы данные правильно именовались и описывались для каждой роли пользователя.
В Дельта BI аналогично Tableau доступны:
настройки кэширования (продолжительность хранения кэша);
ограничения запросов (настройка ограничений количества строк, возвращаемых в результате выполнения запроса. По умолчанию установлено 2 млн);
ограничения источника данных (позволяет устанавливать таймауты, количество активных подключений, а также размер пакетов данных как для системы в целом, так и для отдельных источников).
Настройка сервера
В Дельта BI администратору доступны настройки параметров сети (балансировка нагрузки, шифрование внутренней сети), активное управление памятью и параметры прокси-сервера. В модуле Экземпляры сервера можно просматривать и управлять тем, какие службы являются частью развертывания кластера. Здесь же можно контролировать загрузку процессов, и сколько они потребляют ресурсов. Процессы можно переименовывать, перезапускать, а также перезагружать конфигурацию, запускать «сборщик мусора» и задавать ограничение памяти.
Служба среды выполнения (Runtime Services) позволяет редактировать параметры обработки процессов и запросов. Параметры можно задать для всей платформы или для каждого сервера ядра среды выполнения в развертывании с несколькими серверами. В развертывании с несколькими серверами каждый сервер будет отображаться в списке, идущем вниз по странице.
Настраивая эти параметры для каждого экземпляра ядра среды выполнения, администраторы могут лучше контролировать производительность и распределение ресурсов. Это особенно важно, когда аппаратное обеспечение не идентично для всех узлов кластера.
Расскажем о полезном, на наш взгляд, инструменте Службы задач. С ним можно настраивать автоматизацию пользовательских и системных задач, которые выполняются в фоновом режиме. В чем главная польза? Инструмент позволяет определять пиковые часы, когда основные ресурсы будут направлены на обслуживание пользователей, ограничивая фоновые процессы.
Варианты размещения контента
В Дельта BI можно самостоятельно определить место для размещения контента, а также ограничивать максимальный объем загружаемых файлов.
Варианты размещения контента:
внутренняя файловая система (по умолчанию). Всё временное и постоянное содержимое хранится на выбранных при установке дисках данных для каждого сервера;
общая папка/локальный путь;
Amazon S3;
Azure Blob;
FTP/SFTP.
В Tableau все данные хранятся на Tableau Server — в облаке (Tableau Cloud) или на мощностях пользователя.
Расписание задач
Как и в Tableau, в Дельта BI есть функционал для автоматического выполнения задач по расписанию.
Есть инструменты для работы с Публикациями, Оповещениями, Подписками и Моделями. Настраивать повторяющиеся задачи обслуживания системы можно с помощью инструмента Системный график. Для компактного просмотра и контроля работы всех расписаний используется Диспетчер задач.
Гибкая настройка дизайна
Нас, «таблошников», впечатлила возможность администратора сервера Дельта BI гибко настраивать дизайн.
Во-первых, есть Менеджер тем — интерфейс для добавления, редактирования и удаления тем оформления с большой палитрой доступных элементов. Админу доступно создание и редактирование тем, а пользователи Дельта могут их применять. Ничего похожего в Tableau нет — все элементы оформления нужно редактировать отдельно.
Во-вторых, админ может создавать шаблоны для пользователей. Поработав на пару с дизайнером, администратор можно задать фирменный стиль всех визуализаций компании. Это существенно сэкономит силы разработчиков.
В Дельта BI также есть инструмент Пользовательские шрифты. Мы можем добавлять веб-шрифты как ссылкой, так и файлами. Это еще одно преимущество перед Tableau, где добавить шрифт совсем не так просто.
Аналитические расширения Дельта BI
Мы много месяцев тестировали ближайших конкурентов и можем констатировать, что Дельта BI преуспела в работе с аналитическими расширениями. С ее средой машинного обучения можно создавать и управлять средами виртуального окружения аналитических расширений Python и R. А также настраивать переменные окружений и пакеты (библиотеки) для них. Таким образом, можно сформировать нескольких окружений с разными версиями Python и наборами пакетов и подключаться к ним в подходящих ситуациях.
В Tableau подключение аналитических расширений работает с использованием сервера на базе библиотеки Tabpy (или библиотеки Rserve в случае R). С одной стороны, подключаться сложнее, с другой — настройки шире.
С помощью параметров дополнительной аналитики в Дельта мы можем установить виртуальные окружения, используемые по умолчанию. Доступна поддержка запросов на естественном языке. При этом с включенной поддержкой запросов будет дополнительно занято 4-6 Гб оперативной памяти. Есть возможность управлять распределением нагрузки на таких серверах, автоматически или вручную.
Вывод
С точки зрения администрирования сервера Дельта BI располагает функционалом продуктов уровня enterprise, и даже больше — с учетом профилей пользователей и возможностей создания тем. Хотя переход на эту платформу потребует усилий и времени, скорость администрирования будет высокой даже для сложных и нагруженных решений.