Группа Arenadata обновила целый ряд своих продуктов. Улучшения коснулись Arenadata Catalog, Datacatalog BI Luxms Edition, Picodata, Arenadata DB, Arenadata Cluster Manager, Arenadata Hadoop, Arenadata Platform Security, Arenadata Streaming и Arenadata Streaming Control, Arenadata Postgres.
Arenadata DB (ADB) v 6.27.1
В состав нового релиза ADB вошли Arenadata DB Backup Manager (ADBM) версии 2.0 и Arenadata DB Control (ADBC) версии 4.8.
Ключевые изменения:
Добавлена поддержка open source ОС Ubuntu 22.04 LTS в качестве альтернативы CentOS / RHEL 7.х.
Реализованы дополнительные метрики мониторинга для PXF. Добавлены новые метрики для отображения текущего количества активных потоков и задач в очереди.
Реализована поддержка SSL для ADB-Kafka-коннектора. Добавлена возможность настройки SSL-протокола путём использования существующих свойств в профиле PXF. Для аутентификации клиентов добавлены два новых свойства: KEYSTORE_LOCATION и KEYSTORE_PASSWORD. Также расширена поддержка механизмов SASL, включающая теперь SCRAM-SHA-256 и SCRAM-SHA-512.
Ключевые изменения ADBM v 2.0:
Улучшена безопасность docker-контейнера за счёт использования параметра read_only и опции no-new-privileges.
Реализован CLI-интерфейс для возможности управления логическими бэкапами через ADBM.
Добавлена возможность поддержки расширения кластера ADB для ADBM.
Добавлена возможность формирования инкрементальных бэкапов на уровне блоков.
Ключевые изменения ADBC v 4.8:
Улучшена безопасность docker-контейнеров за счёт использования параметра read_only и опции no-new-privileges.
Реализована поддержка работы ADQM в качестве служебной СУБД для ADBC в кластерном режиме.
Arenadata Cluster Manager (ADCM) v. 2.2.0
Ключевые изменения:
Добавлена поддержка ещё одной из наиболее популярных open source ОС Ubuntu 22.04 LTS в качестве альтернативы CentOS / RHEL 7.х, поддержка которых со стороны вендора (Red Hat) уже завершена.
Улучшены возможности в части управления производительностью (конфигурирование ansible.cfg).
Реализованы требования служб ИБ заказчиков по работе ADCM только по зашифрованному протоколу HTTPS при взаимодействии с внешней БД.
Добавлено логирование user agent.
Добавлен функционал маппинга сервисов на хосты.
Arenadata Postgres (ADPG) v 14.3.7
Ключевые изменения:
Реализована возможность создания инкрементальных бэкапов с использованием утилиты pgBackRest.
Добавлены действия, связанные с резервным копированием и восстановлением.
В интерфейсе ADCM появились соответствующие настройки сервиса ADPG, связанные с резервным копированием и восстановлением.
Arenadata Catalog (ADC) v 0.7.0.2
Каталог данных:
Оптимизировано отображение разделов обзорной страницы, в том числе скрытие неиспользуемых типов объектов.
Бизнес-глоссарий:
Обновлено меню настройки представления глоссария.
Другие улучшения:
Добавлено отображение пользовательских наименований атрибутов в уведомлениях импорта.
Удалено отображение скрытых базовых атрибутов в шаблонах импорта и в файлах экспорта.
Arenadata Catalog (ADC) v 0.7
Бизнес-глоссарий:
Выбор значений из справочника в шаблонах импорта XLSX-формата для определения типа объекта, предметной области, глоссария и логических значений.
Настройка набора и наименований вкладок на уровне типа объекта.
Просмотр изменений объекта в карточке задачи согласования.
Возможность добавить комментарий перед публикацией или удалением объекта.
Каталог данных:
Возможность кастомизации атрибутивного состава таблиц с помощью реестра атрибутов ADC.
Определение шаблона значений для строк и столбцов таблиц.
Скрытие архивных объектов с диаграммы происхождения данных.
Другие изменения:
Добавление детального сбора событий аудита в Loki.
Добавление REST API для мониторинга очередей процессов импорта и операций группового обновления объектов.
Реализована возможность для пользователя самостоятельно отключить себе получение email-уведомлений.
Arenadata Catalog (ADC) v 0.6.4
Системные объекты:
Возможность персонализации атрибутивного состава пользователей и команд для отражения дополнительных данных о сотрудниках и структуре организации.
Добавлен просмотр объектов, связанных с пользователем/командой через атрибут «Сотрудник/Группа», а также возможность выбора роли пользователей при настройке уведомлений.
Бизнес-глоссарий:
Отслеживание и фильтрация по типу события в списке задач согласования объектов глоссария.
Настройка уникального представления для каждого типа объекта в обзоре глоссария и ширины столбцов представления.
Отображение пользователей и команд на странице глоссария.
Каталог данных:
Поддержка моделей данных Luxms BI 9.
Другие улучшения:
Оптимизация swagger.
Datacatalog BI Luxms Edition (DCBI) v 10.0.6
Изменения в интерфейсе пользователя:
Добавлена кнопка «Автоматически» при создании источника и куба из файла в формате Excel: типы данных и заголовок определяются автоматически.
Добавлена возможность создания группы дашбордов.
В конфиге дашборда теперь можно указать having для фильтрации по условиям для рассчитанных на уровне дашборда агрегатов.
Для дашбордов «Пирог» и «Пончик» добавлен функционал группировки части сегментов в один («Прочее»).
Поиск в управляющем дашборде с данной версии теперь работает как поиск без автоматического выбора найденных значений. Если необходимо вернуть старое поведение, нужно указать опцию SearchAsFilter.
Добавлена функция для выбора аппроксимации в дашборде «Пузырьки», которую можно выбрать через пункт меню дашборда «Прогнозы» или настройкой в JSON-конфиге дашборда на верхнем уровне.
Изменения в отчётах:
Добавлено размещение итогов над данными при генерации отчёта (для этого требуется в шаблоне отчёта разместить итоги над данными).
Реализована возможность добавить собственные named range, которые сохраняются после генерации отчёта.
Datacatalog BI Luxms Edition (DCBI) v 10
7 самых значимых улучшений DCBI Luxms v 10:
HTML-документация с интегрированным поиском.
Возможность загружать QVD-файлы (файлы Qlik) и создавать визуализации в DCBI Luxms на основе полученных данных.
API-токены JWT — ключи для безопасного и управляемого доступа к различным функциям DCBI Luxms через программный интерфейс API.
Продвинутый календарь с возможностью гибко настраивать разнообразные временные интервалы, подходящие под конкретные задачи.
Клонирование кубов, дашлетов и дашбордов с учётом сложных сценариев ролевой модели и соблюдением всех аспектов безопасности.
Обновления ETL/ELT-инструмента Data Boring: возможность многопользовательской работы, эффективное разделение данных и повышенный уровень безопасности.
Календарные и оконные функции LPE.
Arenadata Hadoop (ADH) v 3.2.4.3.b1
Ключевые изменения:
Добавлен новый сервис HUE (Hadoop User Experience) — веб-интерфейс экосистемы Hadoop для анализа данных. Он позволяет удобно взаимодействовать с различными базами и хранилищами данных: запрашивать, находить и анализировать данные без потери контекста. В составе дистрибутива ADH содержит преднастроенные интерпретаторы SQL для Impala, Hive, Kyuubi и Spark SQL.
Введена поддержка Apache Iceberg — открытого формата таблиц для хранилищ данных, который обеспечивает ACID-транзакции и другие возможности. Iceberg функционирует между движком запросов и данными, таблицы Iceberg могут интегрироваться с такими движками, как Spark, Hive, Impala и др. Решает проблемы традиционных форматов таблиц (Hive), которые не могут гарантировать согласованность данных и/или имеют проблемы с производительностью. Кроме того, Iceberg позволяет отслеживать изменения в данных и откатывать хранилища к желаемому состоянию.
Доработки в контексте безопасности:
Добавлен плагин Kyuubi AuthZ для Spark 3 — улучшенный контроль доступа к данным.
Реализована поддержка контроллера домена Samba.
Добавлена LDAP-аутентификация для Kyuubi и Impala.
Доступно новое действие Manage SSL (вместо Enable/Disable SSL) для более удобного управления SSL-шифрованием для сервисов кластера ADH.
Остальные доработки:
Введена поддержка Spark 3 и PySpark для Zeppelin.
Обновлены версии компонентов: Kyuubi — версия 1.9.0, Impala — версия 4.4.0, Spark 3 — версия 3.4.3, Zeppelin — версия 0.11.1.
Arenadata Platform Security v 1.1.2.b1
Ключевые изменения:
Реализована поддержка контроллера домена Samba.
Добавлен режим высокой доступности (HA) для Ranger KMS.
Доступно новое действие Manage SSL (вместо Enable/Disable SSL) для сервисов кластера ADPS.
Для компонентов сервисов Ranger и Knox добавлены действия на уровне хостов.
Picodata v 24.4
Ключевые изменения:
Добавлен модуль Pgproto, который позволяет подключаться к кластеру Picodata по протоколу PostgreSQL.
Расширен перечень возможностей распределённого SQL: добавлены команды CREATE INDEX и DROP INDEX, выражение CASE, функции TRIM, TO_CHAR, TO_DATE, общие табличные выражения (CTE, common table expressions).
Добавлен файл конфигурации в формате YAML — новый способ задавать параметры кластера и инстанса, помимо переменных окружения и аргументов командной строки.
Arenadata Streaming (ADS) v 3.3.2.2
Ключевые изменения:
Реализована поддержка Samba DC.
Добавлена поддержка ОС Ubuntu 22.04 LTS.
Сервис NiFi обновлён до версии 1.23.2.
Добавлено новое кластерное действие — Restart (остановка и последующий запуск всех сервисов кластера).
Добавлено более гибкое управление кластером ADS через интерфейс ADCM благодаря возможности выбора опций при запуске действий в кластере и сервисах.
Доработки в части безопасности:
Изменено действие Manage Ranger plugin (добавлена возможность установить имя сервиса политик Ranger и перезаписать уже существующий сервис) для Kafka и NiFi.
Действия Enable SSL и Disable SSL в кластере заменены на Manage SSL, выполняющее общее улучшенное управление защитой канала по протоколу SSL.
Обращаем внимание, что минимальная версия ADS, с которой может быть выполнено обновление, — 1.7.
Arenadata Streaming Control (ADS Control) v 2.2.0
Ключевые изменения:
Реализована функциональность просмотра кластера и брокера — страницы General и Brokers соответственно.
Реализована страница обзора топиков Topics, где доступны операции очищения, удаления и создания топиков, переход к странице обзора топика.
Добавлены новые кластерные действия — Manage Kerberos и Manage SSL.
Реализована возможность работы с защищёнными (SSL, Kerberos) кластерами Kafka.
Добавлена поддержка ОС Ubuntu 22.04 LTS.
