В Рег.облаке запустили Платформу данных на open-source технологиях
В Рег.облаке стала доступна Платформа данных — индивидуально разворачиваемая среда для полного цикла работы с данными: от сбора и хранения до аналитики, ML-разработки и эксплуатации моделей. Решение проектно конфигурируется под задачи конкретного заказчика и разворачивается в нужном контуре.
Платформа основана на открытых технологиях и позволяет собрать единый data-стек без вендор-лока. В рамках проекта объединяются инструменты для ETL/ELT, потоковой обработки, хранилищ, ML-среды и аналитики, а также могут подключаться проприетарные модули под специфические сценарии.
Что входит в решение:
open-source инструменты для хранения, обработки, аналитики и машинного обучения;
готовые модули для каталогизации данных, визуализации и ML;
возможность интеграции собственных инструментов и сервисов;
управляемая эксплуатация: обновления, мониторинг и поддержка.
Основные возможности:
единый контур для ETL/ELT, потоковой обработки, ML и BI;
масштабируемая архитектура для работы с терабайтами данных;
кастомизация инструментов под окружение заказчика;
изолированные сегменты для работы с конфиденциальными данными;
быстрое развертывание и добавление новых модулей.
Технологический стек
Хранение и управление данными: S3, PostgreSQL, ClickHouse, Apache Iceberg, Open Metadata. Обработка и трансформация: Airflow, Apache Spark, Flink, Kafka, Trino, Apache Impala. Аналитика и визуализация: Superset, Metabase, ClickHouse, PostgreSQL, Apache Impala. Машинное обучение: JupyterLab, Kubeflow, MLflow. Партнерские решения: готовые SaaS-модули для расширения функциональности.
Платформа подходит для построения единого дата-стека, сквозной аналитики, машинного обучения и обработки больших данных в распределенных инфраструктурах.
Примеры сценариев использования:
консолидация данных и построение бизнес-отчетности;
миграция с legacy-систем на современную архитектуру;
