Облачный провайдер VK Cloud представил сервис для потоковой обработки данных в режиме реального времени под названием Cloud Streams. Сервис работает на базе решения Arenadata Streaming и позволяет построить корпоративное хранилище данных, создать аналитические сервисы для обработки сотен сообщений в секунду и получать инсайты из неструктурированной информации. Об этом информационной службе Хабра рассказали на мероприятии VK Cloud Conf 2023.
По заявлению разработчиков, компании могут использовать Cloud Streams для создания приложений по работе с потоковыми данными с помощью графического интерфейса и масштабировать ресурсы в облаке с учётом роста или снижения нагрузки.
Новый сервис может получать и обрабатывать данные из корпоративных и разрозненных внешних систем, хранить их в течение заданного периода времени и возвращать пользователям с требуемой нагрузкой. Cloud Streams можно использовать как шину данных между корпоративными приложениями. Сервис может интегрироваться с компонентами Cloud Big Data, с управляемыми СУБД в VK Cloud и с инструментами Elasticsearch, Couchbase, API Cassandra.
Разработчики заявляют совместимость Cloud Streams с Arenadata Hadoop (на базе экосистемы сервисов Apache Hadoop) и Arenadata DB на базе Greenplum. Оба решения находятся в реестре российского ПО.
В основе сервиса лежит брокер сообщений Apache Kafka и инструмент для автоматизации потоков данных Apache NiFi. Причём эти компоненты доступны пользователям Cloud Streams как управляемые сервисы.
