Коннектор проприетарный, пока не планируем выкладывать в Open Source. Продукт свежий, документация по нему готовится. Общее описание на сайте стоит ожидать не раньше марта. И есть идея написать статью на Хабр по нему с разъяснением функционала.
У Arenadata DB есть свой Spark-Greenplum коннектор. Он сильно отличается от коннектора NetEase и прочих вариаций. Функционал нашего коннектора:
чтение данных из ADB, запись данных в ADB с помощью различных режимов записи (overwrite, append, errorIfExists), поддержка структурированных данных, автоматическое формирование схемы данных, настраиваемое партиционирование (целочисленные типы, даты), push-down операторов (отсекание колонок, push-down фильтров), извлечение дополнительных метаданных из ADB (схема распределения данных, статистика, оптимизация count-ов), выполнение произвольного sql через master ADB, батч режим. P.S. опять реклама вышла :)
Иван, а вы смотрели Arenadata DB? Мы вместе с Pivotal занимаемся разработкой и развитием Greenplum, по количеству комитов занимаем второе место и обогнали ещё год назад Alibaba. Основные отличия от ванильного Greenplum — собственный оркестатратор ADCM, с которым значительно удобнее деплоить систему, возможность offline установки, нативная интеграция с Hadoop, ClickHouse, Kafka, NiFi, Elasticsearch, наличие системы мониторинга и оповещения, Command Center — инструмент для работы с запросами (SKEW), поддержка x86 и Power-совместимого оборудования, возможность влиять на развитие и доработка ядра Greenplum под требования заказчика и поддержку 24x7. Вот тут в видео рассказываем подробнее про отличия от «ванилки» www.youtube.com/watch?v=_0AEkmGb3PM Можете скачать и потестить с нашего стора, или взять в аренду в облаке Mail.ru.
Иван, привет! Как обещали, написали статью на Хабре про наш Adb-Spark-коннектор.
чтение данных из ADB, запись данных в ADB с помощью различных режимов записи (overwrite, append, errorIfExists), поддержка структурированных данных, автоматическое формирование схемы данных, настраиваемое партиционирование (целочисленные типы, даты), push-down операторов (отсекание колонок, push-down фильтров), извлечение дополнительных метаданных из ADB (схема распределения данных, статистика, оптимизация count-ов), выполнение произвольного sql через master ADB, батч режим. P.S. опять реклама вышла :)