В Aerospike мы складываем уже обработанные в Spark'е данные. Обратно в Spark они не идут. Поэтому особо никакой коннектор тут не нужен. Создается соединение и идет запись.
Чтение из Aerospik'а обратно в Spark мы используем в другой системе, и там тоже никаких проблем нет. Так же создаем соединение и считываем.
Очень довольны Кафкой в проде. Никаких сложностей не вызывает. Зукиперу нужно нечетное количество машин > 1 для кворума. Там машина-лидер определяется путём голосования. Но нагрузка на него небольшая. Поэтому, как мне кажется, лучше взять 3 нежирные машинки для него. Другой вариант: запустить его на тех же 3-х машинах, что и Кафку. Планируемый RPS потянет без проблем.
Чтение из Aerospik'а обратно в Spark мы используем в другой системе, и там тоже никаких проблем нет. Так же создаем соединение и считываем.