В данном случае использовал сохранение всех результатов выгрузки в json с указанием временного промежутка
Кэширование результатов во время загрузки не требовалось, потому что в рамках одного прогона повторно данные не выгружал
Распараллелирование можно было использовать, например, если 2 и более кластеров.Тогда можно сделать под каждый кластер свой поток для выгрузки данных и дальнейшего анализа
На данный момент анализ кластеров идёт последовательно Планирую в дальнейшем оптимизировать проверки и распараллеливать процессы
В данном случае использовал сохранение всех результатов выгрузки в json с указанием временного промежутка
Кэширование результатов во время загрузки не требовалось, потому что в рамках одного прогона повторно данные не выгружал
Распараллелирование можно было использовать, например, если 2 и более кластеров.Тогда можно сделать под каждый кластер свой поток для выгрузки данных и дальнейшего анализа
На данный момент анализ кластеров идёт последовательно
Планирую в дальнейшем оптимизировать проверки и распараллеливать процессы