Комментарии 2
Сейчас, когда система стабилизировалась, пришли к конфигурации с тремя средами – тест, препрод и прод (основная).
а тест и препрод такие же маленькие как в облаке были? 3 крошечные ноды, там же ничего объемное не протестируешь. тем более если если толкается и ярн и импала.
0
Приветствую!
Да, тестовая и препрод среда остались на прежних ресурсах из приватного облака.
Тестовой среды действительно не хватает для полноценного выполнения задач, поэтому не ней происходит отладка инструментов и задач загрузки и построения витрин на ограниченном наборе данных для быстрой оценки.
Ресурсов препрод среды для задач загрузки и построения витрин вполне достаточно. Проблемы с производительностью начинают возникать только при параллельном запуске большого количества задач по анализу данных и построению моделей в Jupyter и Apache Zeppelin. Сейчас большинство этих задач выполняется в прод среде и влияние на препрод минимально.
Да, тестовая и препрод среда остались на прежних ресурсах из приватного облака.
Тестовой среды действительно не хватает для полноценного выполнения задач, поэтому не ней происходит отладка инструментов и задач загрузки и построения витрин на ограниченном наборе данных для быстрой оценки.
Ресурсов препрод среды для задач загрузки и построения витрин вполне достаточно. Проблемы с производительностью начинают возникать только при параллельном запуске большого количества задач по анализу данных и построению моделей в Jupyter и Apache Zeppelin. Сейчас большинство этих задач выполняется в прод среде и влияние на препрод минимально.
0
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Распределенное хранилище данных в концепции Data Lake: с чего начать