Как стать автором
Обновить

Комментарии 2

Сейчас, когда система стабилизировалась, пришли к конфигурации с тремя средами – тест, препрод и прод (основная).

а тест и препрод такие же маленькие как в облаке были? 3 крошечные ноды, там же ничего объемное не протестируешь. тем более если если толкается и ярн и импала.
Приветствую!
Да, тестовая и препрод среда остались на прежних ресурсах из приватного облака.
Тестовой среды действительно не хватает для полноценного выполнения задач, поэтому не ней происходит отладка инструментов и задач загрузки и построения витрин на ограниченном наборе данных для быстрой оценки.
Ресурсов препрод среды для задач загрузки и построения витрин вполне достаточно. Проблемы с производительностью начинают возникать только при параллельном запуске большого количества задач по анализу данных и построению моделей в Jupyter и Apache Zeppelin. Сейчас большинство этих задач выполняется в прод среде и влияние на препрод минимально.
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.