Как автоматизировать администрирование Hadoop, чтобы не было мучительно больно

[loltrol]

Ambari уже давно мертво после слияния hortonworks и cloudera. + "приготовить" ambari иногда было в разы сложнее чем вручную разобраться с каждым сервисом и навалять парочку ansible скриптов, особенно с последними релизами ambari. На сколько я знаю, был выбран курс в сторону saas на основе Cloudera Manager, но этот CM еще более тупиковый чем ambari. А потом я там перестал крутиться и не знаю чем закончилось, если кто то расскажет - будет интересно :)

[solarwind]

Умер не столько Ambari, сколько платформа HDP как таковая. А в CDP всю жизнь был как раз Cloudera Manager, и он для своих целей весьма неплох.

[sshikov]

Не нашел описания того, каковы масштабы деятельности. Т.е., сколько примерно самих кластеров, сколько в них обычно узлов, и все такое. Это не помешало бы, чтобы понимать объемы работ.

[solarwind]

Самые большие два прод-кластера на железе - ~160-220 нод. Еще несколько поменьше - 10-60 нод. Периодически для разных целей поднимаются и впоследствии умирают (или нет) мелкие кластера по 4-10 нод. В нашем опенстеке таких вообще много, десятки.

[sshikov]

Понятно. Ожидаемо вполне солидные размеры. У нас коллеги на похожих масштабах регулярно забывают что-то сконфигурировать, так как помнить, что у вас там на 200 нодах — невозможно, надо либо автоматизировать, либо записывать, но все равно потом автоматизировать :) И даже на 20 нодах — но если у тебя хотя бы 10 таких кластеров, то эффект в общем получается тот же самый, если не хуже.

[solarwind]

Точно, все так. Кроме того, без автоматизации спустя годы кластер обрастает таким количеством ручных настроек и обвязок, что и вспомнить все проблематично. Легаси. Поэтому лучше автоматизировать, и чем раньше, тем лучше. :-)

[sshikov]

Да, это само собой. Мне как-то приходилось настраивать чуть более простой кластер, три QPID и три Karaf, ну и всякие там HAProxy — так это без автоматизации такая… примерно месяц занимала настройка нового стенда из трех машин. Не чистого времени конечно, а календарно.

[chemtech]

Спасибо за пост. Будете ли opensource-ить свои наработки?

[solarwind]

Желание такое имеется, но пока не очень понятно, имеет ли смысл опенсорсить наработки для умершего дистрибутива хадупа (HDP). Там все-таки есть много именно особенностей, связанных именно с HDP. Да и много интеграции с нашей собственной инфраструктурой. Посмотрим, если сделаем более универсально, то выложим.