Как стать автором
Обновить

Комментарии 7

По сравнению с чем?

Удивительно, как можно было вполне нормальный продукт, Cloudera я имею ввиду, так отвратительно описать.

Вам что лень было?

Короче, Cloudera уже год-полтора как монополист, держим это в уме.

Всё нижеперечисленное относится к предыдущим версиям Cloudera и Hortonworks, с CDP я пока нормально не работал, так что мнения не имею.

Я с клаудерой и HDP вожусь (на деньги клиентов, так что про цены не скажу) уже третий год, приемлимая среда для разворачивания Hadoop и всего что около.

Позволяет поднять и запустить что-то простое на базе продуктов из экологической ниши hdfs/hadoop за считанные дни.

Достоинства самоочевидны, не нужно разбираться в тонкостях настройки десятка сервисов чтобы всё это "взлетело".

Недостатки вытекают из достоинств и являются их продолжениями. Как только нужно делать что-то сильно нестандартное всё усложняется.

Так что разбираться всё равно придется, только постепенно и на настоящих проблемах.

Конфигурирование сторонними утилитами не самое дружелюбное, но в наших проектах Ansible пришёл на помощь так что поломать голову приходится только один раз.

Документация норм, довольно живые форумы где юзвери делятся болью и находят решения для проблем.

Вывод, не позволяйте маркетинговой мути просачиваться в живое общение, она тут никому не нужна.

а по мне бесполезная трата денег. более $10k в год за ноду, это совсем перебор и сравнимо с oracle exadata. on-perm даже заплатив, все равно нужны админы присматривать, ну и в чем смысл выкладывать как за exadata? разумней тем же людям платить чуток больше и собирать себе ванильный хадуп со свежим софтом.
тем более что перспективы у клоудеры не очень, никогда не было прибыли, генерирует лишь убытки. многих клиентов обманула, закрыв доступ репозиториям. т.е. те кто были вынуждены заплатить расстроены и в ближайшее время будет массовый отток клиентов что не по своей воли заплатили. не факт что клоудера это переживет, не зря ее на днях продали какому-то фонду.

Так в самом начале писал что деньги вообще не рассматривал.
Технически клаудера норм, нет каких-то больших сюрпризов.

Вот вопрос, ванильный хадуп собирать и ставить для меня всегда было тем ещё удовольствием сродни черной магии.

Появились какие-то системы дистрибуции, которыми можно собрать набор вроде HDFS+Kafka±Storm+Hive под себя не закапывпясь надолго в мануалы?

Желательно чтоб и обновиться можно было без особой боли.

я к тому, что клоудера не отменяет содержание штата админов, но если админы есть, нет особого смысла платить за дистр и погружаться в его странные нюансы.
без боли думаю не собрать, есть некие скрипты bigtop, говорят помогают в сборке и мне кажется это более перспективно, чем выяснять, чего клоудера выпилила из спарк.

За скрипты bigtop спасибо, будем поглядеть.

Ну смотрите.

У меня был довольно специфический юзкейс, много маленьких (10-20 нод) кластеров, разворачивать нужно было на приватных облаках или AWS.

Кластера очень похожи, клиент богатый и деньги у них есть.

Используя Terraform, Absible и немного смекалки получается развернуть кластер и передать его на QA за пару часов.

От кластера к кластеру меняются несколько переменных, код тот-же самый.

Интеграция с AD, Kerberos, Graphana для приложений,VPN, mail proxy — всё включено.

Cloudera настраивается дерганьем API (отвратное, кстати, но есть минимальный скрипит способный воткнуть конфигурацию в виде XML)

Всё это мы сделали за несколько месяцев и потом год вылизывали, в основном потому что провайдер облака оказался очень геморройным.

Не знаю сколько может занять у меня с коллегами чтобы аналог поднять на голом Hadoop, а мы не совсем новички.

Так что место для Cloudera есть, жаль, что конкуренции в этой нише мало сейчас.

10-20 нод это $300-600к за 3 года. если дело лишь в удобстве, точно ли удобство стоит таких денег? «HDFS+Kafka±Storm+Hive» не столь уж сложно развернуть с амбари и на ваниле, за $10-20k вам легко бы кто-то помог нарисовать скрипты для ванилы и еще тучи денег остались бы на эксперименты.
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.