Hadoop, часть 1: развертывание кластера

[saa]

А для каких целей вы используете hadoop?

[fortyseven]

Пока активно экспериментируем, исследуем, где вообще можно применить Hadoop для решения насущных задач. В следующих статьях цикла постараюсь рассказать подробнее на примере одной задачи.

[rudenkovk]

Как уже ниже писал, очень жду рассказ про Flume. Мы сейчас используем logstash, но он… не комфортный для нас пока.

[nshopik]

Зачем использовать сокращатели ссылок там где они не к чему, что за дурацкая мода?

[dev1ce]

Почему это не к чему?

[fortyseven]

Если вы про ссылку в блог, то мы используем собственный сокращатель ссылок как единую точку мониторинга посещаемости наших веб-ресурсов. Приносим извинения, если это доставляет вам неудобства.

[nshopik]

Я догадываюсь о назначении, но что мешает вам мониторить вашу статитиску через ссылку редирект, чтобы не скрывать URL назначения?

[rudenkovk]

Очень интересно послушать про Flume. Как раз сейчас думаю о его установке для сравнения с текущим решением.

[xhumanoid]

один я не понимаю зачем делать это:
«/dfs» поверх LVM на все доступные диски под хранение данных HDFS;

не проще все N дисков подмонтировать в /dfs/{1..N}?
это гарантирует сразу несколько вещей:
1) вылет одного диска вызовет замену только одного диска без перепроверки всего lvm
2) при обновлении хадупа на каждый диск запускается отдельный тред для проверки дискового формата, с lvm и единым разделом мы будем иметь 1 поток

[fortyseven]

Да, вы правы, лучше монтировать каждый диск в отдельную папку. Но в таком случае главное не забыть перечислить все точки монтирования в настройках HDFS сервиса.
У нас использование LVM сложилось по историческим причинам (разное количество дисков на тестовых серверах), к сожалению, забыл упомянуть об этом в статье.

[rudenkovk]

Когда можно от вас будет ожидать статью про Hadoop+Flume?

[fortyseven]

Надеюсь, что на этой неделе успеем опубликовать.

[rudenkovk]

Очень ждем, очень намаялись с logstash, интересны альтернативы.

[akme]

Статья про Flume доступна уже в блоге

[rudenkovk]

Спасибо! Пошел с интересом читать! )

[Ihor_Bobak]

Кого интересует детальная инструкция по установке дистрибутива от Hortonworks — можете ознакомиться с моей статьей:
ihorbobak.com/index.php/2015/05/06/installing-hadoop-using-ambari-server
ну а также здесь
ihorbobak.com/index.php/2015/06/23/installing-development-tools-on-hadoop
статья об установке средств разработки.