Как стать автором
Обновить

Комментарии 16

А для каких целей вы используете hadoop?
Пока активно экспериментируем, исследуем, где вообще можно применить Hadoop для решения насущных задач. В следующих статьях цикла постараюсь рассказать подробнее на примере одной задачи.
Как уже ниже писал, очень жду рассказ про Flume. Мы сейчас используем logstash, но он… не комфортный для нас пока.
Зачем использовать сокращатели ссылок там где они не к чему, что за дурацкая мода?
Почему это не к чему?
Если вы про ссылку в блог, то мы используем собственный сокращатель ссылок как единую точку мониторинга посещаемости наших веб-ресурсов. Приносим извинения, если это доставляет вам неудобства.
Я догадываюсь о назначении, но что мешает вам мониторить вашу статитиску через ссылку редирект, чтобы не скрывать URL назначения?
Очень интересно послушать про Flume. Как раз сейчас думаю о его установке для сравнения с текущим решением.
один я не понимаю зачем делать это:
«/dfs» поверх LVM на все доступные диски под хранение данных HDFS;

не проще все N дисков подмонтировать в /dfs/{1..N}?
это гарантирует сразу несколько вещей:
1) вылет одного диска вызовет замену только одного диска без перепроверки всего lvm
2) при обновлении хадупа на каждый диск запускается отдельный тред для проверки дискового формата, с lvm и единым разделом мы будем иметь 1 поток
Да, вы правы, лучше монтировать каждый диск в отдельную папку. Но в таком случае главное не забыть перечислить все точки монтирования в настройках HDFS сервиса.
У нас использование LVM сложилось по историческим причинам (разное количество дисков на тестовых серверах), к сожалению, забыл упомянуть об этом в статье.
Когда можно от вас будет ожидать статью про Hadoop+Flume?
Надеюсь, что на этой неделе успеем опубликовать.
Очень ждем, очень намаялись с logstash, интересны альтернативы.
Статья про Flume доступна уже в блоге
Спасибо! Пошел с интересом читать! )
Кого интересует детальная инструкция по установке дистрибутива от Hortonworks — можете ознакомиться с моей статьей:
ihorbobak.com/index.php/2015/05/06/installing-hadoop-using-ambari-server
ну а также здесь
ihorbobak.com/index.php/2015/06/23/installing-development-tools-on-hadoop
статья об установке средств разработки.

Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.