Комментарии 41
вот если б она на erlang была написана…
Читатели заинтересованы. :-)
Текстов на русском про Hadoop нет.
Текстов на русском про Hadoop нет.
Да редкий материал… в свете часто не очень оригинального материала на сайте статья вызывает уважение
Теперь есть:
olesya-lara.livejournal.com/14169.html
olesya-lara.livejournal.com/14169.html
ФС на Java? Оригинально. :)
да… темка очень интересная.
GFS выделена в отдельный проект, или это закрытая разработка Google?
закрытая разработка гугла.
Закрытый, так как это одна из ключевых технологий Google
Это и отдельный проект и закрытая разработка, компания делиться только концепцией но не реализацией.
BigTable к примеру использует GFS «to store log and data files.»
BigTable к примеру использует GFS «to store log and data files.»
А интимные подробности, такие как «отсутствие автоматического запуска главного сервера в случае его сбоя (данная функциональность реализована в GFS)», получены из открытых источников?
Pdf файл со страницы labs.google.com/papers/gfs.html пункт 5.1.3 Master Replication
отличный материал, очень жду продолжения! спасибо!
Когда знакомился впервые с Hadup было только API на Java и C++ вроде, позволяющая работать с HDFS. Есть ли уже реализация в виде драйвера или модуля для linux, чтоб можно было смонтировать HDFS на клиентском узле?
Hadoop — извините меня!?
пока нету, но в их джире кто-то брался за изготовление WebDav интерфейса. имея WebDav теоретически можно сомтрировать файловую систему через fuse.
WebDav вроде как работал.
мы чуть подтюнили ихний WebDav — подчистили и прикрутили трансляцию прав доступа с/в HDFS:
www.hadoop.iponweb.net/
www.hadoop.iponweb.net/
Спасибо! Отличная статья. Достаточно полное описание hdfs. А есть ли примеры (проекты) использования этой распределенной фс отдельно от Hadoop?
К сожалению для WEB больше неободимо работать с большим кол-вом мелких файлов. Поетому единственное решение, которое я нашел из работающих это MogileFS. Альтернатив нет.
Кстати, на днях была интересная новость, которая, видимо, будет способствовать развитию Hadoop и его принятию корпоративным сектором: «Команда бывших сотрудников гигантов интернет-отрасли Google, Yahoo! и Facebook объединилась для создания стартапа Cloudera, который предоставит специализированную техническую поддержку по Open Source-платформе Hadoop.» © www.nixp.ru/news/9346
Спасибо! Весьма интересно, буду ждать продолжения.
А можете добавить еще в сравнительную колонку DFS (Distributed File System), которая от Microsoft.
как на меня слабоватая статья, вот статья где более детально расписана установка.
«По окончании записи, клиент уведомляет NameNode-сервер, который фиксирует транзакцию создания файла, после чего он становится доступным в системе»
Тоесть пока фаил не запишется на все требуемые сервера транзакция записи не завершится? или другими словами фаил будет доступен, когда он запишется на все сервера или уже будет доступен когда попадет на первый?
Тоесть пока фаил не запишется на все требуемые сервера транзакция записи не завершится? или другими словами фаил будет доступен, когда он запишется на все сервера или уже будет доступен когда попадет на первый?
До чего же убогие картинки. Надеюсь, это не архитектор Hadoop рисовал…
Мне кажется, что одним из огромнейших недостатков DFS является то что протокол namenode реализован через сильноспецифический java RPC, поэтому все клиентские реализиции работают через Java-биндинг
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Hadoop Distributed File System