Hadoop Distributed File System

[kay]

вот если б она на erlang была написана…

[Min0r]

Это не мешает использовать Erlang в качестве написания приложений. :)

[Scala]

Было бы +10 к понтам?

[Scala]

Кто вам сказал такую ерунду?

[Scala]

Вы это в википедии прочитали? Судя по вашему использованию таких баззвордов, как «треды», которых в Erlang вообще нет — похоже на то.

Erlang конечно язык интересный, но дальше телекома вряд ли куда уйдёт. Как-то до этого дня обходились все Java, так и дальше будут обходиться.

[Coder]

Читатели заинтересованы. :-)
Текстов на русском про Hadoop нет.

[brook]

Да редкий материал… в свете часто не очень оригинального материала на сайте статья вызывает уважение

[VadimGus]

Теперь есть:
olesya-lara.livejournal.com/14169.html

[u_story]

ФС на Java? Оригинально. :)

[bagyr]

Есть же драйвера на C#, так почему бы и нет. Ждем компилятор, написанный на PHP.

[junqed]

Лучше ОС на на brainfuck )

[huze]

Графический редактор на Piet.

[GOLDEN_key]

На BASH компайлер асма уже сваяли :)

slashdot.org/articles/01/02/15/046242.shtml

[bagyr]

Ну вот, как всегда, сидишь, выдумываешь что-то в корне абсурдное, принципиально никому не нужное, противоречащее элементарным жизненным устоям, а это уже давно есть и с успехом применяется.

[A_G_K]

да… темка очень интересная.

[LDEV]

GFS выделена в отдельный проект, или это закрытая разработка Google?

[Caesar]

закрытая разработка гугла.

[widgetii]

Закрытый, так как это одна из ключевых технологий Google

[zenuch]

Это и отдельный проект и закрытая разработка, компания делиться только концепцией но не реализацией.
BigTable к примеру использует GFS «to store log and data files.»

[LDEV]

А интимные подробности, такие как «отсутствие автоматического запуска главного сервера в случае его сбоя (данная функциональность реализована в GFS)», получены из открытых источников?

[zenuch]

Pdf файл со страницы labs.google.com/papers/gfs.html пункт 5.1.3 Master Replication

[aleks_raiden]

отличный материал, очень жду продолжения! спасибо!

[Min0r]

Когда знакомился впервые с Hadup было только API на Java и C++ вроде, позволяющая работать с HDFS. Есть ли уже реализация в виде драйвера или модуля для linux, чтоб можно было смонтировать HDFS на клиентском узле?

[Min0r]

Hadoop — извините меня!?

[Caesar]

пока нету, но в их джире кто-то брался за изготовление WebDav интерфейса. имея WebDav теоретически можно сомтрировать файловую систему через fuse.

[Min0r]

WebDav вроде как работал.

[none]

мы чуть подтюнили ихний WebDav — подчистили и прикрутили трансляцию прав доступа с/в HDFS:
www.hadoop.iponweb.net/

[maksim07]

Спасибо! Отличная статья. Достаточно полное описание hdfs. А есть ли примеры (проекты) использования этой распределенной фс отдельно от Hadoop?

[zenuch]

следует понимать что проект Hadoop состоит из:
— Hadoop Core (HDFS + MapReduce + Api)
— Hbase
— ZooKeeper

Вот, если речь идет о Hadoop Core, то новая архитектура SpyLog использует только ее.

[maksim07]

упс. имел ввиду MapReduce естественно :)

[Psih]

К сожалению для WEB больше неободимо работать с большим кол-вом мелких файлов. Поетому единственное решение, которое я нашел из работающих это MogileFS. Альтернатив нет.

[eugyn]

А чем люстра не устраивает

[shurup]

Кстати, на днях была интересная новость, которая, видимо, будет способствовать развитию Hadoop и его принятию корпоративным сектором: «Команда бывших сотрудников гигантов интернет-отрасли Google, Yahoo! и Facebook объединилась для создания стартапа Cloudera, который предоставит специализированную техническую поддержку по Open Source-платформе Hadoop.» © www.nixp.ru/news/9346

[Ilirium]

Спасибо! Весьма интересно, буду ждать продолжения.

[gaploid]

А можете добавить еще в сравнительную колонку DFS (Distributed File System), которая от Microsoft.

[gorp]

как на меня слабоватая статья, вот статья где более детально расписана установка.

[gaploid]

«По окончании записи, клиент уведомляет NameNode-сервер, который фиксирует транзакцию создания файла, после чего он становится доступным в системе»
Тоесть пока фаил не запишется на все требуемые сервера транзакция записи не завершится? или другими словами фаил будет доступен, когда он запишется на все сервера или уже будет доступен когда попадет на первый?

[ItGold]

До чего же убогие картинки. Надеюсь, это не архитектор Hadoop рисовал…

[ricciotto]

Мне кажется, что одним из огромнейших недостатков DFS является то что протокол namenode реализован через сильноспецифический java RPC, поэтому все клиентские реализиции работают через Java-биндинг