У нас стоит робот на 12000 кассет по 800ГБ кажая. Дисками заменить будет дорого и ненадежно. Ежеднево бакапится порядка 9ТБ (инкриментал). Прада диски тоже используются. Свежие копии лежат на дисках, так как они и нужны в 99% случаев.
Частые релизы хороши, если не надо поддерживать много версий одновременно, или когда новая функциональность изолированна. В противном случае поддержка зоопарка версий станет большим тормозом проекта.
dCache где-то x2-x4 раза быстрее. HDFS вообще преследует другие цели, и без MR использовать как ФС не имеет смысла. В Hadoop-2.2.0 есть родной NFSv3. Может шустрее работает чем FUSE.
Infiniband говорите. Это для pool-to-pool? У нас у самих такие мысли проскальзывают. Будет интересен ваш опыт. Может добавим как RDMA как 'родной' метод для общения между компонентами.
GlusterFS тоже можно использовать. Всё зависит от того что вам надо. Изначально, dCache создавался для предоставления прозрачного доступа к данным на ленте, что по сей день активно используется. dCache поддерживает WebDAV и FTP, которые на glusterFS запустить легко, а вот использовать распределённую природу glusteraFS сложно.
Ну а Java есть свои преимущества. Да и код не так страшен, если C читать множите.
Ого! Рад видеть на Хабре человека использующего dCache.
Начиная с версии 2.2 в dCache добавлен тип раздела 'waas'. Механизм, описанный здесь, сильно упрощён, что-бы не пугать :). Полное описание алгоритма можно найти здесь.
А у вас какая версия dCache-а стоит и где (если не секрет).
Сервер метаданных является центральным компонентом и вся ФС зависит от него. На практике, мы используем репликацию базы, что позволяет поднять резервный за секунды.
dCache не разбивает файлы на блоки, и в случае переполнения сервера запись на него будет блокирована. Что-бы такая ситуация не возникала, для сервера данных есть понятие gap. Это минимальное количество дискового пространства которое должно быть у сервера, что-бы его рассматривать как возможный кандидат.
Основная задача dCache — это построение распределённого хранилища на основе обычного железа. Причём, все сервера видны клиентам как одна большая файловая система, размер которой можно увеличивать по мере надобности. При добавлении нового узла мы увеличиваем как дисковое пространство, так и сетевой канал, так-как клиенты пишут/читают прямо с серверов.
Да, можно сконфигурировать так, что для каждого файла будет N копий, но не больше чем M. При этом, если нод упадёт, то новая копия будет создана. К тому-же, dCache умеет мигрировать данные на ленту и брать их обрато, если понадобится. Система изначально создавалась как фротэнд для ленточного хранилища.
GlusterFS тоже можно использовать. Всё зависит от того что вам надо. Изначально, dCache создавался для предоставления прозрачного доступа к данным на ленте, что по сей день активно используется. dCache поддерживает WebDAV и FTP, которые на glusterFS запустить легко, а вот использовать распределённую природу glusteraFS сложно.
Ну а Java есть свои преимущества. Да и код не так страшен, если C читать множите.
Начиная с версии 2.2 в dCache добавлен тип раздела 'waas'. Механизм, описанный здесь, сильно упрощён, что-бы не пугать :). Полное описание алгоритма можно найти здесь.
А у вас какая версия dCache-а стоит и где (если не секрет).
dCache не разбивает файлы на блоки, и в случае переполнения сервера запись на него будет блокирована. Что-бы такая ситуация не возникала, для сервера данных есть понятие gap. Это минимальное количество дискового пространства которое должно быть у сервера, что-бы его рассматривать как возможный кандидат.
# prtdiag
System Configuration: Sun Microsystems sun4u Sun Fire V240
System clock frequency: 167 MHZ
Memory size: 2GB
==================================== CPUs ====================================
E$ CPU CPU
CPU Freq Size Implementation Mask Status Location
— — — — — — — 0 1503 MHz 1MB SUNW,UltraSPARC-IIIi 3.4 on-line MB/P0
1 1503 MHz 1MB SUNW,UltraSPARC-IIIi 3.4 on-line MB/P1
С января 2006 перегружали только один раз — год назад, когда электричества не было дольше, чем UPS мог
продержатся.
P.P.S: спасибо, исправил.
Вот картинка за последние 24 часа