Безопасная распределенная файловая система

    Вообще, идея появилась достаточно давно. Может быть год назад попадалось мне упоминание о подобной разработке, но как сейчас искать я не знаю. Возможно моя идея не нова и банальна. Итак…

    Торрент Безопасная распределенная файловая система. Звучит, конечно, пафосно.



    Суть:

    1. Файловая система является сетевой распределенной файловой системой, с избыточным дублированием, шифрованием, поблочным разбиением каждого файла по множеству узлов сети. Грубо говоря, сетевой RAID, где отдельным физическим диском группы томов является пространство выделенное отдельным пользователем. Пространство пользователя может быть как общим для группы пользователей, так и приватным.
    2. Для работы фс нужен постоянный доступ в интернет, и чем больше скорость соединения — тем лучше. Возможно накладывать ограничение на вход в сеть по скорости. Вы же не хотите ждать запуска вашей любимой программы 2 часа? :). Можно строить ФС на базе локальной сети, тогда вопрос скорости решается проще. Но редко можно встретить настолько крупные сети, которые смогут обеспечит постоянную доступность всех файлов.
    3. Иметь 1-2-...n трекеров для координирования пользователей.
    4. Каждый пользователь выделяет у себя место под хранение данных, допустим от 1гб до бесконечности. При этом можно накладывать ограничение на объем диска для пользователя с учетом выделенного им объема для сетевого хранилища и доступности свободного места в распределенной сети.
    5. Несомненно в распределенной сети должно быть не меньше 15-20 человек (в идеале речь идёт о тысячах), для достаточного разбиения файла, скажем на 5 частей (часть не означает линейную копию 1\5 файла, а также как при передаче в торрентах 20% данных в shuffle виде, при этом каждая часть дублируется как минимум в 3-4 узлах хранилища.
    6. Возможно выделение кэша на диске пользователя, 2-й раздел в котором хранятся последние целые полученные файлы из сети. Файлы раздела шифровать случайно сгенерированным ключом при старте сессии связи ФС, ключ хранится в оперативной памяти до конца сессии. Соответственно при критической ситуации (разрыв сессии\ресет\изъятие оборудования) навсегда закроется доступ к закешированным данным.

    Как вы думаете, имеет ли подобная система право на жизнь ?

    P.S. Конечно, пользователи могут использовать подобную разработку в любых целях, в том числе и для хранения нелегального контента. Но, я в первую очередь описал систему позволяющую иметь свои файлы всегда онлайн, и быть уверенным в том что хранилище доступно только для вас одного (в сравнении с сервисами предоставляющими сетевые диски, где гарантией того что ваши файлы, видите только вы является однажды просмотренная html страничка с неким соглашением)
    Поделиться публикацией

    Комментарии 13

      +1
      TPB делают / делали именно такую шнягу.
        0
        вы не могли бы подсказать название этой шняги? я слышал про них только о трекере и о полит\социальной деятельности
          0
          К сожалению названия не помню, да и не уверен что оно в том обзоре было, основная цель там была — это что нельзя конкретного пользователя привлечь за хранение контрафакта, так как у правообладателя, к примеру, есть права на полную композицию, но ее можно разбить на составляющие на которые по отдельности прав уже нет, а файл «собирается» из кусков только в момент использования которые сливаются со всего света.
        0
        цитирую
        Файловая система Google File System (GFS)
        Официальная статья: The Google File System
        Эта файловая система проектировалась под миллионы файлов, размером от 100 мб. Ожидались и многогигабайтные файлы. Файлы меньшего размера тоже планировалось поддерживать, но оптимизация для работы с ними не предусматривалась.
        Основная идея такая: каждый файл дробится на куски, каждый кусок в нескольких копиях содержится на разных машинах. Размер такого куска — 64 мегабайта и это довольно большой размер для подобных систем. Но в ходе размышлений гугловцы пришли именно к этой цифре. Один файл в среднем хранится в трех копиях, но это количество можно настраивать. По ходу статьи несколько раз упоминается, что они реализовали не POSIX API.
        Машины, на которых лежат куски файлов, называются чанксерверы (chunkserver)...
          0
          вы забыли написать следующее.

          «Является коммерческой тайной компании Google»
          0
          Это всё, конечно, круто. Но вот как обеспечить безопасность доступа в такой сети, разграничение прав (даже не обязательно полноценные ACL) и защиту от флуда?
            0
            Lustre?
              0
              GoogleFS. Данные хранятся в трех экземплярах в различных дата-центрах. Если я не ошибаюсь, то за все время работы они потеряли только 64 мбайта информации.
                0
                Похоже, вы изобрели это: habrahabr.ru/blogs/the_future_is_here/58035/
                  0
                  Поздравляю, ты изобрел Гластер! Хайлоад, 2008 год.
                    0
                    Такая система имеет право на жизнь хотя бы потому, что она уже есть и называется она Wuala
                    • НЛО прилетело и опубликовало эту надпись здесь
                        +1
                        OFFSystem (Owner-Free File System) — распределённая файловая система, в которой кусочки файлов случайным образом хранятся на разных компьютерах, и никто не имеет определённый файл целиком. Система была создана хакерской группой The Big Hack, которая занимается борьбой с цифровым копирайтом. При использовании OFFSystem на компьютерах участников сети хранятся не файлы с нелегальным контентом, а лишь абстрактные блоки данных, которые не могут считаться объектами, охраняемыми авторским правом. Получить полный файл можно только имея специальную ссылку. Суть подхода в том, что любой файл, защищенный авторскими правами, является набором битов и может быть получен из другого набора битов, на который копирайт уже не распространяется. Например: двоичный файл можно представить в виде числа; если кто-то имеет права на число 12, то числа 5 и 7 мы можем использовать свободно.

                        А работает это так: каждый закачиваемый файл разбивается на блоки по 128 килобайт, каждому из которых присваивается идентификатор. После этого блоки определённым образом распределяются по узлам сети и генерируется так называемый OFF-URL, который впоследствии используется для сборки оригинального файла из блоков. При этом сам контент не передается прямо между участниками, его получение происходит только на локальной машине пользователя.

                        Для использования системы нужно установить клиент, доступный для Windows, Linux и Mac OS X.

                        offsystem.sourceforge.net/

                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                        Самое читаемое