ivan386 Nov 9 2016 at 02:00

Межпланетная файловая система IPFS

7 min

85K

InterPlanetary File System — это новая децентрализованная сеть обмена файлами. Также выполняет функцию сети доставки содержимого.

Отличие от других децентрализованных сетей в том что самостоятельной единицей передаваемой в сети является блок. Блок может содержать как часть файла так и ссылки на другие блоки. Из блоков выстраивается направленный ациклический граф из которого в дальнейшем собирается файл или каталог.

Такая система позволяет более гибко подойти к хранению и передаче данных в сети. Недостатком такого подхода является то что всё что загружается в сеть режется на блоки и складывается в отдельный каталог на вашем диске.(Исправлено: "больше нет необходимости копировать в сеть") Поиск по имени файла или каталога в IPFS отсутствует также как и в сети BitTorrent.

Мультихеш

Base58: QmcXx5mKDQAc7tCWLq84Hn7XFxWfBdZpvogJk3tNXQRFiv 
HEX: 12 20 D2E8A669F85E864B5C285CAB18DE72CF8927DC1643516373FEFF871A69F2A127

Идентификатором в этой децентрализованной сети служит обёрнутый в мультихеш sha128 от блока. Мультихеш состоит из трёх частей: ID хеш функции, размер хеша в байтах, хеш. Для хранения ID и размера используется сейчас по одному байту но значения их не может быть больше или равно 128 до тех пор пока они не определятся с форматом unsigned-varint коими они обозначены. Мультихеш в ссылках представлен в кодировке Base58 bitcoin.

Мультихеш используется с заделом на будущее что-бы сеть имела возможность перейти на новые более стойкие хеш функции.

Теперь мультихеш входит в состав идентификатора контента.

Клиент

ipfs daemon

В рабочем состоянии для сети IPFS существует мультиплатформенный клиент написанный GO. Его можно как скачать так и скомпилировать самостоятельно.

Команда ipfs daemon запускает клиент который предоставляет web интерфейс. Войти на него можно по адресу по умолчанию http://127.0.0.1:5001/webui.

Добавить файл и каталог в сеть можно командной ipfs add [путь к файлу] или ipfs add -r [путь к каталогу]. Также файлы можно добавить через webui на странице http://127.0.0.1:5001/webui#files.

После добавления файла или каталога будет выдан его мультихеш. Добавленные таким способом обьекты автоматически прицепляются то есть они не будут удалены если выполнить команду ipfs repo gc. Также они становятся доступны во всей сети по этим мультихешам. Если открыть страницу web интерфейса http://127.0.0.1:5001/webui#objects можно увидеть как в сети представлены файлы введя их мультихеш в строку поиска. На ней показывается содержимое блока.

Блок

Выше я говорил что самостоятельной единицей в сети является блок. Если взять со страницы http://127.0.0.1:5001/webui#objects мультихеш блока файла и добавить к нему http://127.0.0.1:8080/ipfs/ то сеть отдаст часть файла или каталога соответствующую блоку с этим мультихешем.

Для прямой работы с raw блоками у ipfs также имеются команды:

 ipfs block get <key>    - Получить raw IPFS блок.
 ipfs block put <data>   - Сохранить ввод как IPFS блок.
 ipfs block rm <hash>... - Удалить IPFS блок(и).
 ipfs block stat <key>   - Вывести информацию о raw IPFS блоке.

При помощи ipfs block get [мультихеш] я выяснил чему соответствует мультихеш от тестового файла который я только что загрузил командой ipfs add [полный путь к файлу] используя RHash и Base58 online декодер. Файлы размером меньше 262158 байт хранятся в сети одним блоком. Формат этого блока ~~я так и не выяснил~~ по умолчанию это данные упакованные в Protocol Buffers.

Интересно что webui храниться в децентрализованной сети и часть кода самого клиента также храниться в ней. Код подгружается из сети автоматически перед компиляцией клиента. Зачем это сделано не знаю. Это немного затрудняет чтение исходников.

Шлюз

У сети IPFS есть выход в обычную сеть. То есть через сайт gateway.ipfs.io можно получить доступ к любому фалу или каталогу доступному в сети IPFS. Для этого достаточно знать его мультихеш и добавить его к адресу http://gateway.ipfs.io/ipfs/[мультихеш].

Некоторые клиенты децентрализованных сетей научились тянуть данные по http(s). Сайт gateway.ipfs.io можно использовать как WebSeed. А если у вас будут установлены одновременно IPFS и другой клиент поддерживающий WebSeed то второй сможет использовать IPFS локально через http://127.0.0.1:8080/ipfs/[мультихеш].

В этой статье "Почему Интернету нужен IPFS, пока ещё не поздно" в браузеры предлагается добавить расширение которое будет менять адрес ipfs.io на 127.0.0.1:8080. Это необходимо для просмотра в браузере контента из IPFS через локальный клиент.

Эксперименты с IPFS и BitTorrent

Экспериментируя с IPFS WebSeed и qBittorent я заметил что локальный IPFS очень медленно отдаёт данные запрашиваемые в случайном порядке. Только когда я включил последовательное скачивание скорость возросла до 1МБ/c. И этом все блоки раздачи находятся в локальном хранилище. Также IPFS сильно грузит процессор.

Для BitTorrent'а IPFS клиент может послужить хорошим дедупликатором. Он сможет найти копии файлов по IPFS мультихешу каталога или файла. Для этого достаточно добавить его как WebSeed в торрент.

IPFS WebSeed

Для того чтобы раздать используя IPFS WebSeed содержимое каталога надо ~~перед загрузкой в IPFS перенести в другой пустой каталог и его уже~~ (ключ -w автоматически обернёт в ещё один каталог) добавить на загрузку командой ipfs add -w -r [путь к каталогу]. Доступ к исходному каталогу будет по ссылке http://gateway.ipfs.io/ipfs/[мультихеш]/[Имя исходного каталога] или http://127.0.0.1:8080/ipfs/[мультихеш]/[Имя исходного каталога].

BitTorrent клиенты автоматически добавляют к WebSeed ссылке полный путь к файлу из торрента в случае если это торрент каталога. Достаточно как WebSeed добавить ссылку вида http://gateway.ipfs.io/ipfs/[мультихеш] или http://127.0.0.1:8080/ipfs/[мультихеш].

Для однофайлового торрента достаточно просто добавить файл командой ipfs add [путь к файлу] и WebSeed ссылки на него будут того же вида http://gateway.ipfs.io/ipfs/[мультихеш] или http://127.0.0.1:8080/ipfs/[мультихеш].

Для того чтобы файлы не занимали на диске двойное место нужно использовать ключ --nocopy. О том как его включить и использовать в статье "больше нет необходимости копировать в сеть".

После этого полученные ссылки можно добавить в создаваемый торрент-файл или магнит.

Пример магнита:

magnet:?xt=urn:btih:aaaaaaa...&ws=http://gateway.ipfs.io/ipfs/[мультихеш]

WebTorrent и IPFS WebSeed

WebTorrent сможет работать только с локальным шлюзом IPFS и то только после настройки так как шлюз должен дать разрешение для WebTorrent использовать HTTP заголовок Range.

Для этого необходимо открыть http://127.0.0.1:5001/webui#config

И в строки:

      "Access-Control-Allow-Headers": [
        "X-Requested-With"
      ],

добавить "Range":

      "Access-Control-Allow-Headers": [
        "X-Requested-With",
        "Range"
      ],

после чего сохранить и перезапустить IPFS

Межпланетная система имён

Также у каждого клиента есть возможность привязать объект к мультихешу своего публичного ключа. На сайте gateway.ipfs.io можно получить доступ к этому объекту добавив мультихеш публичного ключа к адресу http://gateway.ipfs.io/ipns/. Для того чтобы привязать или получить объект по мультихешу публичного ключа существуют команды:

  ipfs name publish <ipfs-path> - Публиковать объект в IPNS.
  ipfs name resolve [<name>]    - Взять значение опубликованного по IPNS имени.

Сочетание бесплатного DNS, http://gateway.ipfs.io/ipns/[мультихеш публичного ключа] и IPFS клиента позволяет раздавать с домашнего сервера небольшой статичный сайт даже находясь за NAT.

Межпланетная файловая система и магнит

Сейчас IPFS не умеет работать с магнит-ссылкам и да и не описан URN который содержит в себе используемый в сети мультихеш.

Я предлагаю такой: urn:ipfs:[Base58 bitcoin encoded IPFS multihash]

В магнит ссылке он соответственно будет выглядеть так:

magnet:?xt=urn:ipfs:[Base58 bitcoin encoded IPFS multihash]

Пример:

magnet:?xt=urn:ipfs:QmcXx5mKDQAc7tCWLq84Hn7XFxWfBdZpvogJk3tNXQRFiv

Написав небольшой скрипт можно научить работать IPFS с магнитами или другие децентрализованные клиенты использовать IPFS как WebSeed.

Я думаю использование магнит-ссылки позволит отвязаться от сайта ipfs.io с которым может произойти та же история что и с доменом shareaza. И более чётко обозначить IPFS мультихеш.

Немного не по теме

Я тут для магнитов нарисовал(написал на самом деле) логотип для безвозмездного использования. Хочу его представить чтоб он стал узнаваемым символом магнит-ссылки ну и использовался для её обозначения. Может тогда я смогу откатить отмену моей правки в статье по магнит-ссылкам и вернуть логотип в статью.

он же на GitHub

Цвета для магнита взяты из логотипов клиентов децентрализованных сетей. Я не дизайнер. Старался сделать рисунок простым и компактным. Вы можете свободно копировать его и изменять.

Источники

Продолжение

Публикуем сайт в межпланетной файловой системе IPFS
В этой статье я расскажу как в ней запустить статичный сайт который будет доступен и напрямую и по IPNS. У сайта будет нормальное доменное имя благодаря использованию DNS. Доменное имя можно использовать для доступа к сайту напрямую, через глобальный и локальный шлюз.
Хостим сайт в межпланетной файловой системе IPFS под Windows
Прошло некоторое время от начала моих экспериментов с хостингом простых сайтов в IPFS. Запустил я свой IPFS клиент под Windows и у меня есть теперь что дополнить к предыдущей статье
Больше нет необходимости копировать в сеть
Всем хороша идея IPFS но вот только был один недостаток у неё. Данные загружаемые в сеть копировались в хранилище блоков удваивая занимаемое ими место. Более того файл резался на блоки которые мало пригодны для повторного использования.

Появилась экспериментальная опция --nocopy, которая избавляет от этого недостатка. Для того чтобы пользоваться ей необходимо выполнить несколько условий.
Переключаем свой сайт на localhost (локальный шлюз IPFS)
Мало смысла в IPFS, если использовать его только как бесплатный хостинг для сайта в сети интернет. Поэтому мы научимся здесь загружать наш сайт через локальный IPFS шлюз пользователя.
Локализуем глобальный шлюз или сайты в IPFS
Мы научимся переключать на свой локальный шлюз IPFS сайты, которые этого ещё не делают сами автоматически. Создадим им общий SSL сертификат при помощи OpenSSL в комплекте со Stunnel.
Тривиальный хеш (identity), DAG блок и Protocol Buffers
Недавно в IPFS добавили поддержу тривиального (identity) хеша. Тривиальный хеш — это сами данные. Данные никак не изменяются и соответственно размер «хеша» равен размеру данных. В своей статье я расскажу о нём и покажу как его можно использовать.

Tags:

Hubs: