nin-jin Oct 13 at 16:43

Что если… (безумные идеи хранения данных)

Medium

4 min

3.4K

$mol * Data storage * Database Administration * Information Security * High performance *

Analytics

Comments 11

MAXH0 Oct 13 at 16:52

Ха... Вы придумали блокчейн для данных? Интересно. НО скорость поиска информации в этом глобальном гиперграфе будет так себе... Т.е. как в старости у людей: Все помнит, но вспомнить, именно то, что нужно - уже трудно.

nin-jin Oct 13 at 16:56

Нет, это совсем не блокчейн. А стратегии индексации данных описаны тут.

Wesha Oct 13 at 17:09

Зумерам совсем немного осталось до того, чтобы придумать ZFS и snapshots...

MAXH0 Oct 13 at 17:30

Если коротко, то вам приходит закрытая коробка с надписью мыло и вам остаётся верить, что там мыло А не TNT?

nin-jin Oct 13 at 17:33

Зачем верить, если можно проверить?

MAXH0 Oct 13 at 18:34

Так криптоконтейнеры, как я понял... Или они не совсем крипто?

nin-jin Oct 13 at 19:19

Если вам не выдали доступа, то содержимое коробки вам не известно. А если выдали - вы легко можете проверить соответствие ключу индекса.

MAXH0 yesterday at 04:16

А... Секретный сейф с ключом у вахтера :)

nin-jin yesterday at 05:14

https://en.wikipedia.org/wiki/Diffie%E2%80%93Hellman_key_exchange

kmatveev Oct 13 at 17:29

Много вопросов:

Когда для инь-ян зеркал утверждается, что предпоследняя записанная всегда консистентна, то что имеется в виду под "консистентна", и чем доказывается, что всегда?
Из какой копии читать в инь-ян зеркалке при запросах? Как будут работать длинные чтения, производимые конкурентно с записью?
Про восстановление: "Два узла коннектятся, узнают, у кого чего нет, и начинают слать друг другу обновления" выглядит так, будто это не база, а хранилище несвязных данных: вообще порядок восстановления может очень сильно влиять на результат.
Насчёт рассинхронизации узлов: я чаще всего наблюдал решение, когда есть единый источник правды, пока он есть, а консенсусы включаются, когда этот источник пропадает, чтобы выбрать новый источник. Вариант "писать в реплику без транзакций и кворумов" подойдёт только для вашего Wiki-случая: небольшое количество изменений в небольшом документе, пользователь согласен подождать, пока оно соберётся.

В свете вышесказанного очень сомневаюсь, что получится закрыть все цифровые потребности человечества.

nin-jin Oct 13 at 17:42

Запись в одно зеркало не начинается пока буферы записи в другое зеркало не сброшены.
Чтение из предпоследнего, запись в последнего. После записи дожидаемся завершения чтений и свопаем. Впрочем, в моём случае запись без поднятия изменяемых данных в память не возможна, а те, что не меняются, можно читать из обоих зеркал.
При конвергенции гарантируется одинаковый результат независимо от порядка поступления обновлений.
Не понял о чём вы, но кластеры узлов графа действительно не стоит раздувать в любом случае.