Комментарии 13
>> Поиск надежных альтернатив западным системам хранения
У Вас на первой же фотки мозги от Самсунга, а на заднем плане видна аббревиатура EAC (Eurasian Conformity.).
Что в этих ящиках, кроме отвёрток, которыми их скручивали и самих внешних коробок не из "collective west" (включая Самсунг - Южную Корею) является альтернативой?
столько ОЗУ это чтобы таблицу дедупликации постоянно в памяти держать + под read cache? Прожорливость прямо как у zfs =)
Ещё и про 6x 4TB NVME не забываем "для метаданных"...
да, очень напоминает то, что пошло с zfs-0.8--2.0
Там небось ZFS под капотом и есть.
Чексуммы
ZSTD сжатие
Inline-дедупликация
переменный размер блока
Copy on Write
Картинка со схемой "T-RAID" очень напоминает zfs dRAID
Ну и так далее.
Здесь дедупликация переменным блоком честным алгоритмом CDC, а в zfs блок фиксированный, ты просто выбираешь разные размеры этого блока(жулики) при первой настройке. Выберешь 1М блок, запишешь 1 байт и займется весь 1М. Сдвинешь данные на 1 байт и у тебя свежий не похожий 1М. Потому и дедуп рейт для zfs 3x это мечта. А для CDC 6х-10х дедуп рейт норма.
Нет, ZFS при записи 1 байта не занимает весь блок. Учите матчасть.
Если файл меньше блока, то блок будет округлён до ближайших 512 байт. Т.е. 1 байт займёт 512 байт.
Аккаунта на Оракле у меня нет. Но, вот например How does ZFS Block Level Deduplication fit with Variable Block Size?
>> If I write a single byte file, will it take a whole 128 kilobytes? If not, will the blocks get larger in the event the file gets longer?
128k will be allocated, if the file size grows above 128k more blocks will be allocated as needed.
Уже больше, чем 512.
Стаковерфлоу такой себе источник.
Вот почитайте хотя бы https://klarasystems.com/articles/tuning-recordsize-in-openzfs/ (они делают всякие продукты на базе ZFS).
That size will be the lowest power of 2 that will fit all of the data, up to the maximum, the recordsize. This means that ten tiny files will be stored in ten individual tiny blocks—and those blocks may be as small as a single sector each, regardless of how large recordsize is. A file that is larger than 20KiB, will be stored with a block size of 32KiB. If that file later grows to 60KiB, it will be rewritten as a single 64KiB block.
Т.е. блоки увеличиваются со степенью двойки пока не дойдут до установленного максимума.
Мы же про дедуп. В таблице один хэш будет считаться для max record size. 128k по дефолту. И даже это требует много памяти, а поставишь 1M, таблица станет меньше в памяти, но и совпадений будет меньше. И изменение одного байта, приводит к новому хэшу всего блока в 1М.
В DDT лежит хеш от блока. А какой будет размер блока - см. выше.
А в остальном да - дедупликация тупая достаточно, но при правильном использовании вполне работает. Тем более теперь завезли Fast Dedup и оно может быть даже юзабельным будет.
А всякие CDC, как по мне, не особо подходят для general purpose FS. Слишком много накладных расходов.
Путешествие внутрь YADRO. Часть 2: распаковка и тест-драйв TATLIN.BACKUP