amdf Dec 11 2009 at 20:37

Разреженные файлы в NTFS

2 min

26K

Development for Windows*

+43

Comments 49

dimag0g Dec 11 2009 at 20:41

Простите, а где, собственно, ссылка?

SamDark Dec 11 2009 at 20:45

Скорее всего вот: amdf.pp.ru/sparser.php

amdf Dec 11 2009 at 20:49

Вставлял ссылку, не заметил.

UFO just landed and posted this here

amdf Dec 11 2009 at 21:10

Мне попадался файл — образ DVD диска для запуска пиратской версии игры. Там информации было немного, только в начале, а остальное состояло из нулей. Образ надо было монтировать как есть, удалять нули нельзя. Вот я его таким образом укоротил.

yogurt Dec 11 2009 at 22:04

А обычная компрессия NTFS разве не дала бы тот же результат?
Способ безусловно интересный, но возможности практического применения мне кажутся не очевидными.

amdf Dec 11 2009 at 22:06

С компрессией нули во-первых читаются с диска, во-вторых разжимаются, на что тратятся системные ресурсы. А тут драйвер файловой системы просто отдаёт нули, и всё.

kurokikaze Dec 11 2009 at 21:06

На самом деле sparse-структуры нужно класть в файлы уже нормально сериализованными. Но и этому может найтись применение где нибудь.

Skif300000 Dec 11 2009 at 21:14

Интересно буду знать.

zencd Dec 11 2009 at 21:45

В принципе для качалок может пригодиться… Однако работа с большими файлами — это обычно и длительная работа. Обычно такое пространство резервируется сразу. Но неприятно будет, оставив файл качаться-рендериться, вернувшись, увидеть что операция FAIL из-за нехватки места.

Наверное иначе чем в энтерпрайзе это и не пригодится…

somniator Dec 11 2009 at 21:46

В чем преимущество записывать заполненные нулями файлы на диск?

IGHOR Dec 11 2009 at 21:53

чтобы похвастаться и сказать: «смотри! у меня 2Тб на флешке занято»

x40c Dec 11 2009 at 23:53

Как вариант, для параноиков: если не хочешь, чтоб твой файл кто-то унёс. :)

UFO just landed and posted this here

alienator Dec 11 2009 at 22:44

В последней команде пропущено имя файла.

fsutil sparse setrange test.nul 0 10000000000

diss Dec 11 2009 at 22:56

ой как интересно
почитайте про thin provisioning и deduplication, будете удивлены.
в мире еще столько неизведанного…

romx Dec 12 2009 at 05:13

Но в NTFS-то их пока нет.

Ctacus Dec 11 2009 at 23:37

вот щас у меня будет шара в пару терабайтов на DC++ хабе =)

Ctacus Dec 11 2009 at 23:43

облом, все это дело будет хешироваться часов 20 =(

diss Dec 11 2009 at 23:49

вы-идиот
Вы ничего не знаете про хранение данных

Ex3NDR Dec 12 2009 at 00:10

не кормите его!

4tm Dec 12 2009 at 00:00

мужик, ты жжешь! мне было удивительно интересно это узнать)

xiWera Dec 12 2009 at 00:22

извините, я не понял из статьи, это надо специально такие файлы создавать? Или как во всех юнихах: делаешь seek за конец файла — получаешь sparse файл?

amdf Dec 12 2009 at 00:23

Специально устанавливается атрибут, а потом ещё размечаешь sparse-область.

VolCh Dec 12 2009 at 03:15

>Или как во всех юнихах: делаешь seek за конец файла — получаешь sparse файл?

Только что проверил — на FAT разделах не пашет ;) Видимо это не свойство ОС, а свойство файловой системы, которое, впрочем, ось должна уметь использовать.

AterCattus Dec 12 2009 at 12:50

Виндозная win32api.SetFilePointer заполняет все пространство нулями. Она именно записывает данные в полном объеме. Типа «для безопасности». Отучить ее от этого нельзя. А под файловые истсемы *nix на самом деле имеет место простое указание в файловом дескрипторе, что файл занимает от сих и до сих, без непосредственной очистки места.

UFO just landed and posted this here

rexxer2 Dec 12 2009 at 01:16

Небольшое дополнение для тех, кто будет использовать спарзфайлы.

Если программа сначала создала разреженный файл, а потом начала дописывать блоки в середине этого файла, возможна совершенно дикая фрагментация этого файла.
Примерно такая ситуация возникает, если в emule рабочие файлы сделать разреженными.

Вопрос насколько фрагментация опасна для NTFS спорный, но, на мой взгляд, замедление все-таки имеет место

gureedo Dec 12 2009 at 07:07

Хочу подметить, что emule не помечает области разряженными.
И еще при скачивании со скоростью 100 МБит/c размазанность файла не спасает.

rexxer2 Dec 12 2009 at 12:28

В параметрах emule есть пункт «Использовать разреженные файлы»

Mithgol Dec 12 2009 at 12:54

eMule самым превосходным образом помечает файлы разрежёнными (sparce), если поставить соответствующую галочку:

[eMule sparce]

У меня, как видите, эта галочка не поставлена, и не только чтобы не происходило дичайшей фрагментации, но и чтобы на диске всегда либо хватало места, либо с самого начала закачка останавливалась из-за его нехватки. А не то несколько sparse-закачек могли бы со временем мешать друг другу, вступая в борьбу за свободное место на диске.

UFO just landed and posted this here

amdf Dec 12 2009 at 21:27

И в µTorrent такое есть

romx Dec 12 2009 at 08:27

Ну, справедливости ради, sparse files в NTFS придумывалось не для eMule ;)
А для разных специфических применений, типа (сходу что пришло в голову) льется со спутника или радиотелескопа прерывистый поток данных, во многие терабайты объемом, но по преимуществу пустой внутри, только изредка в нем проскакивают небольшие, но очнь важные кусочки, с которыми потом предстоит работать.

То что большинство впервые узнало про sparse files, несмотря на то, что он в NTFS с середины 90-х (с NT4.0) показывает слабую применимость его для бытового использования.

UFO just landed and posted this here

romx Dec 12 2009 at 19:11

Это что же за устройство «жгущее матрицу» с NTFS-ом на нем? ;)

stepio Dec 12 2009 at 21:15

Формулировка неточная, но вообщем ROX прав — такая технология может быть полезна в SSD. Только это все равно никак не отменяет «дикую фрагментацию»…

Roy Dec 12 2009 at 02:01

О! Спасибо, как раз сам собирался писать — перенес тут диски виртуалок на другой винт :)
Вот только в архиве лежит CS.exe:

Stream copy program: www.flexhex.com

Usage:
CS fromstream tostream

Example:
CS c:\some.txt d:\file.dat:text

Сдается мне, что это не оно.

Roy Dec 12 2009 at 02:13

Тьфу! Извиняюсь, имя архива перепутал.

romx Dec 12 2009 at 08:37

Судя по названию это тема еще одного поста про малоизвестные «фишки» NTFS — NTFS Streams. ;)

jcmvbkbc Dec 12 2009 at 14:44

Обычный win32 CopyFile, которым пользуется проводник, успешно копирует потоки файлов NTFS сам.

Roy Dec 13 2009 at 12:52

А эта штука умеет sparsed файлы копировать, чего CopyFile не умеет.
Правда меееедленно :)

VolCh Dec 12 2009 at 03:12

>Сам по себе атрибут ещё не приводит к экономии дискового пространства. Нужно ещё разметить внутри файла область, которая будет освобождена.

С вот этим непонятно. Допустим есть файл размером 10 Гб, который не весь забит нулями — если задать область целиком файл, то что произойдёт? И наоборот, файл из одних нулей, задали область, а потом начали в эту область писать?

P.S. Понятно, что самому можно поэкспериментировать, но может готовый ответ есть :)

ivan386 Oct 21 2017 at 23:58

Допустим есть файл размером 10 Гб, который не весь забит нулями — если задать область целиком файл, то что произойдёт?

Будет полностью забит нулями.

И наоборот, файл из одних нулей, задали область, а потом начали в эту область писать?

Будет выделяться на диске место под новые данные. Возможно даже из той области которую занимали раньше нули.

fermion Dec 12 2009 at 11:13

А если копировать такой файл каким нибудь ТоталКомандером, то во первых файл становится своего указанного размера (возможно ТК сбивает атрибуты при копировании), а во вторых у меня после нескольких копирований потерялось свободное место на диске, помогло только chkdsk.

DrShark Dec 13 2009 at 05:20

ТК не поддерживает копирование/перемещение разреженных файлов с сохранением размера, и не факт что будет в ближайшем будущем.
Но это умеет FAR Manager (начиная с версии 2.0, впрочем есть спец. билд линейки 1.7.x).

Roy Dec 13 2009 at 12:54

А из основной линейки 1.7 выкинули что ли? Было же…

DrShark Dec 13 2009 at 13:13

У меня нет доступа к полному списку изменений ветки 1.7x, по-этому утверждать, что поддержка спарсов там вообще была — не стану.
Вот магнит той спец. версии, которая выкладывалась на форуме: magnet:?xt=urn:btih:VYQYVBA65FT2YISYUBQECDM3E3VDBY7B

ainu Dec 12 2009 at 14:01

Значит вот, для ленивых, создаём батник со следующим кодом:

set bigfile=video(%random%).avi

set razmer=800000000

fsutil file createnew "%bigfile%" %razmer%

fsutil sparse setflag "%bigfile%"

fsutil sparse setrange "%bigfile%" 0 %razmer%

Варьируя первую и вторую строчку, можно менять размеры и названия файлов. По умолчанию — 762-меговые файлы, имена которых задаются случайно.
Кидаем в папку, в которой хотим это дело создать и запускаем хоть сто раз. Единственно, если хотим сделать псевдо-500меговый файл, то на диске должно быть свободно 500 мегов. На одну секунду.