Кто круче rsync? Интересные алгоритмы для синхронизации данных

[maximw]

Спасибо. Интересная и довольно редкая здесь годнота.

[funca]

vagrant использует как раз rsync для синхронизации между хостом и виртуальной машиной. Интересно, чем из перечисленного в статье можно было бы его заменить для того, чтобы снизить время отклика синхронизации при частых изменениях файлов?

[arheops]

На практике уже при гигабите подключения(иногда и при 100мбит) быстрее просто отключить все механизмы сравнения(поставить опцию W rsync, только по размеру и дате) и просто скопировать повторно.

[vGimly]

Ещё бы использовать алгоритм BLAKE3 в качестве быстрого криптостойкого хеша.

Уделывает по скорости MD5,SHA1,SHA256 и даже SHA512 (который, кстати, быстрее SHA256). Причём в разы.

К тому же он ещё и на дереве меркла. (Можно произвольный уровень дерева держать - вплоть до отдельных хешей килобайтных кусков файла).

[mpa4b]

Точно быстрее чем реализованные в системе команд свежих интелов и амд SHA1 и SHA256?

[smart_alex]

[vasilisc]

casync используется "под капотом" в проекте Proxmox Backup Server, поэтому виртуальные машины быстро архивируются за счёт передачи только изменений и мало занимают дискового пространства за счёт огромного коэффициента дедупликации.

https://pbs.proxmox.com/docs/pxar-tool.html

[Harliff]

(Мечтательно) эх, в ZFS бы это!

PS: https://github.com/openzfs/zfs/issues/11400

[kt97679]

В статье указан автор rsync, но не автор casync, которым как оказалось (к моему удивлению) является Леннарт Поттеринг.

[AndrewFilinsky]

Судя по первой сравнительной таблице, оптимальным среди приведенных программ сжатия в данном примере является lz4 1.9.3, а не zstd.