Ну на самом деле могу только гадать :) Не так давно решал задачу синхронизации двух хранилищ данных.
Объем данных на тот момент был около 700 гигабайт
Объем одного файла около 300kB
Количество файлов было окло двух милионов таким образом.
rsync пыхтел над этим объемом более суток, пока я его просто не прервал.
Инкриментальный блочный snapshot создается и передается несравнимо быстрее.
Вот тут описал подробно, если интересно. Не стоит обращать внимание на используемые технологии, просто я это привел как пример сравнения блочного и файлового уровня в плане скорости как частный пример.
Так же есть погуглить, то большинство обзоров говрит о блочной миграции. А об использовании rsync я слышу в первый раз преминительно к этой задаче. Мне кажется, что это не уместно в данном случае.
Ну время от объемов зависит и количества файлов — это очевидно.
По моему мнению консистентность данных при синхронизации на блочном уровне более гарантирована, нежели синхронизация на файловом уровне. Собственно скорость синхронизации поблочно выше, чем файловая. Хотя выигрыш по времени думаю будет при достаточно высокой заполеннности файловой системе. Ну т.е. очевидно что блочная синхронизация пройдет по всему устройству, а если ФС пустая, то синхронизировать практически нечего.
Собственно говоря рисков в блочной синхронизации я не вижу. А вы где их увидели?
Т.е. вы мигрируете абсолютно на другую физику в режиме offline?
Просто есть процедура миграции практически on-line (с одно перезагрузкой) на raid1 с чистой физики. Т.е. создается метаустройство на работающей системе, mdadm устройство не блокирует, хотя это и не бехзопасно для данных. Думаю это сработает и для raid10. Это же минимизирует время простоя, не так ли?
По теме статьи стал интересен такой вопрос: как в madadm можно оперировать схемой расположения raid10? Т.е. как будут выбраны пары уровня raid1? Этой схемы не видно в том числе в /proc/mdstat к сожалению.
Новости уже неделя…
Уже опробовал репозиторий на виртуалке. Думаю это очень сильный ход.
Между тем напрягает, что это отдельный репозиторий. Интересно в чем заключаются отличия.
Очевидно, что в Linux много чего не реализовано, чего есть в Windows как и наоборот. Я говорю о другом.
Более 90% людей используют Win7 сейчас, в комплектацию которого входит готовое решение для защиты сменных накопителей. Оно удобно и прозрачно в использовании.
Быстрое гугление ничего страшного не выдало. Да, рассказывают о выхватывании ключей из оперативной памяти к примеру, но тут должно присутствовать сильное желание злоумышленника и везение что-ли. Думаю для обывателя покупка оппаратного решения не оправдано.
Объем данных на тот момент был около 700 гигабайт
Объем одного файла около 300kB
Количество файлов было окло двух милионов таким образом.
rsync пыхтел над этим объемом более суток, пока я его просто не прервал.
Инкриментальный блочный snapshot создается и передается несравнимо быстрее.
Вот тут описал подробно, если интересно. Не стоит обращать внимание на используемые технологии, просто я это привел как пример сравнения блочного и файлового уровня в плане скорости как частный пример.
Так же есть погуглить, то большинство обзоров говрит о блочной миграции. А об использовании rsync я слышу в первый раз преминительно к этой задаче. Мне кажется, что это не уместно в данном случае.
По моему мнению консистентность данных при синхронизации на блочном уровне более гарантирована, нежели синхронизация на файловом уровне. Собственно скорость синхронизации поблочно выше, чем файловая. Хотя выигрыш по времени думаю будет при достаточно высокой заполеннности файловой системе. Ну т.е. очевидно что блочная синхронизация пройдет по всему устройству, а если ФС пустая, то синхронизировать практически нечего.
Собственно говоря рисков в блочной синхронизации я не вижу. А вы где их увидели?
Просто есть процедура миграции практически on-line (с одно перезагрузкой) на raid1 с чистой физики. Т.е. создается метаустройство на работающей системе, mdadm устройство не блокирует, хотя это и не бехзопасно для данных. Думаю это сработает и для raid10. Это же минимизирует время простоя, не так ли?
каким образом если не секрет?
Уже опробовал репозиторий на виртуалке. Думаю это очень сильный ход.
Между тем напрягает, что это отдельный репозиторий. Интересно в чем заключаются отличия.
Все же интересен вопрос: есть ли штатный доступ к системной консоле?
Более 90% людей используют Win7 сейчас, в комплектацию которого входит готовое решение для защиты сменных накопителей. Оно удобно и прозрачно в использовании.
Пара для примера из моих записей:
BDP= bandwidth (bits/sec) * RTT-delay (msec) * 8
max_buff_size =2^ROUND(LOG(B5;2);0)