Comments 91
Подскажите, пожалуйста, программу, которая позволяет бекапить все файлы всех дисков на сетевой носитель, проверяя не-одинаковость по дате и размеру файла, с настройками в одном окне или в командной строке.
Спасибо!
Попробуйте allway sync, которая переродилась в goodsync. Возможностей масса, жрет огромное количество типов дисков, облаков и, кажется, вообще любое подключение, что пользуется хоть какой-то популярностью (у меня стоит кряк старой версии, так что я не помню деталей, но часть функций платная). Если места хватает, то ещё и хранит дельты трёх последних версий файла. Момент бэкапа тоже очень гибко настраивается. Один раз настроил и можно вообще про нее забыть
Goodsync требует логиниться, то есть не может работать без подключения к интернету.
Найдите 11 версию и пользуйтесь ею, она не наглеет, требуя держать все джобы с паролями на хрен пойми каком стороннем сервисе
Ну это уже совсем отдельный вопрос. Кто-то использует, кто-то нет, кто-то просто качает старую версию или вообще allway sync, как я (но мне просто не нравится постоянное присутствие в сервисах программы, которую я в данный момент запускаю только книги с читалкой синхронизировать)
Veeam agent free. Сейчас флешки для телефонов стоят очень дёшево а вай-фай 5г работает очень быстро, можно хранить вторую копию в телефоне.
Синхронизировать папки между компьютером и телефоном можно программой syncthing. Работает почти идеально.
Как правило, задача не в сохранении телефона, а в сохранении файловых систем, баз данных, огромных файлов мультимедии.
veeam на территории россии превратился в тыкву. Вначале им нужен корпоративный емайл и не подходит гмайл, потом блокировка по стране. Создавать диск восстановления может превратиться в квест.
С телефонами на андроиде есть несколько ньюансов:
не везде карту памяти воткнуть можно, два разных разъема для флешек (USB-C еще не у всех), и флешка торчит и мешает.
без рута бекап любого достаточный для возврата в прошлое состояние - не сделать вообще.
Maxsyncup
Интересно, если этому менеджеру бекапов дать флешку, он сможет запомнить ее содержимое? Другими словами, должны ли все мои восемь съемных носителей быть включены во время работы программы?
Когда-то искал программу синхронизации, которая без всяких облаков, без необходимости каких-то логинов на каком-то сайт и работала в режиме сервер-клиенты (h-n-s) и вот я наткнулся на maxsyncup. И в дополнение у неё для меня была функция бекапа, который можно настраивать как душе угодно (буквально выбирать директории), а ещё плюсом она автоматически стартовала создание бекапа со всего что указано выше, если подключал внешнюю "флешку" для бекапа.
Я не жалею, что когда-то за неё заплатил (одна из первых программ, что начал покупать). При этом, когда было в ней пара багов, я написал в поддержку и они их поправили. А обновления там исключительно для того чтоб править баги, а не вставлять космолёт. Ну и в дополнение лицензия не ограничена устройством, а пользователем. То есть у меня было 4-5 устройств с синхронизацией и бекапами на 1 лицензию.
Эта программа, получив задачу бекапить диск D:, не может настроить исключения для некоторых каталогов.
Если надо бекапить диск D:, кроме некоторых каталогов, эта программа не справляется.
Возможно, я не сумел правильно её настроить.
Самодельная.
Я серьезно. Лучший бекап-менеджер - самодельный.
rsync
FreeFileSync.
Бекап на сетевой носитель - не бекап. Если хранилище физически(в крайнем случае программно) не отключается от системы - у вас рано или поздно случится проблема (ладно, вирусы-шифровальщики уже давно не появлялись, но все же).
Машина времени макоси на внешний диск - выглядит хорошим решением.
Посмотрите и Bvckup
По описанию похоже на гит
По описанию - любая, тысячи их.
Под windows можно использовать robocopy. Вроде бы она должна быть в windows по умолчанию. Поставьте в планировщик что-то вроде robocopy/e /purge \\src-host\c$ \\dest-host\backups\src-host-c, вместо c$ - нужный диск. И повторить строчку для каждого диска или .bat файл сделать и его в планировщик поставить.
на винде посмотрите robocopy, на лине rsync
rsync
А он умеет делать дифференциальный (по контрольным суммам) бекап на WebDAV?
Не вижу причин, почему бы нет. Только rsync по умолчанию действует глубже контрольных сумм, он работает непосредственно с содержимым файлов и передаёт только изменённые части. Но можно чисто проверку контрольных сумм оставить через -Wc.
По дефолту rsync проверяет лишь размер и время модификации файлов, но есть опция проверки по контрольным суммам, которая, очевидно, работает медленнее, что может быть критично при большом количестве файлов.
Опять же по дефолту rsync общается с другим инстансом rsync и отправляет файлы поверх ssh или использует собственный протокол. Поэтому особого смысла в связке rsync с WebDAV, кмк, нет.
Есть ещё такой нюанс: хотелось бы такую программу, в которой есть возможность синхронизировать атомарные директории. Например директории .git.
Есть опасение, что обычная программа для синхронизации насинхронизирует разные папки .git так, что они станут невалидными.
Ага.
Причина одна - ленежадность. Лень что-то делать и жадность тратиться на лишнее устройство/сервис.
Первые бекапы начал делать убив в детстве 40мб жесткий диск (логически, физически он остался цел). Дискеты до сих пор у мамы лежат. А вот 5ти дюймовый привод уже не найти ?
Почему люди не делают бэкапы?
Потому что дураки неистребимы
Как раз собрался написать свой самодельный менеджер бэкапов.
Проблема глубже, чем кажется. Тут не хватает моего пункта: слишком много внешних носителей, и я уже не помню, где что лежит. Еще есть один момент, от пользователей ожидается, что они уже знают основные понятия про файловую систему, что такое файл, зачем нужна папка, и все такое, а на практике это далеко не так.
Да, все в точку. У моего отца примерно 30 внешних hdd на 2-4 Тб. И если на половину из них можно просто забить, то на остальных важная информация. Я так и не нашел удобного способа бекапить информацию хотя бы с 10 дисков, не говоря уже что это очень большой объем. А если учесть, что по хорошему со всем кроме первоначальной установки должен справляться мой отец 69 лет сам, то вообще печально.
Я решил так. У важных дисков есть диск-дубликат в другом месте. Называются одинаково и имеют одинаковый объём, не запутаешься. Вся рабочая текучка бэкапится между машинами через Syncthing.
Гы, я ещё пойму пользователя, но вот чтобы айтишник ложил на бэкап - печально. Но, к сожалению, зачастую такое наблюдаю. Сколько раз, оставляя после себя отлаженную систему, в т.ч. и резервного копирования, через некоторое время выслушивал панические вопли об утерянных данных. На логичный вопрос "а что из копии не восстановишь?" выслушивал всякий бред :(.
Более того, до сих пор нередко приходится прерывать работу или свои компьютерные дела, чтобы создать хорошую резервную копию. Это может быть час, два, восемь, больше — всё зависит от объёма информации и средства создания бэкапа.
ZFS
Три типа:
те, кто уже делает,
те кто ещё не делает,
необучаемые.
Люди не делают бакапы по той-же самой причине, почему не покупают страховку от несчастных случаев. :)
RAID 1 - частичка в домашней сети, где хранить совершенно нужное. А это NAS любой системы, от готовых до своей сборки. Вопросы "что именно" решаются пока вручную, в основном тем самым что критичные файлы сразу улетают туда, и именно там с ними работаем. При крякании основного компа работаем на другом. Как оно бэкапить из конкретного компа - вопрос конечно открытый.
Некоторые файлы могут стоить многократно больше, чем хранилище для них, например оффлайн биткоин - кошелек, из бытового. Или проекты. Даже фотографии родственников.
Raid не бэкап, вообще ни разу. Случайно удалил файл и в рэйде его нет, шифровщик поработал и из рэйда ничего не восстановить. Рэйд - это про скорость доступа к информации, а не про бэкапы. Рэйд1 позволяет только не потерять доступа к инфе при гибели диска.
Все верно.
Выше уже сказали по ZFS. Я не понимаю почему она так непопулярна. Я уже 13 лет использую дома и в проектах - просто чума. ZFS Snapshot - это мгновенный инкрименационный бакап прямо из коробки. Вообще дополнительных никаких программ не нужно.
стоит приглядеться, раз 13 лет уже, и у вас хорошее впечатление, а как быть с историей?
С историей чего? Вы про версионность файлов?
Бакап инкременальный. Т.к. ZFS это COW FS, это позволяет вам иметь столько версий, сколько у вас бакапов. Для доступа достаточно его смонтировать.
Возможно я не верно понял ваш вопрос..
Снапшот это НЕ бэкап. Главное свойство бэкапа - манипуляция с железом на котором лежат данные не должна отобразиться на бэкапе. То есть если взять кувалду и стукнуть ей по каждому диску вашей ZFS, то бэкап не должен пострадать. А у вас это правило номер один нарушается.
Снапшоты консистентные (целостные, согласованные), делаются практически мгновенно, и их можно отправлять, не прерывая работу системы.
Backup, какой он должен быть.
Во первых, крупных есть разные уровни резервного копирования.
Для разных целей.
Если вам необходимо сделать копию на удаленную СХД, ZFS имеет возможность сделать экспорт на удаленную ZFS.
Т.к. ZFS это COW FS, это позволяет вам иметь столько версий, сколько у вас бакапов.
Что-то у меня сомнения... Если убьётся какой-нибудь блок, который принадлежит какому-нибудь давно неизменяемому файлу - то разве этот файл не будет испорчен во всех этих версиях и снапшотах? Потому что оно же совместно используется всеми ими как раз из за этого COW?
btrfs + yabsnap + отправка на другой диск, проблем 0
Только в пятницу поставил насы на бекапы, и ушел в отпуск, как раз недели хватит (дело в обьёме, а не в скорости). Но как убрать страх, что вот в один момент выйдет из строя и устройства на которых лежат бекапы и сами схд, (по самым разнообразным причинам)? Все хранится на локальных железяках, облако отпадает из за специфики информации. Постоянно закапывать диски з бекапами за городом в цинковых ящиках, что б наверняка, идея не впечатляет. Понятно, что вероятность мала, но все же. Есть кто принимал меры из подобных соображений?
делать бэкапы, бэкапов, :-) Зеркало например, или держать нескольхо схд, использовать по очереди. Включать их на момент бэкапа, держите хотя бы в разных комнатах.
Даже если облако отпадает (хотя шифрование решает вопрос, облако видит только белый шум), удалённый NAS где-нибудь в безопасном месте (опломбировать его лаком для ногтей, направить камеру, поставить экран с TOTP (чтобы видео поток с камеры не подменили), до него vpn, данные шифровать на стороне отправки, копию ключа положить в сейф в банке.
Если паранойя совсем не позволяет отправлять данные куда-то ещё, то тогда жить с риском их уничтожения. Хотя, имхо, это неправильная паранойя, риски утечки с собственного удалённого компьютера меньше, чем риски уничтожения всего в одном месте.
Вообще :) про паранойю и так далее - вспоминается НФ-серия (ну - флаеры с компами и силовыми щитами и телепортацией и отсутствие у общества необходимости решать вопрос где поставить очередную электростанцию/искать для нее топливо) это ж НФ? даже если военных учат пользоваться холодным оружием как основным(не потому что нет огнестрела или лучеметов)) Михаила Щукина. Там один из заговоров раскрылся из-за того что в дворцовой сети есть сервер который в себя тянет все отчеты, стереть или изменить - нельзя, в принципе нет команд соответствующих, доступ на чтение - по разрешению главы СБ и когда эксперт которому есть основания доверять заявила что не понимает почему проблемы медицинского плана у императрицы не решили прям сразу - там ж делать нечего было в самом начале...то быстро начали копать и выяснили много чего интересного.
Это должен быть не ваш страх, а риск-менеджмент. Считаем стоимость потери данных, определяем векторы угроз и методы защиты. Ищем такое решение, которое стоит дешевле, чем стоимость данных (иначе смысла в нем нет).
Из практики: правило 3-2-1. Даже можно предусмотреть миграцию из горячего в холодное хранилище с последующим удалением.
В одной из статей на хабре соскриншотил чудесную таблицу, обьясняющую вообще все беды и катастрофы случающиеся по человеческим причинам:
Hidden text
Ох, на этой истории миллиардные бизнесы строятся. До сих пор помню, как корпоративный архитектор протолкнул в новый сервис систему бекапа, которая стоила больше, чем внедрение самой системы (и как всегда в критичный момент она оказалась нерабочей).
даже созданный образ, например той же Clonezilla уже бэкап, хотя и годится, наверное, по большей части для индивидуального пользования, например комп или ноут. Даже 4Тб это всего лишь запустить на ночь. А "дорого", это по разному считается, автор молодец
Есть три типа людей в этом мире.
Те, кто не делает бэкап
Те, кто делает бэкап
Те, кто проверяет восстанавливаемость из бэкапа.
У меня другая фигня произошла сегодня на 1 апреля. Я сначала подумал, что шутка. Меня заблочили во всех сервисах Гугла! Дело в том, что я просто сохранил в гугл диске важную папку с документами. В эту папку случайно попали картинки, которые мне присылали в телеграме, автоматически сохранившиеся в этой папке. И всё. 3,14 здец!
Потому что не ценим пока не потеряем, пока не случилась потеря о том, что данные могут исчезнуть безвозвратно не думаешь.
robocopy и прочие - имеют большой недосток - копирование 100500 файлов занимает время, много времени. даже если процесс оптимизировать как это делает rsync.
Да, можно делать инкрементальный бекап и отслеживать изменения в блоках диска но например Acronis TrueImage заявляет что так может но вот только бекап не особо большого (меньше терабайта) занимает несколько часов. Пр этом сделать нормально - можно - Macrium это умеет. Но все равно - время и неудобство.
У меня текущее решение:
рабочая машина с Win11 на которой софт который плохо живет в виртуалке - Macrium, на соседний раздел SSD, с инкрементами. Полетит с концами - ну значит полетит. Переустановлю. Идея бекапить рабочие каталоги Proxmox backup client'ом (запущенным в WSL2) была но там куча файлов - все тормозит
mac mini m1 - time machine, обычная схема
ноут - да никак. Там Joplin/Obsidian/Electron (все в синхронизации) и 95% времени открыта RDP на виртуалки.
Виртуалки (включая функциональную копию рабочей машины) с домашнего кластера - каждые 2 часа снимается бекап. На стоящий рядом Proxmox backup server (RAID для надежности там нет). где то 20 минут занимает инкриментальное копирование виртуалок общим объемом где то 4 Tb.
узлов кластера два (с разным объемом памяти, ну уж чем богаты), критически важный для работы домашней сети софт (Adguard, OPNsense) - вообще каждые 15 минут реплицируется и при падении узла - само перезапустится (Proxmox VE так умеет)
Слабые места при этом:
нет вообще RAID на Proxmox backup server
узлы кластера виртуализации - там по сути RAID0 (опять же - чем богаты, конечно по хорошему хотя бы RAIDZ1 сделать но для этого надо переустанавливать узлы и возможно купить новые SSD, пока приоритет не на это)
если выйдет из строя узел кластер где памяти больше - придется вырубить большую часть некритичного софта (узел Peertube, узел matrix, archivebox и так далее - возможно даже и почтовый сервер(MX'ы все равно есть так что почта потом дойдет)
LXC-контейнеры бекапятся не очень быстро, даже не очень крупные.
нет вообще offsite бекапа. Идеи с удаленным Proxmox backup server рассматриваю и прицениваюсь но одна из проблем - удаленный должен забирать с локального данные (не наоборот) либо кластер должен бекапится на оба сервера (Proxmox VE так не умеет - dirty map слетает). Про ленту были идеи но LTO это дорого и не любит пыли (а ее хватает). Proxmox backup server не умеет нормально работать с Amazon Glacier а терабайт так 10 обычного S3 хранилища - дорого (особенно если хочется еще и в России), хотя вот недавно на хабре попался совет про Wasabi с их S3 + s3fs - надо тестить.
если полетит свитч - будет больно (но кстати жить можно пусть сеть и станет гигабитной)
возможно стоит Macrium на ноут поставить (и купить новую лицензию) и делать изредко бекапы на внешний диск - чисто ускорить восстановление.
хранилище видео сейчас тоже не зарезервировано (это вообще внешний диск), но там значительная часть зарезервирована рутрекером.
macmini...да - бекапится, Time Machine + CarbonCopy Cloner но вот только при отказе внутреннего диска - машину под замену. Заменить его невозможно насколько понимаю. Загрузится с внешнего при нерабочем внутреннем - насколько понимаю тоже (на старых было можно а на Apple Silicon там загрузчик лежит)
Уже довольно долго использую NAS сервер (Openmediavault на старом железе), причем только по FTP с паролем, на клиентах стоит Cobian или Exiland backup, в программе все очень просто настраивается.
А можете посоветовать простой способ сделать бекап небольших важных файлов с ПК на телефон на Android без рута? На телефоне есть сотня+ Гб лишней памяти, на ПК сейчас настроен бекап на облака с помощью rclone.
syncthing
А конкретней? Syncthing я допустим поставил, папку для хранилища выбрал, даже вебморда с пк открывается. Как мне теперь туда отправить файл например из rclone?
Ставите также на компьютер, связываете их между собой, теперь можно сделать так, чтобы любая папка синхронизировалась при изменении. Причём в любую сторону -- с ПК на мобилу или с мобилы на ПК или всё вместе. Теперь просто добавляете папку с ПК, где лежат важные файлы синхронизироваться на телефон и всё.
Если у вас какой-то процесс, в котором rclone собирает из разных папок файлы, чтобы забэкапить по отдельности в облако, то можно добавить в нём таргет "локальная папка" и использовать те же команды для "отправки", а уже эту папку синхронизировать c Syncthing.
Понятно, но я искал другое. Хотелось бы получить что-то вроде облака с WebDAV доступом, и закидывать туда файлы по необходимости. Уже давно были разные инструкции, в том числе на хабре (1, 2), с кастомными прошивками, Docker, Termux, Linux Deploy, BusyBox, UrBackup и т.д. Я надеялся, что за годы появилось что-то похожее по функционалу в формате одного отдельного приложения с удобным гуем/вебмордой. А так, FTP сервер из коробки включить можно.
Проблема с сервером на телефоне в том, что он батарейку жрать будет. А так-то закинуть файлы на телефон не сложно, просто кидаешь самому себе в сигнал, вот и синхронизация без облаков (почти)
Хотелось бы получить что-то вроде облака с WebDAV доступом, и закидывать туда файлы по необходимости.
DAVx5, говорит, умеет через Storage Access Framework WebDAV хранилища цеплять. Ну, т.е. нас уже давно приучают к тому, что локальная файловая система телефона - это всего лишь кэш, по возможность совершенно прозрачный, к какому-нибудь облаку.
И все API под это предположение затачивают. Соответственно, пытаться работать традиционно - будет становится все больнее и больнее.
Почему люди не делают бэкапы?