Резервное хранение данных. Где, что и как?

[ITstr0ng]

Помним.

[YMA]

Статья легкая, воздушная, и ориентирована больше на домашних пользователей. Лента в этом сегменте — overkill.

PS: Хорошо, если домашний пользователь вообще хоть раз задумается о резервировании данных. Есть знакомые, которые семейные фото теряли не по одному разу… (но особо по этому поводу не страдают :) ).

[DaemonGloom]

Стример LTO-4/5 — 200/300 евро.
Картриджи 800ГБ — 5 евро, 1500ГБ — 10 евро.

Это Б/У или суровый Китай? В наших краях таких цен нет.

[Alexey2005]

Только вы же не сможете прийти в магазин и просто выбрать нужное. Это оборудование вам придётся доставать, почти как в советские времена. Да и про гарантию можно забыть, если вдруг стример глючным окажется или сдохнет через неделю.

[svpcom]

Где вы такие цены нашли? На ebay LTO-5 стоит от $600. Картридж — $150

[DGN]

По цене картриджа LTO5 берется HDD аналогичной емкости. Стримеры интересны лишь в объемах библиотеки, когда там по 48 картриджей на привод.

[DGN]

Просто сходу открыл авито, самый дешевый HDD 1500gb, самый дешевый LTO-5 картридж

При том, что выбор дисков шире чем картриджей. Насчет шанса не прочитать… Грубо говоря, бакап в единственном экземпляре лишь иллюзия бакапа.

Для отдельно взятого человека, сравнение надежности HDD и стримера, это как полет на самом безопасном и самом опасном современном авиалайнере.

Ну и цена входа разная. Харды могут храниться на полочке и собираться десятилетиями. К хардам проще доступ, не нужно специальное ПО. В стример надо вложиться единократно, при этом получить точку отказа. Ради чего?

[DGN]

Смотря как сломался, у меня как то раз камера Digital8 пленку изуродовала до нечитаемости, притом на важном месте. Диск из неисправного HDD тоже можно при очень большом желании прочитать на другом HDD.

С другой стороны, если сломался диск, то недоступен только этот носитель. Если сломался стример, недоступна возможность делать и поднимать бакапы.

Tar под iOS, к примеру, есть?

p.s. Серебряной пули для бакапов нет, и стример это нишевое решение для частных лиц и малого бизнеса.

[svpcom]

Вот только другой стример можно и не купить или купить по цене нового. Тем более, что у LTO они гарантируют совместимость всего 2 поколения назад. Вот у меня лежат дома штук пять scsi дисков maxtor (full-size 5.25 по 500мб) 88 года выпуска и я могу их до сих пор прочитать. А также есть кассеты 3М DC600А (60МБ) того же года в большом количестве. Где мне их прочитать?

[svpcom]

Что-то мне подсказывает, что купить пачку blue-ray m-disc (которые вроде как гарантируют срок жизни до 1000лет) за $20 за 100Gb и к нему пишущй привод за $150 будет дешевле и надежнее, чем вся это возня с Б/У стримерами. Да и такой диск можно в будущем будет прочитать без проблем на обычном оборудовании.

[svpcom]

А обычные blue-ray диски (для краткосрочных бекапов) еще на порядок дешевле

[svpcom]

1) Где можно купить новый картридж за $10? Вот самое дешевое, что я нашел.
2) Привод по ссылке выше может писать на скорости 12x (432Mbit/s)
3) Для регулярного бекапа можно взять обычные (дешевые) blue-ray диски или BD-RE

Вы не учли, что стример используется либо Б/У (дешево, но ограниченая доступность на замену), либо новый, но он стоит совсем не гуманных денег. У меня был опыт использования стримеров для переодического бекапа большого объема данных 15-20 лет назад (LTO тогда еще не было, было что-то проприетарное от tandberg) и минусы были такие:

1) Очень медленный поиск (для того, что бы вынуть один файл, нужно было долго перематывать кассету)
2) Ленточная библиотека стоила космических денег, поэтому у университета был только один привод и кассеты нужно было вставлять руками
3) Были проблемы с надежностью чтения данных с ленты после нескольких десятков перезаписей.
4) Нужна отдельная база данных по данным на лентах (бекапились домашние директории ~ 5000 человек)

Намучившись с лентами пару лет мы решили, что проще делать переодический бекап на дисковую полку через rsync и hard-линки (получается многоуровневый бекап средствами файловой системы)

Но в этой статье мы вроде обсуждали чем делать бекапы дома, а не на производстве.

[ITstr0ng]

И у меня таких знакомых 70%

[Proxy_Siemens]

WD one live

[ITstr0ng]

Многие, ранее признанные бренды, скатились.

[Panzer_Ex]

У меня три года в компе жил 1Тб Travel Star, но, в одно не прекрасное утро, вместо жужжания пошли щелчки. Восстанавливать не стал, благо бекап хранился на внешнем диске. До этого уже долгое время пользовался бесплатным Mega.nz (спасибо утилите синхронизации по Линь), а посмотрев ценники на винты в магазинах — только укрепился в своем решении апгрейдить аккаунт. Сейчас плачу Меге 4.99 евро за 500 гигов, раз в месяц синхронизирую изменения с внешним диском. Так и живу… :)

[ITstr0ng]

Главное, что есть альтернатива.

[LAG_LAGbI4]

Почему вы рекомендуете 2.5 дюймовые хдд?
Мне кажется, Seagate STEB8000402 8тб за 14к рублей — идеальный вариант для бэкапов

[ITstr0ng]

Каждому по потребностям и объёму. Я использую компактные внешние. Мне, пока, 2 терабайтника хватает.

[YMA]

На мой взгляд, не совсем идеал — хлипкий USB 3.x Micro-B разъем сразу напрягает.

Использую 3.5" винчестер в импровизированном NAS на базе Raspberry Pi 4, взял открытый док AGESTAR 3UBT-6G с разъемом Type-B. И разъем понадежнее, и винчестер охлаждается хорошо, даже в закрытой полке выше 40 градусов не греется. Есть выключатель — не нужно туда-сюда разъемы дергать.

[ITstr0ng]

Как по мне, слишком много проводов) Я за эстетику.

[YMA]

Обижаете, провода там, где их посторонний взгляд не увидит.

Вот как это выглядит в закрытом виде. Фото сверху, полка на высоте 1.80 примерно, провода на полке тем, кто меньше ростом — не видны. Черная маленькая коробочка с кучей проводов — Raspberry Pi в корпусе-радиаторе, сейчас тоже спрятана в закрытую полку.

Внутри стенки идет вмурованный короб, по которому проложены провода до телевизора, и далее вниз до ресивера. Коричневый лючок в этот короб виден на предыдущем фото за винчестером.



PS: Не ради похвастаться, может, кому решение пригодится, как всякие устройства без ущерба для интерьера разместить. :)

[ITProfi]

На работе стоял такой.

[ITstr0ng]

Кстати, а как давно они WebDAV открыли? Еще каких-то пару лет тому нельзя было его заюзать.

[Ajex]

Кстати для mega.nz есть под питон удобная библиотека для заливки. Я вот буквально на днях на ней настроил заливку бакапов на бесплатные аккаунты. В фришные 50 Гб у меня помещается ежедневный бакап за 2 недели. Потом циклично удаляются все старые файлы.
Вообще бесплатно, просто и универсально.

Вот мой код, мож кому пригодится.

mega_upload.py

import os,sys
from mega import Mega
from datetime import datetime
import logging

logging.basicConfig(stream=sys.stdout, level=logging.INFO)

if len(sys.argv) > 1:
    upload_path = sys.argv[1]
else:
    upload_path = "D:\\BAK\\test.txt"

upload_filename = os.path.basename(upload_path)
upload_filesize = os.stat(upload_path).st_size
file_exists = False
print("Uploading path: {} Size: {} ".format(upload_path, upload_filesize))
email = '[e-mail]'
password = '342143432'
mega = Mega()
m = mega.login(email, password)
details = m.get_user()
print(details)
files = m.get_files()
storage_space = m.get_storage_space()
print((m.get_quota()))
print(storage_space)

for file in files: #читаем список файлов и проверяем нет ли дубликатов, а также удаляем все файлы , залитые позже 14 дней назад
    if 's' in files[file]:
        file_size = files[file]['s']
        name = files[file]['a']['n']
        ts = files[file]['ts']
        day_diff = (datetime.now() - datetime.fromtimestamp(ts)).days
        print("File: {} Size: {}  Date: {} [{} days]".format(name, file_size, datetime.fromtimestamp(ts), day_diff,))
        if day_diff > 14:
            m.delete(file)
            print("       ******* ===> deleting file  "  + name)
        if upload_filename == name:
            file_exists = True
m.empty_trash() #очищаем корзину
if file_exists:
    print("*** ALREADY EXISTS:" + upload_filename)
else:
    free_space = storage_space['total']-storage_space['used']
    print("Total: {} Used: {}  Free: {}".format(storage_space['total'], storage_space['used'], free_space))
    if upload_filesize > free_space:
        print("NOT ENOUGH SPACE:" + name)
    else:
        print("ALL OK, UPLOADING ..." + upload_path)
        remote_filesize = 0
        upload_retry = 0
        while remote_filesize != upload_filesize and upload_retry < 2: #проверяем , залился ли файл и совпадает ли размер
            try:
                res = m.upload(filename=upload_path, dest_filename=upload_filename)
                if 'f' in res:
                    if len(res['f']) > 0:
                        if 's' in res['f'][0]:
                            remote_filesize = res['f'][0]['s']
            except:
                print("upload error! path: "+upload_path+" name: "+upload_filename)
            upload_retry += 1
print("Done")

Ну и батник запуска

set MYDATE=%date%
"C:\Program Files\7-Zip\"7z.exe a [e-mail] -ssw -pMyPassword D:\BAK\1C\1C8_%MYDATE%.7z E:\DATA\1C
"C:\Program Files (x86)\Python"\python.exe mega_upload.py D:\BAK\1C\1C8_%MYDATE%.7z

в файл exclude.txt запихиваем в столбик ненужные расширения, например *.zip

прописываем его в планировщик и имеем простой, ежедневный бакап папки в бесплатное облако

[vasyakrg]

А планировщик прикручиваем сюда — https://healthchecks.io
И получаем хоть какой-тот вменяемый мониторинг такого бекапа.
У меня на самопальных скриптах почти везде такие заглушки. А орет в телегу в итоге, если что-то сломалось.

[ITstr0ng]

Кто и какие ещё варианты использует? Помню времена, когда на CD-R/DVD-R нарезал. Вот то было «весело».

[YMA]

DVD-R использую до сих пор, соблюдая 3-2-1. Туда домашние фото и видео уходят.
Уже почти полная «консерва» набралась — 100 штук.
Самые ранние — 2013 года, пока читаются без проблем.

[Ajex]

Мне казалось, что это давно экономически нецелесообразно. Проще хард за те же деньги купить. Быстрее и, как мне кажется, все же надежнее.

[YMA]

Согласен — это медленно, дорого, и неудобно. Насчет надежности не скажу — в принципе, у меня и бэкапные винчестеры живут многие лет по 10 (подключил-скинул-положил обратно в ящик).

Но положено использовать разные типы носителей в бэкапе, вот и использую. Кто-то ленту предлагает — тоже вариант.

[Ajex]

Есть бюджено-дешевый My WD cloud. Стоит по цене чуть дороже харда того же объема, зато своё облако из коробки с возможностью доступа извне.
А будучи подключенным к сети, обеспечивает скорость около 80 МБ/сек.

[ITstr0ng]

Он стоит порядка 170$ и это сам девайс. За 170$ можно прикупить 2 внешних 2,5" на 2Тб. Но фича доступа извне, манит, конечно.

[Ajex]

У нас, например, Western Digital My Cloud Home 4TB стоит около 200 долл, а ценник на 4TB 2.5 " около 150 долл. Но эти вещи решают разные задачи. Смотря что нужно — раз в год скопировать данные и закинуть их в безопасное место или иметь постоянный доступ для ежедненвного бакапа.
Доступ извне, к слову, работает так себе. Прога для заливки, что под андроид, работает коряво. Нету ни какой информативности о том, что происходит и что оно там делает. Думал из отпуска заливать фотки с телефона, но не тут то было, по сути бестолковая вещь. Но может не разобрался до конца. Проплатил нормальное облако от гугла.

[ITstr0ng]

Вообще, самое огонь — это облачные хранилища «от дяди», но риск того, что твои данные где-то там, у кого-то — настораживает. Ну, и как я ранее говорил, надо иметь копии и у дяди, и у себя, и в огороде в банке)

[easyman]

https://github.com/cryptomator/cryptomator
Upd: предупреждаю, создаёт много файлов -> Могут быть проблемы с .edu от Google

[RouR]

Есть еще вариант (вместо NAS) арендовать сервер и синхронизировать через Syncthing. Это довольно просто.

[Alexey2005]

Минусы: нет доступа онлайн к файлам, трата денег при больших объёмах.

Дешевле облаков. Цены на облака сейчас такие, что если вы храните данные на 2.5" HDD вместо облака, то всего за год он полностью окупится — вы сэкономите его полную стоимость.
Облака также неудобны для частного сектора, который даже в городах-миллионниках в значительной мере на ADSL сидит. Какой уж тут облачный бэкап при максимально возможной скорости отдачи 20 Кб/с… Да и 3G/4G на отдачу довольно-таки паршиво работают.

[tmin10]

Купил QNAP D4 Pro для этих целей, настроил бэкап фирменной программой с домашнего компьютера на NAS, оттуда ещё бэкапится в яндекс диск (дали 200 гигов после попытки яндекс диска удалить всю систему однажды) регулярно через софт наски.

[First_Spectr]

А что мешает пользователям IOS использовать Google Фото? Религия?

[vova4ka_ua]

Использую OneDrive, семейную подписку на 6 человек. Каждому 1Тб. Цена 60$ в год (Украина). Если поделить на 6, получается 10$ в год за стабильное терабайтное облако, кому то дорого? Фишки в виде лицензии на офис. При использовании win10, учетки MS для входа, все красиво интегрируется.
Клиент OneDrive запущен на нескольких компах в разных местах, включаються все в разное время. На случай вируса/порчи всегда рабочая копия будет. В облаке присутствует версионность файлов.
Шапочки с фольги у меня нету, рецепта бомбы не храняю, с терористами не общаюсь, семейное порно не снимаю. Если кому то будет доступно мое фото с пикника на выходных — пролайкайте)

[dmbreaker]

А фото детей не храните?

[vova4ka_ua]

Ну ребенок мой есть, обычные семейные фото. Это вы на что намекаете?)

[XDred]

Если нужны только бекапы, без свободного доступа к данным в любое время то есть специальный сервис — Amazon Glacier. Как заявляется у них на сайте:

Amazon S3 Glacier и S3 Glacier Deep Archive – это безопасные, надежные и очень экономичные классы облачного хранилища Amazon S3 для архивации данных и длительного хранения резервных копий. Они обеспечивают надежность на уровне 99,999999999 %

И цены: 0,004 USD за гигабайт в случае Glacier и 0,00099 USD за гигабайт в случае Glacier Deep Archive.

Основные недостатки — сложность использования обычным пользователям и долгое платное извлечение данных.

Считал когда-то, при объёмах до 557 Гб выгоднее «ледник», дальше до терабайта «Яндекс.Диск». После терабайта и до 1390 Гб снова «ледник». И далее до конца уже снова «Яндекс.Диск».
Вот только я это считал ещё до разделения на Glacier и Glacier Deep Archive. Сейчас Glacier Deep Archive выгоднее в любом случае.

[tmin10]

У облака алибабы есть аналогичный сервис, а цены вроде как раза в 2 ниже, не смотрели?

[remzalp]

подозреваю из РФ будут проблемы с шириной канала

[nixtonixto]

Ещё один способ бэкапа — современные роутеры поддерживают FTP и диски через USB-порты. Купил, т.к. модем провайдера отдаёт по WiFi всего 35...40 Mbps, получил и прибавку к скорости, и переход в пустой в нашем доме 5 ГГц диапазон, и халявный бэкап через батники и Areca на Windows.

[s_kirill]

качество инженеров и работников ЖЕКа смущает нас ещё больше ;-)

[DaemonGloom]

1. Админю университетский edu акк. для учебных заведений в гугле. Можно подробнее про потерю доступа через полгода-год, по каким причинам, почему, зачем? Что то не встречался с таким.

Речь про покупку доступа к чужим университетским учёткам на ebay. Легальные учётные записи никто не отбирает.

[Yazov]

Использую backblaze + restic с gpg ключом. Дешево и файлы в открытом виде не хранятся ни в каком облаке от маил.

[Nashev]

А кто что скажет на счёт всяких флешек? От SD до SSD? Ща объёмы у них уже весьма приличные, но в от про надёжность длительного хранения что-то я мало инфы встречал…

[DaemonGloom]

SSD — нет, для архивного хранения не подходит. Со временем ячейки теряют заряд.
У карт памяти проблем гораздо меньше с этим, хотя тоже можно наткнуться.

[Alexey2005]

Интересно, насколько пригодны для бэкапов Blue Ray-диски? В нашем городе в рознице к примеру упаковка в 25 болванок по 25 Гб стоит всего 1600 руб., это выходит самый дешёвый носитель в расчёте на 1Гб данных.

[YMA]

У оптических дисков есть и плюсы — они, как правило, дохнут постепенно. Даже если раз в год выборочно проверять ранее записанные диски — деградация будет видна заранее, и перенести информацию в другое место можно будет до полного издыхания. А если при этом данные записаны с избыточностью (QuickPAR, IceECC) — то потерь можно избежать с очень высокой вероятностью.

У жестких дисков свои минусы — носитель объединен с читающим устройством, и вероятность отказа суммируется. Плюс повреждение головок (от удара во время работы, например), приведет к быстрой порче самих дисков.

PS: Для длительного хранения я всё-таки за оптику или за ленту, а если объем информации очень невелик, но она ценная — поможет старая добрая бумага :) Полмегабайта на лист А4 — это не так уж и мало.

[Alexey2005]

Тогда уж сразу чековую ленту брать. Чековые термопринтеры — очень простые, компактные и дешёвые устройства. А чековую ленту удобно хранить — она смотана в рулоны.
Смотрим технические характеристики: для ленты шириной 57 мм принтер должен обеспечивать ширину области печати в 384 точки (48 мм) и давать 8 точек на 1 мм высоты. Из соображений надёжности уполовиниваем разрешение. Получим 192x4 = 768 бит информации. Или это 96 байт на каждый миллиметр длины чековой ленты. Таким образом, стандартный рулончик, который содержит 30м ленты, вместит 2 880 000 байт информации, или 2812 Кб данных. Почти 3 Мб!
Сам рулончик довольно компактен и дёшев.

[YMA]

К сожалению, не подойдет — термобумага выцветает, зараза. :)
Я сохраняю чеки (три года, потом выкидываю) и большая часть из них к концу срока хранения уже почти не читается. Распечатки с лазерника 20-летней давности вполне живы, бумага чуть пожелтела, но на читаемости это не отражается.

PS: попробовал вчера PaperBack вживую попробовать. Зачем? — А по-приколу.
300 dpi печать не удалась — дешевый офисный принтер что-то соптимизировал, и код стал нечитаем. 100 dpi вполне удачно отпечаталось и прочиталось обратно. Единственное — пришлось использовать сканер — при попытке сфотографировать код на телефон возникли подушкообразные искажения, которые программа не корректировала, и угловые квадратики не прочитались.

Так что если немного доработать программу, а еще использовать цвет в CMYK — можно увеличить объем хранения до дискеты на лист А4 (с двух сторон).

[s_kirill]

э, вы чего? Гугл Фото уже предлагает по умолчанию хранить "без потери качества"; наверное, место заканчивается на серверах?
Мега тоже перестала давать 50 Гиг по умолчанию.

[vviz]

После фразы «Сам же RAID – это больше для ГИКов» можно не читать, ИМХО.

[Raegdan]

Использую уже лет 5 самосборный нас. Корпус Bitfenix Prodigy, материнка mITX с впаянным процессором (какой-то АМДшный аналог атома), 4 трехтерника зеленых WD двумя софтовыми RAID1 под люксом. ОС Openmediavault., установлена на спрятанные в корпусе флешки. Когда понадобится расширение, куплю PCIE-SATA плату и заодно перенесу ОС на нормальный винт. Флешки мрут иногда, да, но бэкапятся на рейды и ремонт несложен. Все обслуживание сервера сводится к вводу пароля от люкса в случае перезагрузки. Старшему винту уже под 40000 моточасов без единого релока.