Comments 64
Пользовался ArVid, и давно поглядываю в сторону домашнего хранилища для бэкапов.
Вчерашняя и сегодняшняя статьи подбили на решение. :)
Для меня польза ленты, в отличии от дисков - проще хранить, дешевле добавлять.
Планирую б/у стриммер или Tape Library для дома.
Требования:
1. простота в обслуживании (чтоб члены семьи разобрались в архивах)
2. надежность носителей и железа (10+ лет для ленты, в водонепроницаемой коробочке)
3. удобство софта, чтоб можно бэкапить HDD/VM image
У кого есть опыт - что посоветуете из софта и железа?
Не советую. Ничего из желаемого вами за сравнимые с более современными решениями деньги вы не получите.
LTO5 или более новый. (Потому что LTFS). Приводы от HP показались мне более дружелюбными, чем IBM (заработали с обеими FC картами).
Подключение - по FC (оптика, Fiber Channel) или SAS. В компьютер надо будет добавить соотв. PCIe карту, благо их полно на рынке бу железа. Я голосую за FC.
Линукс видит накопители как родные.
Тоже в сторону LTO5 смотрю - цена и объем адекватны. Картриджи тоже доступны.
Насчет интерфейса - да, FC современнее. Тем более, дома постепенно перехожу на FC и планирую расширять.
Не знаком с подходящим софтом и слабо понимаю, как софт будет работать с железом через FC <-> Ethernet.
Варианты железа:
https://www.ebay.com/itm/125293258928 (SAS)
Ленты:
https://www.ebay.com/itm/224992655576 ($17 за ленту)
https://www.ebay.com/itm/265686373002 ($15 за ленту)
Вопрос к надежности NAS.
Одна из причин поиска ленточного накопителя - воостановление NAS: RAID6, Synology.
На прошлой неделе крашнулся крупный volume на NAS, востановление невозможно без бэкапа и содержимое невозможно перегрузить на мелкие носители.
До этого работал с 2014 без проблем, только мертвые диски менял.
Повторюсь, RAID6, 2 диска могут умереть без потери данных. И все равно создал проблему.
Сделал вывод: редко-используемые данные и бэкапы лучше сливать на ленту и в сейф.
Проще восстанавливать. :)
А много дисков у вас посыпалось за эти 8 лет?
В зеркале и в R10 тоже есть вариант потерять всё ) К тому же эти конфигурации в качестве емкости для бэкапов очень редко встречаются. Разве что в домашних системах.
Но зачем ?
Цены на S3 Glacier (судя по всему хранящийся как раз на лентах) около полуцента за гигабайт в месяц.
Для защиты от внезапного санкционного бана берите два от разных поставщиков. При итоговой стоимости 1$ за 100Gb в месяц вы очень долго будете свой ретро-стример окупать при домашнем применении
При гораздо большем удобстве да и в общем-то и надёжности.
100Gb - ни о чем, мне кажется. При таких объемах проще старый мелкий уже не сильно востребованный диск записать и заныкать в физически другой локации.
А вот восстановление терабайта из Glacier выльется в копеечку, мне кажется.
100Gb - ни о чем, мне кажется
Поделите "о чем" на 100Gb получите цену в долларах в месяц.
Ну и данных, которые (при домашнем использовании) реально стоит бэкапить offsite не так уж и много: основное по объему - личные фото и видеоархивы. Для коллекции шедевров мирового кинематографа вполне достаточно уровня избыточности, обеспечиваемого raid-0 )
восстановление терабайта из Glacier выльется в копеечку
Как минимум у scaleway тарифицируется, как доступ к "обычному" S3, т.е. копейки.
Когда-то я смотрел Glacier, и мне показалось, что заслать терабайт на хранение - копейки, а вот вытащить терабайт обратно - весьма ощутимо. Возможно сейчас тоже не сильно дорого.
В любом случае я плачу за Office 365 Family. Туда входит 1TB для каждого из 5 (или 6, не помню) аккаунтов. Вот в 1TB аккаунт я и бэкаплю с NAS как свои видюшки (дите, свадьба, какие-то поездки и т.п.), так и видеокурсы (купленные и которые быстро не найти).
Не выгодно. Хранить нужно годами.
У меня домашняя лаба на 5 ESXi серверов, каждый с 1TB.
Вдобавок, личные проекты в дата центре на 2х серверах, по 8TB на каждом.
Как-то так.
А ещё лента - это последовательный (очень очень медленный) доступ к данным.
Почему все упускают этот момент?
Это понятно.
Но еще лента - это наиболее компактная укладка данных на магнитном носителе на объем места.
Понятно, что плотность не как у HDD, но решение подкупает компактностью, ценой за тб и простотой хранения.
Используйте blue-ray (обычные или m-disc) диски. От ленты одни проблемы:
Плохая совместимость между поколениями LTO (вроде только на два назад гаранируют)
Дикая цена привода (если покупать б/у, то никто не гарантирует что бы потом второй такой же сможете купить)
Низкий ресурс ленты - ее можно перезаписать всего несколько раз (по собственному опыту эксплуатации LTO одного из первых поколений), а потом вероятность ее прочитать будет сильно падать
Необходимость наличия БД с индексом бекапа (что бы не читать десятки лент в поисках нужного файла).
Приводы только со SCSI-интерфейсом - забудьте про usb и ноутбуки.
TL;DR - если вы не банк или CERN, то лента вам не нужна.
Это отличная совместимость.
Купите более нового поколения бу, они как раз в цене упадут к тому времени.
"Несколько раз" - Ultrium media is certified for 1 million passes or 260 full back ups (головка за раз читает пачку треков, но далеко не все, полное считывание это полсотни и более проходов "змейкой"). Кстати, привод одновременно с записью производит чтение записанных данных. Т.е.успешная запись означает что они уже были однократно и успешно прочитаны.
LTFS закрывает эту проблему. Либо внешняя бд софтины бекапа.
Интерфейс FC или SAS. К последнему существуют переходники в USB3.0. Сам не юзал, бо без надобности - не люблю ноутбуки, и не использую их.
если вы не банк или CERN, то лента вам не нужна.
Окупаемость по-обьему, в современных реалиях, наступает с цифры в 30-50тб. За бу ленточное оборудование. При этом ленты надёжнее современных хдд.
совместимость - только два поколения, причём "второе" только читает.
цена привода - ну совсем "не домашняя"
В "суровом ынтерпрайзе" в библиотеке MSL-2024 с двумя FC приводами LTO-6 библиотековый робот показывает что некоторые кассеты уже более 7000 раз загружались в привод. Хотя бывает, что и за 200 прогонов лента сыпется.
есть полноценные приложения для бэкапа, с библиотекой часто такие бесплатно идут.
интерфейсы - SAS или FC. SAS будет дешевле, на нём привод разгонялся до 400МБ/сек, упираясь в скорость массива с которого читал.
БУ приводы стоят адекватных денег, и чем старее поколение - тем дешевле.
SAS не будет дешевле. Только патчкорд стоит 1000 руб. Плюс HBA (а нужен с поддержкой IT, для прямого проброса) ещё от 3000 руб. Плюс геморис перепрошивкой. Тогда как 4гбит FC HBA я находил на Авито за 500 (пятьсот) рублей. Привод, кстати, может и больше прокачать, зависит от сжимаемости данных. Лично видел цифры 500+ в ходе тестов IBMовских LTO5 приводов, на FC 8gbit HBA. Ещё из преимуществ оптики - легче "скручивается", в отличие от толстенного жёсткого САС, может быть длинной, гальваническая развязка.
"Приводы только со SCSI-интерфейсом - забудьте про usb и ноутбуки."
У меня вот так. Тепло и лампово, Thinkpad T520 и LTO-3 и 4.
Используйте blue-rayКоторый фиг прочитаешь через 5 лет. Да и емкость не фонтан. Упаковка «нормальных вербатимов» это подтверждает. Либо отдельный диск и на полку, либо лента.
Нормальный «кровавый» энтерпрайз уж как всю жизнь только ленты и пользует. Для дома купить что-то еще поддерживаемое (LTO текущее минус 3, это производители всегда советовали) или HDD
Недавно проверял свой архив видеофайлов, сформированный году так в 2008-2010. Записывалось всё на DVD+-R диски производства Verbatim (серебряные и цветные), а также TDK (голубая поверхность). Условия хранения - сумки под диски. Температурный режим - обычная комната.
Всего проверено 361+17+129 = 507 дисков.
Из них полностью прочиталось 506 дисков. Один диск (Verbatim Silver) прочитался неполностью - несколько сбойных секторов.
Так что в качестве договременного хранения компакт-диски DVD подходят вполне. Но допускаю, что с Blue-ray ситуация иная.
Лично у меня данных, подлежащих бекапам, около 50 террабайт. Причем 70% из них обновляется. Понемногу,, но постоянно и довольно хаотичным образом. Это больше 10тысяч болванок, правильно ? А записывать их придётся несколько лет ?
m-disc blue-ray xl -- 100 ГБайт на диск. Это 500 дисков. Я сомневаюсь, что вы для домашнего использования производите столько данных, которые нужно навечно сохранять
m-disc blue-ray xl -- 100 ГБайт на диск. Это 500 дисков
А можно теперь в рублях и времени записи ? LTO-5 привод я купил за 18тр, 96 картриджей по 1,5тб за 27тр. Т.е. 50тб стоили мне где-то 10тр. HBA и патчкорд ещё тысяча. Скорость записи 140мб-сек, данные уже сжаты до предела. Бекап полностью перезаписываю примерно раз в 2 месяца.
Я сомневаюсь, что вы для домашнего использования производите столько данных
А их не я произвожу. И использование не совсем домашнее (использую для работы).
m-disc https://www.mdisc.com/ обещают вроде как 1000 лет. Даже если 100 лет пролежит, то уже отлично. Я вот могу прочитать cdrom (стандарт вышел в начале 80-х), а вот ленту 1988 года не могу - некуда ее вставлять (хотя привод есть, но его уже лет 20 не включали). А вот попробуйте прочитать ленту от ЕС'ок или CM'ок (соответственно IBM и DEC).
Привод новый который может писать m-disc стоит 7k рублей (а прочитать диск можно везде). А вот с лентой все будет стоить на порядки дороже.
Вот неплохо было бы заставлять производителей оставлять возможность аппаратного обновления прошивки подручными методами (UART/USART) и выкладывать эту самую прошивку в открытый доступ хотя бы после снятия модели с производства.
Нормальный «кровавый» энтерпрайз уж как всю жизнь только ленты и пользует.
Вы в плену карго-культа (рассказываю как вот тот самый кровавый энтерпрайз в прошлом).
Они используюь потому, что хотели бы отказаться десять-двадцать лет назад, но уже накопленное легаси не дает, а вовсе не потому, что так уж хотят это дерьмо тащить в новое тысячелетие.
Была бы возможность выкинуть это все - выкинули бы не задумываясь.
Возможность как раз есть - СХД. С тысячами винтов. Или вы о том, что ничего лучше лент доя холодных бекапов так ничего и не придумали пока ?
Все это круто выглядит и "лох цепенеет", разумеется. Но сегодня существуют разнообразные существенно более эффективно работающие и более выгодные на длинном интервале затрат решения на дисках.
Я знаю буквально единицы внедрений ленточных библиотек, в случаях когда это не ради легаси, не ради "политики" и не ради коррупционной составляющей.
И сотни - с использованием дисков.
Как расходуется ресурс у диска, который лежит в шкафу? Диск в отличииот ленты самодостаточен (стоимость usb-sata или usb-ide переходника не считаем). Новый диск можно купить в магазине около дома. А сколько понадобится времени, чтобы купить новую ленту или привод под нее? Сейчас вот ebay в РФ ничего не доставляет, а на aliexpress я что-то лент не видел
А сколько понадобится времени, чтобы купить новую ленту или привод под нее?
О, я вам еще веселее историю сейчас расскажу. В 2019-м году насмерть сцепились в судебном процессе вокруг лицензий Fuji и Sony, два основных производителя лент LTO, владеющих, в сумме, почти всеми патентами на технологию.
В результате - судебный запрет на производство картриджей LTO-8 и отсутствие их в продаже.
То есть вы такой нарядный и шикарный энтерпрайз покупаете себе в датацентр библиотеку LTO-8, самую распоследнюю, а ленточек для нее в продаже, хоба, и нет. И не было их почти год. Все бегали по потолку, покупали у каких-то барыг, чуть ли не на ебэе. Весь, my ass, мир!
Процессы и регуляторные требования-то к хранению архивов и резервных копий не остановишь.
Sony and Fujifilm settle LTO-8 tape media patent dispute – Blocks and Files
LTO-8 tape media patent lawsuit cripples supply as Sony and Fujifilm face off in court • The Register
И да, правило 3-2-1 никто не отменял. Данные живут на диске? Значит их надо на другой носитель, какой угодно, но не диск. Хоть флешка (в нашем холиваре лента), но другой.
У диска есть ресурс, который более ограничен, чем тупая лента. 3 года и барабан, а лента при правильном использовании переживет считывающе-записывающее на нее устройство
Это неправда.
Blue-Ray LTH наверное не читались через 5 лет? С их склонностью к деградации по моему для серьезных задач, в том числе и бытовых, не годятся. Себе беру только обычные HTL, да и мой неновый привод поддерживает только их.
В игру с картриджей не поиграешь
Накрыло двумя волнами ностальгии: по загрузке игр с магнитофона (1989-1992 годы) и по загрузке игр Денди с картриджа (те же годы, но редко - всё-таки компьютер интереснее).
Это оказывается эффективной (и единственной 100%-й) защитой от программ-вымогателей. Если информацию зашифровали или удалили — из дальнего угла достается блок LTO, на которые периодически копировали данные. И вот уже, ценой малых потерь, не приходится платить вымогателям сто биткоинов. В 2019 году, на фоне роста количества таких хакерских атак, многие компании начали использовать ленты для резервного копирования и архивирования.
Чего это сразу «единственной 100%-й» защитой? А какие проблемы собрать здоровенный NAS и включать его эпизодически? Смахнули пыль, нажали кнопку, по сети перекинули бекапы и отключили на год. Можно даже сетевой кабель выдернуть) Это в любом случае дешевле, удобнее и быстрее эквивалентной библиотеки на лентах, с учётом того что раз в 10 лет всё равно что то, что другое менять надо иначе через 30 лет можно попасть в неприятную ситуацию, когда данные на ленте есть, а рабочий привод сломался, резервный не включился из-за порчи прошивки, расположенной на flash-памяти в которой в ячейках рассосался заряд. И мы идём в контору по восстановлению, которая за восстановление с ленты допотопного времени ещё ценник умножит.
С сохранностью цифровых данных, к сожалению, есть технический парадокс. Ну или я так ситуацию вижу. Манускрипты на пергаменте вот из глубины веков доходят, а уверенности в том, что «на цифре» данные доживут хотя бы до середины этого века как-то не складывается. Поэтому если что-то реально важно нужно раз в 10 лет перетаскивать данные на новые носители.
Манускрипты сохранились - это ошибка выжившего :)
Если очень надо, то генерируем QR-CODE с 30% избыточностью и из титановой пластинки делаем
В хранилище поколений, где-то в Европе кажется, в прошлом году вроде статья на хабре было, информацию сохраняют на керамические плитки. Так там целое исследование было какой состав, как их изготавливать, технология нанесения…
Это в любом случае дешевле, удобнее и быстрее эквивалентной библиотеки на лентах,
Выделенное ещё надо доказать. Учитывая что бу лента для домашнего использования вполне себе отличный вариант
резервный не включился из-за порчи прошивки, расположенной на flash-памяти в которой в ячейках рассосался заряд.
Что мешает перепрошить ? Пусть даже отпаяв флешку феном, и залив через программатор.
Заставить бы вендоров лепить какой-нибудь универсальный интерфейс и прошивки выкладывать — это проблему кардинально бы убрало.
Тем не менее она вызвала значительное повышение цен на носители, как hdd, так и ssd. Год, полгода. А цены это такая штука которая обратно с трудом откатывается на некоторых рынках с малой конкуренцией.
У майнера в CHIA есть всего ~30 секунд чтобы сгенерировать блок и получить награду с момента появления предыдущего блока. Нужно посчитать надо ли ему сходить на диск и считать информацию(грубо говоря, первый этап лотереи майнинга, банально получается из сети случайное число от 1 до 512 и выбираются блоки(плоты) данных, которые начинаются с этого случайного числа, сделано чтобы уменьшить нагрузку на диски и обращаться за раз только к 1/512 от количества блоков данных), если есть блоки с подходящими ID, то сходить в нужное место этого блока данных, считать оттуда данные, закинуть их в алгоритм, посмотреть что получилось на выходе, если удовлетворило условиям сложности сети, сгенерировать блок и получить награду.
Причем стандартный клиент начинает ругаться когда это время уже превышает 10 секунд, потому что появляется шанс не успеть получить награду за блок. Соответственно, про ленты можно даже не думать для такого алгоритма майнинга.
пусто
Может кто-нибудь ткнуть на внятный мануал как поднять LTFS и расшарить его до пользователя?
Старые добрые ленточные хранилища делают камбэк. Откуда взрыв популярности?