Comments 267
Расскажите, как там качество и актуально ли это сегодня :)
Качество там на уровне ощутимо лучше видеокассетного («разрешение» по вертикали вдвое больше), но меньше длительность записи, из-за чего даже простой полнометражный фильм может писаться несколькими дисками. Ну и формат аналоговый, т.е. чисто теоретически — легче восстанавливать поврежденные записи (пусть и с потерей куска).
Вот тут довольно подробно рассказывается про технологию, способы считывания, устройства и пр.
Вообще очень хороший канал у человека, для любителей устаревших технологий.
А так по делу ниже уже сказали: CAV диски хорошего качества, но не DVD, конечно.
С 1998 года по 2007 архив, где я работаю, судорожно переводили все с пленок/пластинок на диски, потому как реклама Verbatim'а была про 100 лет службы. Когда я пришел — я начал переводить все на HDD, хотя и они не надежны...
Буквально перед новым годом обнаружил пачку из 10 дисков сдохших от времени, в виде отслоения блинов друг от друга (TDK CD). Обидно. Хорошо что пленки 1955х годов остались целы.
HDD на полке однозначно надежнее, чем CD на полке.
В крайнем случае (если что с механикой/электроникой), вам без проблем восстановят данные с блинов HDD, а вот с CD — если не читается, то считай пропало.
А вот HDD вполне может размагнититься — я уже столкнулся с ситуацией, когда через 7-8 лет после записи HDD испытывал значительные трудности (низкая скорость чтения, часть секторов не прочиталась) при чтении данных со старого диска.
Ну и до кучи:
https://geektimes.ru/post/276014/
В основном время для HDD — это проблема деградации механики, а не самих данных. То есть восстановить инфу с винта на полочке, с учетом специальных контор — можно щаложиться лет на 20-30 вполне надежно.
Если просто снять инфу, что как бы самое важное, то просто снимают блины, ставят в устройство и считывают с них напрямую, восстанавливая файловую систему. Электроника (в смысле доноры) тут не нужны и процесс уже поставлен на поток, то есть даже в небольших городах обычно есть контора с подобным оборудованием.
Самое интересное было в другом. Много файлов было бито как — имя файла отображалось верно (папки тоже), а размер 0 байт. Или видео файл копировался и объем показывал его верно, но при его просмотре была интересная картина. Например если промотать в середину файла то неожиданно в место фильма идет запись другого фильма будто произошел видео монтаж. Была например серия Счастливы вместе, открываешь, а там концерт Задорнова. Документы в основном не пострадали. Фотографии портились точно так же — видно по папке и файлам что серия снимков на камеру например дня рождения, открываешь файл, а внутри картинка природы с сайтов фона для рабочего стола. :-)
Если бы вы сильно перегрели CD, вы бы вообще ничего не прочитали с него.
Я говорил про то, что в нормальных условиях, информация на блинах винчестера не размагничивается десятки лет, и если за это время деградировала механика и электрика, снять информацию с блинов все равно возможно без особых проблем.
И, кстати, два диска восстановил таким образом. Мне их принесли со словами «он посыпался, можешь на магнитики разобрать». Диски действительно сыпали ошибками чтения и не проходили «тест поверхности». После чистки и лужения все проблемы испарились. Один винт воткнул в рабочий ПК и уже год он работает стабильно. Второй всё же пришлось выкинуть — он слишком долго работал в режиме с ошибками, они писались в таблицу S.M.A.R.T., и теперь ПК начинает возмущаться при наличии в себе такого диска и кричать о неминуемом отказе оборудования.
Винты 3 Тб WD Green серии, все это время лежали без подключений, данные не посыпались. Были на них архивы одни файлом по 200-300 Гб все без повреждений. Был приятно удивлен.
Второй всё же пришлось выкинуть — он слишком долго работал в режиме с ошибками, они писались в таблицу S.M.A.R.T., и теперь ПК начинает возмущаться при наличии в себе такого диска и кричать о неминуемом отказе оборудования.
Если это WD (скорее всего), то его можно вылечить утилитой WD Marvel (позволяет делать с диском всё, вплоть до очистки P-List).
(что странно — после обновления прошивки данные на диске остались)
Обычные магнитные носители со временем размагничиваются, тут ещё от условий хранения зависит.
Странным образом ТДК которые я писал году в 96 и потом долго таскал во всяких портмоне с собой, а потом на долгие годы забывал среди всякого хлама на не застеклённом балконе до сих пор читаются!
А когда начинаешь копаться в студийном архиве, мастера\сердца\библиотеки для сэмплеров, всё это жглось в разные годы, на разных болванках, но с помощью кошерных плексторов, так вот, отнюдь не всё читается теперь.
Лежит на полке нераспечатанная пачка вот таких дисков. Писать, честно говоря, лень, да и фотки синхронизированы на двух hdd, двух телефонах и двух cloud storages.
P.S. Однако, старый-старый "HarryFan Text collection 1.0" CD, записанный (вернее, распечатанный) Игорем Загуменным в фиг знает каком году, читается на раз!
Мой привод приведён в списке совместимости как «Blu-ray & DVD» (т.е. проблем вроде вообще никаких не должно быть). Но никак руки не дойдут опробовать. Правда болванки на 4,7Gb для архивов не рассматриваю)
Выборочно проверил несколько штук — вроде все в порядке. Хранятся в банках или родных коробках, в шкафу.
Конечно, некоторые затерлись и исцарапаны, но это следствие небрежного обращения. Пару штук разорвало в приводе, еще давно, в 40x DC-ROM'е. Один диск был убит довольно экзотически: был забыт под дождем, а затем к нему приклеилась бумага с обложки. При попытке ее оторвать оторвались и куски отражающего слоя.
А носителей, способных хранить данные хотябы небольшой срок, лет хотябы 100, пусть даже 50 — не видать. Во всяком случае в свободном доступе и за разумные деньги.
Потом рассортируйте их по шкале от «бесценно» до «а это что вообще за фигня».
Оцените объем «бесценных» данных (и близких к ним). И вот после этого уже можно будет думать, как именно хранить данные.
Лично у меня бесценного — то есть невосстановимого, если вдруг сдохнет единственный носитель — порядка полутора терабайт. В основном фотографии, но есть и видео, и текстовые документы…
Мастер-копия хранится на домашнем десктопе. Периодически (раз в пару часов где-то) копируется на домашний сервер, где лежит на зеркале (не рейд1, но примерный аналог). Плюс периодически же (в зависимости от частоты изменения, в среднем — раз в пару дней) делается копия в облако и примерно раз в месяц скидывается на внешний диск, который обычно хранится в шкафу.
На счет облака и персональной информации — 90% объема ничего действительно личного не содержат. Остальное шифруется.
Один из простых вариантов — Windows. Начиная с 8ки в про версиях, а может и во всех остальных можно создать софт RAID. По факту нужен некий ПК, и диски. Настроить это дело можно через "Дисковые пространства" или из управления дисками. Конкретно для архивации опять же очень подойдет "история файлов". В итоге минимальные затраты по сути только на железо (ОС активировать не обязательно, фиг с персональными настройками,) Софт RAID не плох абсолютно + дисковый массив если его перенести другая Windows вполне примет и прочитает, в отличии от хард рейда. В дополнение поставить некую утилиту чтобы смарт мониторила и ежели что предупреждала об ахтунгах.
А рейд — это решение больше для уменьшения времени простоя, а не для увеличения надежности хранения. Наличия бэкапов он не отменяет.
Ну почему же. Зеркало, остальные типы для дома это уже извращения.
Потому что любой вирус в том числе пользователь, удалит или зашифрует обе копии в зеркале.
Если бекап будет просто перезаписывать существующий — то при порче мастер-диска автоматом испортится и бэкап. Соответственно надо минимум два бекапа, чтобы писался второй и только после этого удалялся первый. Опять же, возникает необходимость регулярно проверять целостность бекапа, поскольку он тоже будет на ненадёжном носителе. Мне как-то кажется что автоматизация всего этого — ещё более сложная концепция, чем рейд.
ЗЫ. Вирусов не боюсь. За последние 15+ лет не видел у себя ни одного — видимо здравый смысл и инстинкт самосохранения представляют собой достаточно надёжную защиту.
Сценарий кажется маловероятным, но диски из одной партии в рейде часто начинают сбоить практически одновременно, причем перед тем как они полностью откажут, будет достаточно долгий период «работает но c ошибками», и если это не заметить то описанный сценарий вполне реален.
В то время как рейд — это вообще концепция, относящаяся не к целостности данных, а к независимости от физического сбоя конкретного носителя. Но при этом рейд никак не защитит вас от порчи собственно оригинала по разным причинам, включая случайное удаление.
Делайте бэкап вручную раз в месяц и откладывайте резервную копию на полочку, неподключенным ни к чему.
И ещё. Меня не волнует порча оригинала. За всю жизнь у меня не возникало проблем из-за порчи оригиналов, все потери данных которые у меня были — обусловлены исключительно физическими сбоями конкретных носителей. Мне видится, что и бороться надо именно с этой проблемой, а не с некими концептуальными проблемами, которые я на протяжении жизни могу и не встретить.
Вот и выходит, что в общем случае достоинства бекапа мне не особо нужны, а недостатки — более высокая цена и усложнение/удорожание системы.
Опять же, одно другому в целом не мешает — просто бекапить можно только самое-самое критичное, а на объёмном хранилище с рейдом — хранить всё подряд.
Для автоматического — делайте регулярные автоматические копии куда-нить в облако. Можно запароленным архивом.
Просто рейд — он в обслуживании более сложен и дорог, чем просто один внешний (usb) винт, который вдобавок позволяет вам легко взять все что нужно с собой в дорогу.
Но все же, рейд в сетевом хранилище брать с собой в гости неудобно. Мало ли что с той стороны за сеть и как к ней подключаться и надо ли. А вот обычный USB диск на 1-2 терабайта, который влезает в нагрудный карман и весит чуть больше смартфона, можно легко взять с собой в гости к родителям с коллекцией семейных фоток.
У меня ежедневно делается запароленный архив всего важного на второй диск, таким образом есть оригинал и бэкап на двух разных дисках. Вот этот архив я периодически скидываю на внешний диск.
надо минимум два бекапа, чтобы писался второй и только после этого удалялся первый
Вы так говорите, будто у вас вся информация хранится и изменяет единым куском. У большинства людей не так и они вполне могут позволить себе хранить некоторую глубину истории.
поскольку он тоже будет на ненадёжном носителе
Надежных носителей не бывает. Если у вас испортился бэкап — у вас осталась мастер-копия. Бэкап, кстати, по хорошему, не в одно место делаться должен. У меня, не считая оригинала, хранится три копии (одна из которых на «зеркале», другая удалённая, а третья оффлайновая).
автоматизация всего этого — ещё более сложная концепция, чем рейд
Софта для бэкапа куча, который давно умеет всё перечисленное и ещё чуть-чуть сверху.
Вирусов не боюсь. За последние 15+ лет не видел у себя ни одного
Вирусы — это далеко не единственная проблема. Случайное удаление и изменение встречается в разы чаще. Да, конечно, вы можете сказать, что файлы вообще не удаляете, да и вообще храните всё своё в cvs… Но это ещё «страшнее», чем нормальный бэкап настроить.
Рейд вас защитит только от проблем с жестким диском, да и то не всегда нормально.
Когда у меня набралось с полсотни болванок, я написал программу для их каталогизации и в последующем забивал в неё всё записанное (а всего в ней около 400 дисков). Оказалось, не зря.
Единственная проблема: диска #044 я не могу найти, хотя все остальные вполне себе присутствуют. Другая проблема: до TP был ещё BASIC, но это уже отдельная история.
А потом приходят и плачут «я редактировал документ, нажал кнопку сохранить, как мне теперь вернуться на начало редактирования?»
А на счёт «все так говорят, а потом приходят» — по-моему, это классическая ошибка выжившего (только в данном случае — умершего) — вы видите только тех, кто приходит и плачет. А тех кто работает себе дальше и не приходит к вам — очевидно, не видте — они же не приходят. Поэтому у вас может сложиться неверное впечатление о масштабах проблемы.
Бэкап — это программное решение, а рейд — аппаратное.
Выход из строя диска в рейде не должен приводить к приостановке сервиса. А вот поломка рейд-массива — к вынужденному простою по разворачиванию системы из бэкапа.
Есть и в составе утилита Real Time Sync — но не пробовал.
Каждая задача (т.е. параметры для задачи синхронизации) хранится в xml файле.
Нет запуска по расписанию, но решается простым добавлением запуска программы по расписанию с параметром (с xml файлом) в системный шедулер.
Даже облака могут не спасти залив зашифрованные файлы поверх нормальных.
Периодически делаете архивацию с паролем и в облако.
Ну а комп домашний обновляется — вот и винт обновился.
Сейчас, да и в будущем, гораздо выгоднее хранить 2-3 экземпляра на независимых носителях, чем одном долголетнем — Один же — может сломаться и не только по сроку службы.
В начале 2014 без особых знаний об raid за пару недель (по вечерам, основное время ушло на чтение мануалов) собрал себе NAS на 13 ТБ, работает не 7/24, но тоже изрядно. Ни одного диска ещё не поменял (запасной лежит на полочке). Доволен полностью, мануал здесь
Интересно, как долго на АрВидах данные жили?
В старых дисках могли использовать не такие химические вещества, как в новых, и со временем технологии производства усложняются.
точнее наоборот — упрощается с целью удешевления.
помню, CD-R купленный и записанный в 98 спокойно читался в 2005, при этом валялся где попало исцарапанный был в хлам, а CD-R купленный и записанный в 2002 в 2005 уже нет, эх как «коллекционеры» выли выкидывая сотни дисков.
Для статистики :) Болванка Philips записанная в 2001, хранилась всегда в жилом помещении и пережила несколько переездов: http://imgur.com/wysRFJg
Короче. Девайс для кикстартера.
— Эдакий здоровый ящик с большой кассетой пронумерованных картридеров для MicroSD и SD и USB.
— Можно добавить отсек для подключения кучи SATA-дисков.
— Вся эта штука подключается в розетку и к ethernet.
— Данные должны храниться прохешированными кусками сразу на всех носителях по голографическому принципу. То есть почти пустое хранилище — огромная избыточность, наполовину заполненное — минимальная избыточность.
— Хранилище должно постоянно или с заданной интенсивностью по расписанию заниматься самостоятельным подключением физических носителей (флешек, винтов), освежением (перезаписью), тестированием чтения/записи, контролем S.M.A.R.T.
— Время от времени хранилище просит пользователя извлечь и выкинуть самые плохие носители, частично неисправные можно оставить, если есть свободные слоты.
Получится эдакий автоматизированный программно-аппаратный рейд-массив с бешеной избыточностью.
Если получится сделать блок более-менее типовым и универсальным, то можно предусмотреть масштабирование. Возможно появятся конторы, которым можно отправить свои ненужные флешки и винты, а они за это будут хранить некую квоту твоего цифрового хлама.
Как ещё одно облако для домашней коллекции фото-видео и бэкапов — самое то.
Это как идея с хосписом для старых гаджетов. Эдакий ящик с отделениями, где подключенные лежат старые любимые ненужные телефоны и плееры. Оптимально контролируются параметры заряда аккумулятора, температуры и влажности. Можно даже пинговать их и монтор жизненных показателей как в реанимации зафигачить с характерным звуком и кардиограммой. Это не про экономику, да.
Была давно история с сайтом delit.net — какой-то там устойчивый рейд многокрано резервированный в один прекрасный момент погорели ВСЕ винты рейда от скачка напряжения. Поэтому, кардинально вероятность потери данных такое решение не уменьшит а стоить будет как крыло самолёта. Слишком уж нерационально дорогое получится повышение надёжности.
Основная идея — разделить оперативный набор накопителей и долговременно резервный.
Помимо голографического принципа резервирования будет и несколько слоёв функциональной деградации хранилища.
Собственно, если заранее припасены пара-тройка доноров(чтобы не учитывать пайку и т.д., а то может там всего-лишь резисторы входные повылетали) то все сократиться до покупки новой корзины(и то если она тоже сгорела) и дисков + время на регенерацию рейда. Дня 2 максимум.
И да, где на плате
всего-лишь резисторы входные? Или имеются ввиду резисторы-перемычки, играющие роль предохранителя? А если за ними ушёл в пробой супрессор из-за перенапряжения по +5? А если он НЕ УСПЕЛ?
Это сейчас, даже у тех, кто по идее знаком со всем вот этим, оно вызывает какой-то шок и желание бежать во всякие асе лабы. Да даже — «Перестало определяться?» — АХТУНГ!!! Надо срочно отдать 100500 денег за фигню(хотя тут я, если честно друзьям завидую — денег гребут лопатами) :)
Настоящая беда на самом деле — если что-то с блинами случилось, вот там начинается адище
1. Износ ячейки в процессе записи.
2. Стекание заряда ячейки в процессе хранения.
Скорость стекания заряда зависит от температуры хранения и условий облучения ионизирующими излучениями.
В промышленных микросхемах памяти оба параметра нормируются. Типовые значения времени сохранности данных (data retention time), гарантируемые в документации, как правило составляют порядка двадцати лет при +85 °C; количество циклов перезаписи может составлять порядка 10000 и более.
Надо сказать, что FLASH-память может быть изготовлена на основе одноуровневых (SLC, Single Level Cell) либо многоуровневых (MLC, Multi Level Cell) ячеек. В первых одна ячейка хранит один бит данных (заряд есть/нет), во втором случае — несколько (контролируется уровень заряда). MLC менее устойчивы в плане стекания заряда, но стоимость хранения мегабайта в них гораздо ниже.
Для бытовых флешек, увы, никто не гарантирует параметров. Но можно сразу сказать, что USB-затычка размером с ноготь, имеющая объем 32 GB, скорее всего выполнена по технологии MLC, и доверять ей бекап критичных архивов не стоит. А вот флешка объемом 1 GB, произведенная пять лет назад, скорее всего SLC, и скорее всего надежнее.
Вариант для параноиков — хранить бекапы на промышленных микросхемах, дублировать их, а также организовать перезапись данных раз в несколько лет. :) Правда, стоимость такого хранения будет порядка $0.2 за мегабайт (например, в случае микросхемы вроде W25Q64).
Всё подумываю купить пишущий блюрей привод и писать на блюрей, а не dvd, но вот парадокс: хотя спрос низкий и индустрия по сути умирает, цены на них до сих пор держатся довольно высокие. И непонятно, как с надёжностью. Если так же, как с DVD (у меня периодически перестаёт читаться то один, то другой DVD, писал в основном на Verbatim), то лучше уж покупать по два HDD на одну и ту же информацию и иногда синхронизировать.
Ну и совсем недавно достал несколько винтов с полки по 3Тб которые хранились абы как, но в квартире. Все прекрасно читается со всех, даже несмотря на окислившиеся контакты.
А ведь были раньше SLC с миллионом перезаписей и временем хранения 30-40 лет…
И это 2013…
А вы на ток посмотрели, который эта батарейка выдаёт?
Тритиевый элемент питания… даёт ток считанные пикоамперы, можно использовать но… для перезаписи ячейки электричество придется копить, потом осуществить перезапись. Трудно оценить сколько времени потребуется чтобы перезаписать целую страницу ячеек — флешки перезаписываются только целыми страницами. На досуге можете подсчитать. Может, неделями… ток тритиевой батареи известен, рабочий ток флешки тоже — 40-50мА в течении 10мс на запись страницы. Сколько это энергии? остается только поделить на мощность батареи и получишь время.
Берется плата с впаянным процом, J3455 каким нибудь. Там 4 SATA и маленький PCI-e обычно.
В сата подключаются 4 одинаковых винта. В PCI-e — плата-переходних на M.2, в неё SSD на полтерабайта.
Ставится серверная бубунта, на 4 винта кастуется mdadm, RAID 5, то бишь. Оставшееся после системы место на SSD используется как кеш для массива. Не для скорости, а чтобы раскручивался пореже.
На массиве будут холодные данные — исошки, коллекция музыки и кино, фотоархивы. Тоесть, запись раз в неделю большими кусками, чтение — рандомное по требованию левой пятки.
Запускается таймер. После 5 лет — сборка аналогичного «быдлосервака».
Как думаете, какой шанс потерять данные?
пятый рейд, очень чувствителен к потери диска. И ежели один помрет процедура восстановления болезненна, и велика вероятность отказа, учитывая что это мусоросборка. Хотя, я хз как софт рейд 5 себя ведет. Ну скорей всего выше написанное ему не чуждо. Плюс от скорости буст будет только на чтение. Я б засунул два в страйп и страйп в зеркало. Правда объем пострадают
Надежнее засовывать зеркала в страйп чем страйпы в зеркало.
Проблема в том, что для замены диска систему придется выключить. А раз диски одинаковые, т.е. скорее всего одной партии — можно после включения получить редкую ситуацию, когда в RAID вышли из строя сразу 2 диска (учитывая культуру нынешнего производства).
На самом деле для резервного копирования RAID5 не нужен — он для рабочих данных предназначен. На такой системе лучше RAID10 сделать. Или, я бы так поступил, два RAID1 — для параллельного хранения.
Вот только чтение должно быть не рандомным, а плановым — раз в неделю. С проверкой целостности.
Это у вас планируется как место для резервного копирования или для хранения? Если первое и в случае смерти у вас останутся оригиналы, то сойдёт. Если же для хранения — то ещё, как минимум, надо где-то копию важной информации держать.
— через 5 лет — замена.
— запись — редко. данные холодные. плюс SSD для кеширования чтения.
— скорость неважна.
может можно софтовому рейду дать какие нибудь параноидальные настройки, чтобы он таки справлялся с задачей первичного хранилища в таких тепличных условиях?
Да, я знаю, RAID is not a backup, но вот 3 здоровенных послабления:
— через 5 лет — замена.
Диски, бывает, умирают и раньше. У меня WD Red на 3ТБ помер через полгода после покупки. Если бы у меня был RAID 5 то следующие ~10 часов у меня прошли бы в надежде на то что у меня не вывалится еще один диск. (а вероятность такого исхода не маленькая так как все диски покупались одновременно и в одном месте)
Насчет софтверного рейда можете особо не парится, я бы не сказал что для таких задач есть большая разница между софтварным и хардварным рейдом. Главное, как уже сказали выше, не забыть про ИБП и повесить скрипт на выключение при пропадании питания.
Лично я stablebit drivepool использую, но есть и другие решения.
Не нравится drivepool — есть drive bender, он подешевле. Но за него я поручиться не могу, не пользовался.
А облака для хранения использовать не стоит. Вторую, третью… десятую копию там держать можно, единственную — нельзя.
Расскажите по подробней о вашей конфигурации и объеме, как долго делается миграция, какую скорость выжимает?
Единственная для меня весомая причина использовать windows server — доступность инфы если ОС отказала и самое главное дедупликация. С помощью дедупликации я получаю внушительный дополнительный объем. А т.к. в основном храню холодные данные к которым доступ периодически только на чтение — для меня это весомый аргумент. Я сейчас точно не помню, но примерно 9 Тб инфы ужимались до около 7-8 Тб. Причем оказалось копия одного и того же в пределах одного диска не увеличивала занимаемый объем (разбирал месяц назад завалы и оказалось повторных копий на 2 Тб примерно, оказалось что они нисколько не сказались на объеме в целом, был приятно удивлен).
Сейчас глянул там на главной тоже бета
Там рядом два дистрибутива лежит, один релиз, второй бета.
Расскажите по подробней о вашей конфигурации и объеме, как долго делается миграция, какую скорость выжимает?
Конфигурация — 4 диска, 4+3+3+2. По скорости миграции сказать сложно, я давно уже не делал, а когда делал — не засекал. Раньше я диски раз в пару-тройку лет заменял, а сейчас в связи с выросшими ценами пришлось срок жизни увеличить. Но двушку я всё же хочу поменять через месяц-другой, ей как раз пять лет на днях исполнилось. Трёшки, правда, всего на год моложе и их тоже придётся в течение года поменять.
доступность инфы если ОС отказала и самое главное дедупликация
У drivepool тоже всё нормально с доступностью, файлы хранятся в обычных ntfs-папках.
А дедупликация лично мне не нужна, нет у меня дублирующихся файлов. Вот когда несколько человек на сервере живут, то тут уже может пригодиться.
Типовой ПК — не дорогая материнская плата с интегрированным видео и пару слотов PCI, т.е. что-то небольшое по бросовой цене, можно б\у и под что можно будет купить запчасти по бросовой цене в любом ближайшем ларьке. Системный\загрузочный диск любого объема в кол-ве одной штуки, он нужен чтобы просто загрузиться ОС не более. Я даже для таких случаев держу битые диски которые не годятся для хранения важных данных, естественно сильно б\у. А далее самое интересное. Накатывается на загрузочный диск Windows server 2012R2\2016 или что по старее, но именно Windows. В винде делается зеркальный рейд или пул нескольких дисков, делает виртуальный том и расшаривается диск или папка. Все готово.
Как плюсы от такой схемы:
1. Типовое железо под которое легко можно найти запчасти в экстренной ситуации, от блока питания, до оперативной памяти.
2. Серверная виндовс позволяет более менее за 10-15 минут быть восстановленной в случае вылета загрузочного диска.
3. Программный рейд или пул позволяет обойтись без покупки контроллера, что удешевляет конфигурацию и не погибает массив если сдохла операционная система.
4. Самое ценное в этом конфиге то, что в случае если сломалось все и сразу — у любой бабушки на деревне можно подключить свои диски и при этом получить доступ к своим данным без танцев и поклонений шаманам, т.к. у большинства соседей винда на десктопе.
Именно такая конфигурация используется у меня, еще ни разу не подводила за долгие годы, а когда подводила — оперативно исправлялась. Было дело даже пришлось идти к соседу — подключили винт у него и скопировал на флешку что надо. Потом потратил сущие копейки и запустил машину дальше.
Почему не линукс, к сожалению гарантии его работы на разном оборудовании нет 100%, долго конфигурировать чтобы заработало что надо и как надо, опять же привязан к линуксу который мало у кого есть.
Вообще был у меня случай когда сетевой накопитель на линуксе отказал, а на винте была разметка которая показывала что области разделенные, размечены, но доступа к данным получить не удавалось (и это при исправном диске). Долгие мучения хоть как-то запустить шарманку и скопировать закончились не удачно (2-3 дня убил на это), пришлось обойти всех соседей и найти такой же сетевой накопитель, вставил свои диски и скачал что надо. После этого был сетевой накопитель на типовом ПК (новое железо), Nas4Free накатил на него. Пользовался этим добром несколько месяцев, и в один прекрасный момент перестал непонятно с чего загружаться, слава богу был бекап и не потерял ничего. Я даже не стал разбираться что случилось и вернулся на старую добрую конфигурацию на винде.
Надежность системы здесь будет зависеть в первую очередь от надежности жестких дисков (ваш Кэп).
Вероятность отказа одного из четырех дисков вчетверо выше, чем одного из одного, так? Поскольку RAID 5 позволяет (как выше правильно отметили — в реальности с большим скрипом) потерю одного диска, общая вероятность отказа будет равна удвоенной вероятности отказа одного диска. На самом деле, если я что понимаю, выше — ибо после выхода из строя одного диска нагрузка на остальные увеличивается непропорционально (тут я могу быть неправ).
Далее.
Пропускная способность SATA для единственного диска в общем случае уже превышает пропускную способность Gigabit Ethernet. Соответственно, в случае малого количества одновременных клиентов и малого числа запросов кэширование вам не нужно вообще низачем (вы скорее всего не будете даже дважды запрашивать одни и те же данные за время жизни данных в кэше, или даже попросту подряд), а увеличение скорости за счет пятого райда попросту избыточно: узкое место не в дисковой подсистеме, а в сетевой.
Следовательно, я бы на вашем месте действовал так: никаких рейдов, один диск под данные для чтения, и еще один для резервной копии. Если изменения планируются раз в неделю, то может быть, вообще лучше подцеплять второй диск на шнурочке: синхронизировал — отключил — положил в ящик. Автоматическим системам синхронизации я бы при таком раскладе не очень доверял: как мне кажется, они запросто могут синхронизировать вторую копию с уже запорченной по тем или иным причинам первой.
Все вышеизложенное, разумеется, сугубая имха: знающие больше да раскритикуют.
Поскольку RAID 5 позволяет… потерю одного диска, общая вероятность отказа будет равна удвоенной вероятности отказа одного диска.
Надо в квадрат возводить, а не делить на два. Причем это будет верно только для необслуживаемого RAID, а при заданном времени замены диска вероятность двойного отказа будет еще ниже.
Надо в квадрат возводить, а не делить на два.Черт, вот я знал, что где-то косячу.
Спасибо. Надо все-таки сгрызть этот гранит науки по-человечески.
при заданном времени замены диска вероятность двойного отказа будет еще нижеНа этом месте я нагуглил статью отсюда же: Почему RAID 5 «mustdie»?, с которой скорее согласен.
А может, я просто RAID'ы не люблю, поскольку регулярно сталкивался с последствиями эксплуатации именно необслуживаемых RAID'ов. Когда на мониторинг забивают, или даже слова такого не слышали, или вообще добрые люди собрали машинку с райдом для домашнего пользователя на каких-нибудь WD Green, которые через полгода стали вываливаться из RAID'а по таймауту.
У меня дома стоит маленький сервачок для музыки, кино, и бэкапов: miniITX плата с запаянным процессором, корпус на 4 винта, Убунта, питание через UPS. Винты с более-менее ценным — в RAID1. Всякие киношки просто так, без массива.
У такого решения с точки зрения хранения бэкапов есть только 1 существенный недостаток — отсутствие пространственного удаления от оригинала.
Личные записи (текст) тоже можно опубликовать.
Не очень понятно, что делать с видеоданными.
Сейчас у меня данные кочуют с одного ноутбука на другой + лежат в паре облаков.
Все остальные бекапы (типа исходного кода или дампов), скорее всего, будут совершенно неактуальными через 50 лет и будут мало интересовать как потомков, так и самого автора.
Фотографии надежнее всего напечататьСпорный вопрос. Современные процессы печати не факт, что гарантируют долговечность и светостойкость.
Пара больших снимков напечатанных на промышленном фотопринтере висит на стене уже лет наверное 7. Без видимых изменений.
Как человек который цифрует регулярно фотографии 10-20-30-...60 летней давности, лучше храните в цифре, если оно цифровое. Если пленка — уже лучше пленка, выпрямленная и в конверте темном.
Сейчас у меня данные кочуют с одного ноутбука на другой + лежат в паре облаков.
Внешний жёсткий до сих пор рулит… уже лет так десять. :) Хотя, говорят, что это ненадёжно.
Это что за извращенный жесткий? У меня внешний жесткий это обычный ЖД вставленный в корпус, и USB->sata это обычная платка, которую я использую для кучи разных ЖД.
Мол, трещины сузятся.
И правда: мне помогло в нескольких случаях. Хотя может, просто когда вынул из морозилки и вытер конденсат — диск стал чище и прочитался.
Храню все домашние фотки и видео на шести носителях: 5 шт домашних компов (2 моих, 2 родителей, 1 у тёщи) и до кучи на 500 гб носимом нжмд который вытащил из ноутбука при апгрейде и который и является заодно средством синхронизации). Чего и всем остальным желаю =) Все другие методы считаю ненадёжными.
Лично мне больше всего нравится вариант автоматической синхронизации с контролем версий в реальном времени. Почему именно в реальном времени, а не по расписанию — да просто потому что так удобнее. Контроль версий же позволяет не беспокоиться за удаление или порчу файлов.
А раз в год действительно можно разбирать и систематизировать фото.
Возможно но что то не попалось ничего бесплатного
Диск (ещё 650 Мб!)
График чтения (на очень невыдающемся современном DVD-ROM)
Дата записи — октябрь 1997 года.
Имхо, надо (было) просто выдерживать технологические нормы, не пытаясь штамповать диски по три копейки.
И с современными 100-1000-летними аналогами то же самое будет, не надо питать иллюзий.
Но в статье, в первую очередь, говорится о потребительских дисках, как я понимаю. С фильмами, играми, музыкой.
Это, на самом деле, тоже проблема, так как зачастую копирование таких дисков считается «пиратством», даже если делается с целью создания достоверного архива. А многое из того, что издавалось на тех же CD в конце 80-х, уже приходит в негодность.
Как скоро начнут уходить в «небытие» копии игр для Playstation, 3DO, Saturn?
Сейчас, к примеру, есть некоторое количество игр для PS3 на Blu-Ray и они тоже в какой-то момент деградируют. Если мы будем иметь постоянное укрепление позиций правоторговцев, то наступит тот момент, когда не останется ни одной копии каких-то игр.
А также постоянная перезапись на новые носители, каждые n-количество лет.
В случае с жесткими дисками — перезапись с диска на диск, чтобы магнитная запись обновлялась.
Главное — записывать так, чтобы уровень избыточности данных превышал возможный шум при повреждении.
Интересно бы SMART того винта посмотреть, вполне возможно будут видны признаки деградации.
Да и не было различных ухищрений вроде корректирующих допзаписей.
Блин, выводите на рассказ информации, которую я скорее всего не имею права говорить. :-)
Да вроде в открытых источниках и более подробная информация была, про то как записываются данные на 10Тб винтах, где плотность треков настолько высока что они буквально друг на друге сидят и записывающая головка задевает соседние.
"корректирующие коды"
В http://en.wikipedia.org/wiki/Advanced_Format приводятся примеры размера кодов: для 512 байтного сектора 15 байтов служебных полей, в том числе синхронизации сектора и метки, данные, 50 байтов ECC. Для 4096-байтного сектора — 15 байт служебных, данные, 100 байтов ECC. В http://www.idema.org/wp-content/downloads/1259.doc (4K Byte-Sector HDD-Data Format Standard, 2005) указано "Current HDD products use approximately 9% of ECC overhead to correct a raw bit error rate from 10^(-5) to 10^(-11).… Using the same amount of ECC overhead, 9%, at 4K sector format, a raw bit error rate of 10^(-2.4) can be corrected to the required 10^(-11) target, solving the bottleneck problem."
"сервометки… на спецоборудовании" — лет 20 назад — да, вот от IBM http://www.abrahamassociates.com/portfolio/servowriter_module.html ("...disk track pitch was 1.27mm").
2003 год — https://www2.hgst.com/hdd/library/whitepap/tech/servowrite.htm — Ранее при записи сервометок использовались внешние сенсоры (clock-head), но сама запись уже производилась штатными головками (кстати, метки значительно больше ячеек данных). Из-за увеличения плотности внешние датчики слишком сложно использовать и они могут не дать необходимой точности, перешли на запись без внешних устройств, используя выравнивание записываемых сервометок по меткам с соседнего радиуса
… new manufacturing technology for servowriting called no-clock-head (NCH) servowriters. Traditional servo writing has been performed in a clean room environment with external sensors invading the head disk assembly to provide the precise angular and radial position information to write the servo patterns. While such instruments have been satisfactory to set the patterns in the past, today's increased track density has become so precise that the mechanical vibration of the file (relative to these external sensors) can limit the accuracy or increase the complexity of these systems.
technology called no-clock-head (NCH) servowriters,… In this method, the hard disk drive generates its own timing information while the drive is being servo written, using only the product data head. The patterns are self-propagated and aligned by a digital signal processor (DSP), resulting in a substantial increase in time alignment over other servowriting methods
Метод называют "Self-Servo Track Writing" SSTW:
- Hard Disk Drive: Mechatronics and Control — 2006 — https://books.google.com/books?id=_OHKBQAAQBAJ&pg=PA319&lpg=PA319&dq=sstw
- Modeling and Control of Vibration in Mechanical Systems — 2016 — https://books.google.com/books?id=Em3D2vzsVZ8C&pg=PA230&lpg=PA230&dq=sstw
- UCB PhD 2011 http://digitalassets.lib.berkeley.edu/etd/ucb/text/Nie_berkeley_0028E_11268.pdf "Recently, self-servo track writing has been developed in order to improve the quality of the written servo patterns and reduce the cost of servo track writing process.… Self-servo track writing (SSTW) [5, 26] is an alternative method of writing servo patterns using HDDs’ own read and write heads and servo systems, in order to save the process cost and improve the servowriting quality. During SSTW, the timing and radial information are obtained from the previously-written track using the read head, while timing and radial positioning servo patterns for the current track are being written using the write head. As a consequence, the external equipment is no longer needed in the servo-pattern writing and thus the servo track writing does not have to be carried out in any clean room environment. As mentioned in Chapter 1, there are two popular SSTW methodologies, spiral-based SSTW and concentric-based SSTW"
- ~2010 "HDD inside: Tracks and Zones. How hard it can be?" http://hddscan.com/doc/HDD_Tracks_and_Zones.html и там же схема сектора http://hddscan.com/doc/images/HDD_Tracks_and_Zones/data.jpg
- 2009 "Control Design of Concentric Self-Servo Track Writing Systems for
Hard Disk Drives" http://www.dcsc.tudelft.nl/~bdeschutter/private_20100705_acc_2010/data/papers/0675.pdf — для SSTW требуется небольшое количество меток, нанесенных на (некоторые) пластины перед сборкой: "The concentric SSTW process utilizes a few pre-written concentric tracks to write the rest of concentric tracks… In the spiral SSTW process, the position reference signals ....are generated by reading PES from pre-written spirals tracks. Spiral tracks are written using external spiral writers, which are less expensive and less time-consuming than external concentric writers.… pre-written on the disks before the disks are assembled in the HDD. "
"треки… буквально друг на друге сидят" — это называется Shingled magnetic recording (SMR) (и связано с тем что головка чтения более узкая, чем головка записи) — и применяется лишь в некоторых сериях дисков наибольшего объема (т.к. перезапись любого сектора данных в ленте перекрывающихся треков требует перезаписи всей ленты от места изменения до конца) — https://geektimes.ru/company/seagate/blog/270740/ https://3dnews.ru/921552 https://habrahabr.ru/company/etegro/blog/238535/
Гораздо вероятнее за это могут произойти физические дефекты, вроде отслоения материала, чем размагничивание.
Сомневаюсь что винчестер пролежит спокойно 10 лет возле бесперебойника и не размагнитится. Или непосредственно возле блока питания компьютера(они бывает ужасно фонят, но сантиметров на 5).
Бесперебойник или звуковой усилитель — смотря какой мощности, но это нужно, чтобы винт вплотную был прижат. Промышленный силовой магнит все-таки помощнее будет.
Но с таким же успехом можно винт регулярно ложить в холодильник или нагревать на открытом солнце летом.
Давайте исключим агрессивную внешнюю среду, и предположим, что с жестким диском обращаются разумно )
Статья для меня актуальна, так как сам покупаю и храню Audio CD.
В моём случае, из всех моих Audio CD, порядка 12 дисков (знаю, мало), пока читаются все.
Правда я и храню их в полиэтиленовом мешочке, запрятанном в коробку.
Но всю коллекцию держу также во*.flac, на всякий случай.
Да и… Тут обсуждали выше, что HDD надёжнее, чем CD или SSD.
А что скажете насчёт того, что в них может высохнуть масло?
Серьёзно.
В одной из веток на overclockers шло как-то обсуждение на эту тему.
Можно подумать и разработать какие-то специальные штрих-коды для печати на A4 с избыточностью, достаточной для компенсации повреждений на бумаге.
Можно не на A4, а на рулоне — чтоб можно было печатать непрерывным циклом, а для чтения прикрутить сканер с лентопротяжкой.
А как рекламировали!
10 лет, 50 лет, 100 лет!
Цена вопроса 5 баксов в месяц + 100 баксов за диск, и можно забыть о оптических дисках как о кошмарном сне.
Фото и видео дополнительно можно бэкапить на гугльфотки, код в репозиториях облачных сервисов, а других больших файлов у рядового пользователя не так уж много.
Сейчас храню данные на NAS, а он синхронизируется с облаком, а копии на дисках конечно не помешают. Раз печально умер диск EMTEC, весь облез и ничего не восстановить.
Распечатать, заламинировать и так на века.
Как деградируют оптические диски