Долговечное хранение данных. (Статья — обсуждение)

    Всем доброго дня! Хотел бы создать эдакую статью — обсуждение. Не знаю, пройдет ли она под формат сайта, но, думаю многим будет интересно и полезно найти ответы на многие вопросы. Достоверного ответа на последующий вопрос в сети я не нашел (плохо искал, наверное).

    Вопрос следующий: «На чём хранить архивные данные. Что будет служить максимально долго и хватит на мой век, чтобы передать детям и внукам?».
    Разговор пойдет не о секретных данных разведки, не о хранении порно, говорить будем о бытовом:«Хранение семейных фото и видео».
    Начну с того, что столкнулся с тем, что компакт-диски, которые были записаны нам в подарок в школе, решили открыть через 10 лет. Ииии… как многие догадались, открылся один из 20 штук… и то битый. Почему? Элементарно… Он разрушился! ОНИ разрушились…
    Я всегда считал, что хранение информации на электронных носителях — самый лучший способ, самый компактный, самый надежный! Ай нет! Магнитные слои размагничиваются, электронные компоненты разряжаются, тонкие отражающие слои на компакт дисках меняют свой состав, цвет, да и попросту отслаиваются со временем. Как итог: информация «портится», а так как мы живем в цифровое, а не аналоговое время, то мы теряем не фрагмент, а, практически полностью весь блок. Конечно, многие мне возразят, что есть методики восстановления испорченных или частично утерянных данных. Что-то «дорисовывается», что-то считывается многократно, дабы уловить остаточные магнитные волнения, но это всё не серьёзно!
    Обычный бытовой потребитель хочет просто: 1.Приобрести 2.Записать 3.Открыть через много лет и не разочароваться.
    Кто что может посоветовать?
    Интернет даёт следующие советы:
    1.Писать на BD диски хорошего качества, в один проход, и как можно реже считывать данные и в принципе спрятать диск в недоступное от всех и всего место!
    2.SSD диски хорошего качества, не очень высокого объема, с резервным источником питания на время хранения.
    3.Увеличение резервных копий и использование облачных сервисов
    4. LTO носители. Малопопулярно, дорого, но долговечнее многих других
    5. Перфоленты XD ну это уже так, от меня)))

    Жду резонных предложений! Вопрос простой, ситуация сложная…
    Поделиться публикацией
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 121

      +2
      глиняные таблички
        +1
        Есть предположение, что сейчас начнут предлагать RAID'ы всякие)
          +2
          Обычный бытовой потребитель хочет просто: 1.Приобрести 2.Записать 3.Открыть через много лет и не разочароваться.

          Так не бывает. Но не переводятся на Руси в интернете охотники на единорога самый лучший и надёжный накопитель на который можно записать всю свою самую важную информацию в одном экземпляре и ничего не бояться.
          Кто что может посоветовать?

          Все велосипеды уже давно изобрели: две (или более, в зависимости от степени вашего желания не потерять данные) копии на географически удалённых носителях, CRC, регулярная проверка, замена сбойного носителя сразу по выявлении.
          Тип накопителя по вкусу. IMHO, внешний HDD на 2.5 дюйма в настоящий момент удобнее всего для «бытового потребителя».
            0
            Это понятно. Но он тоже не вечен. Даже при максимально правильном хранении в сухом, теплом и без солнечном месте приведет к необратимым последствиям и я не уверен, что он не размагнитится за длительный срок хранения. Неужели, лучший выход, регулярная ревизия и обновление носителей?
              +3
              Верно, регулярная проверка с заменой неисправных носителей.
                0
                Неужели, лучший выход, регулярная ревизия и обновление носителей?

                Можете отлить в граните. Нет, ничего особо долговечного для записи больших объемов информации не существует. Ваш реальный выбор — между LTO и обычными хардами (эргономически удобнее на 2.5'', как правильно заметили). В первом случае ревизию можно проводить пореже (зависит от количества копий, разумеется), но вам нужно будет оборудования для чтения/записи. Во втором — ревизию проводить почаще, но считать/записать проблем не будет. Если у вас две копии, то я бы сказал, что для LTO будет разумным ревизия раз в 5 лет, для хардов — раз в год. Если больше — можно и побольше перерывы.
              +1

              LTO кассеты должны сохранять данные практически без ошибок в течение 30 лет. Потом перезаписать надо будет на что-то более современное. Привод только сохраните и то, к чему его подключать.

                +3
                лента. LTO, уровень — по бюджету. раз в 10 лет — переходить на уровень доступный по бюджету в это время.
                но один носитель никогда не будет надёжным. так-что:
                плюс — облако или два. обновлять часто.
                плюс жесткий диск в сейфе. обновлять пару раз в год.

                в общем — дешево и без усилий — не получится.
                  +1
                  Раз в несколько лет переписывать все архивы на современные к текущему моменту носители. Все держать как минимум в трех экземплярах. SSD теряют информацию, если долго отключены от питания.
                  Облака — дело хорошее, но они могут быть лишь одним из дополнительных мест хранения.
                  Особо ценную информацию лучше хранить не только в нескольких экземплярах, но и на носителях разных типов.
                    0

                    Старые HDD (с воздухом). Никаких RAID и прочего, но при записи на диск архивировать с записью информации для восстановления в количестве 5-10% на архив. Но все равно раз лет в пять придется перезаписывать данные, ибо FAT/NTFS имеют не настолько защищенные элементы на том же диске.

                      +1
                      Как вариант, на HDD создавать два раздела с дублированием информации. Они физически в разных местах диска будут расположены.
                        0

                        Угу. С SSD такое не прокатит, а с хардами ещё может.

                        0
                        Кстати как отличить диск с воздухом от диска с гелием?
                          0
                          по отсутствию «Do not cover this breath hole» надписи :-)
                          на самом деле — по спекам, внешнему виду корпуса…
                            0
                            Вооот!
                            А я думал там есть хотя бы какая-то метка или прямо написано типы Air или Helium
                              0

                              На гелиевых, кстати, пишут (не везде). Так что отличить можно. В крайнем случае есть загугли по модели.

                        +1
                        Храню важные данные:
                        * 2 копии на разных HDD в одном компе (права доступа к архивам на всякий случай жёстко ограничены) +
                        * Одна копия на внешнем HDD +
                        * Одно копия в облаке, зашифрована.

                        Недавно спасал так фотографии трехлетней давности, что побились по неизвестной причине…

                        Но сейчас задумываюсь чтобы перекодировать фото/видео во что-то с меньшим размером, пусть и с потерей качества, а то уже почти терабайт в основном видео и оно растёт…

                        Другой вопрос если со мной что-то случится (заболею и т.п.). Никто не может этим воспользоваться и если фотографии можно какие-то напечатать, то что делать с видео, не представляю. Как детям передать их детские фото-видео чтобы они могли лет через 20 их посмотреть?
                          0
                          CD и DVD диски не лучший способ хранения. Записывал и CD и DVD диски, проверял правильность записи, диски лежали в коробочках, при комнатной температуре, никто их даже не доставал из коробок. Через несколько лет — ошибки чтения.
                          Пока для себя выбрал вариант записи на HDD с резервным копированием. HDD лежат «в столе» — подключаются только иногда. Регулярно диски меняю — старые продаю, а вместо них покупаю новые, большего объёма.
                            0
                            А CD и DVD диски перезаписываемые или с однократной записью? У меня 20-летние CD с однократной записью вполне читаются.
                              0
                              Однократные. Производства TDK и Verbatim.
                                0
                                их подделывали активно.
                                в отличие от российских мирексов. но вот буду у родителей — поищу из старых запасов что ещё читается)
                              0
                              У меня dvd(?)rw через 10+ лет прочитались без проблем. Обычные, покупал упаковку 50 штук.
                              +2
                              Я дома использую LTO. Обещают до 30 лет гарантированного сохранения. Сейчас вполне доступны б/у приводы LTO-5 (я внешний купил за 300 евро ). Кассеты (1500 ГБ) можно найти за 10-12 евро.
                                0
                                Посмотрел стоимость LTO на рынке… Немного в шоке. Не из дешевых удовольствие…
                                  +1
                                  а вы на топовые поколения не смотрите. скромнее надо быть. LTO-5 вот выше написали — вполне приемлимая цена…
                                    0
                                    А подскажите, где можно ознакомиться с характеристиками\ценами? На порталах больших электронных магазинов информации ноль, только цена… Тут не гонка за современностью, а именно за сохранностью. Объем, установлю, условно 500 Гб… Возможно, смо временем людям потребуется 1Тб для ключевых данных. Более — это ни к чему
                                      0
                                      на wiki статья по LTO содержит всю техн информацию. По ценам на ebay можно заглянуть.
                                      Кассета LTO-4 вмещает 800 ГБ, нo начиная с LTO-5 еще добавлена поддержка LTFS: кассета видна как внешний диск, файлы можно просто добавлять через drаg-and-drop.
                                        0
                                        Цены — на avito. Я, когда собрался продавать несколько лет назад выведенную из эксплуатации LTO-5 библиотеку от HP, был неприятно удивлён тем, что она стоит максимум 200 евро. Будьте готовы в SCSI-интерфейсу, если библиотека/стример старые. Характеристики накопителей есть даже в Википедии.
                                          0
                                          livsius правильно ответил что просто на Wikipedia все данные имеются. Добавлю, что скорость записи на LTO4/5 около 120-140 MiB/sec, а на более поздних поколениях и того выше — поэтому ещё нужно не забывать про то, что на стример с этой скоростью вы должны отдавать данные без передышки, иначе он будет останавливаться, отматывать ленту назад, дальше продолжать писать. Это существенно замедляет процесс записи и изнашивает ленту. Если 140 MiB современный жёсткий диск и может отдавать, то больше уже не каждый осилит. SSD легко обеспечит скорость, но не часто они бывают объёмом в несколько терабайт чтобы за раз записать одну ленту. Плюс не забывать что наверняка интерфейс подключения будет SAS и возможно понадобится контроллер докупать для этого.
                                            0
                                            не скажу про LTO-4, но LTO-5 приводы могут замедляться довольно ощутимо, подстраиваясь под «хилый» поток.
                                            Да, SCSI или SAS контроллер необходим, в районе 40-50 евро (c PCIexpress interface) на ebay можно найти.
                                              0
                                              У меня HP Ultrium LTO5 привод внешний. Не видел ни разу чтобы замедлялся. Останавливается и перематывает назад. Ну, наверное зависит от модели или ещё чего.
                                                0
                                                у меня внешний LTO-5 IBM FH (Full Height формат — они побольше фич имеют и чуть побыстрее, чем Half-Height).
                                                Когда лью с обычного HDD — явно слышу как замедляется и далее останавливается в основном для смены направления вращения каждые ~1-2 мин.
                                                  0
                                                  Подскажите модельку, если не затруднит?
                                                    0
                                                    IBM 3580-S53
                                    +1

                                    Перфокарты в ламинат :)

                                      0
                                      Не бывает универсальных во всех смыслах носителей. Здесь как обычно работает «выберите 2 из 3х», стоимость, долговечность, объём. Если рассуждать из соображений экономии денег, то наилучший вариант следующий:
                                      Нет необходимости в одном универсальном, великом и могучем носителе. Просто нужно делать больше копий. И чаще. Не на 1 диск с проверкой раз в 15 лет, а каждый квартал/год (сколько там гарантированная надёжность у выбранного в каждом случае носителя). Будет у вас через 15 лет 15-115 носителей разного возраста, хранившихся в разных местах и разных условиях. Ну какой-то прочитается. А когда ценность записанной информации для вас, потомков или окружающих упадёт ниже, чем стоимость копирования — вот тогда информация и будет рисковать исчезнуть совсем. Но учитывая количество созданных за это время копий — вы можете рассчитывать на шанс сохранения информации хоть на каком-то историческом промежутке.
                                      Если у вас носитель с надёжностью 99%, то самый простой способ повысить надёжность — записать на 2-3 носителя и хранить их в разных местах. Главное учитывать сроки эксплуатации и своевременно делать дополнительные копии. Если вам или ответственным лицам лениво и дорого делать копии — значит эту информацию вовсе не следует хранить.
                                        0
                                        Не бывает универсальных во всех смыслах носителей. Здесь как обычно работает «выберите 2 из 3х», стоимость, долговечность, объём.
                                        ленты LTO выигрывают по стоимости, долговечности и объемам как носитель.
                                        Проигрывают по стоимости устройства записи)
                                        +2
                                        Обычный бытовой потребитель хочет просто: 1.Приобрести 2.Записать 3.Открыть через много лет и не разочароваться.

                                        Маловероятно. Даже если носитель это доживет, не факт что доживёт устройство чтения носителей. Так что просто положить и достать через сто лет скорее всего не выйдет, так как сложно будет найти привод, либо подключить его, так как интерфейсы поменялись. Как показала история, при соблюдении условий хранения неплохо держатся кинопленки. Из цифровых носителей можете посмотреть в сторону m-disc. Ну и ещё можно раскидать все по нескольких облачным сервиса и своевременно заменять сдохшие.


                                        P.S. Те кто посоветовал SSD с внешним питанием вообще странные люди. Тогда уж лучше воздушные HDD.

                                          0
                                          P.S. Те кто посоветовал SSD с внешним питанием вообще странные люди. Тогда уж лучше воздушные HDD.
                                          HDD для механических воздействий уязвимы. А SSD из-за потери заряда. Так что надо оба варианта юзать)
                                            0
                                            Выключенный HDD уязвим для внешних воздействий всего лишь чуть большую малость, чем SSD. Если бить молотком, то HDD придёт в негодность немного раньше. Но немного.
                                              0
                                              Ронять даже выключенный HDD сильно опаснее, чем SSD. С учетом, что уронить можете не вы, а тот, кто не понимает важности данных — вас про это могут даже не проинформировать. С другой стороны, если хранить в банковской ячейке, тогда может быть…
                                            0
                                            А болванки M-disc вообще в РФ продаются?
                                            Чуть было не купил пишущий их привод, но попробовал поискать болванки — а их нет. Ближе всего с amazon/ebay заказывать.
                                              0
                                              На Украине продают, хоть и не очень массово и только BD-R фирмы Verbatim. Диски ёмкостью 25 ГБ примерно по 300 рублей, диски 100 ГБ примерно по 1000 рублей.
                                                0
                                                Я правильно понимаю, что для записи Mdisk используется обычный BlueRay привод?
                                                  0
                                                  Как я понял, немного по-гуглив, нужен тот который умеет M-Disc писать.
                                                    0
                                                    В Wikipedia написано, что писать нужно на приводах совместимых с технологией M-DISK. А читать на любом приводе понимающем формат BD-R.
                                                      0
                                                      Тогда получается что отличие M-Disk, то есть их эта мега-прочность и вместимость в 100 гб, заключается только в специальном материале?
                                                        0
                                                        И в этом тоже. Но не факт, что все блюрей писалки умеют в запись этих дисков.
                                                        Эти множества возможно пересекаются сильно, но не факт, что совпадают
                                                          0
                                                          Обычные Bluray не умеют писать M-диски точно. Там другие материалы и требуется заметно бОльшая мощность лазера во время записи.
                                                            0
                                                            Ну это, видимо, как формат CD-RW 24х и 32х в своё время — не только лишь все умели их писать, надо было обязательно проверять совместимость)
                                                          0
                                                          На сайте Verbatim есть описание, что это за зверь.
                                                +3
                                                У меня несколько жестких дисков в машине, самый свежий — архивный, второй и последующие — рабочие, последний — файлопомойка. Когда файлопомойка дохнет — покупаю новый и переливаю на него архив, остальные по цепочке. Плюс к этому облако.
                                                  0
                                                  А если незапланированно сдохнет архив и/или рабочий?
                                                    0
                                                    Маловероятно, в моём режиме архивный диск обновляется где-то раз в 2 года. Есть конечно шанс что он навернётся раньше времени, но таки скорее всего не мгновенно, а мониторинг смарта у меня стоит. Скажем так, мой вариант не самый надёжный из существующих, но самый надёжный из бесплатных :) Просто я один раз озаботился переназначением дисков (физических) согласно их реальному состоянию и дальше поддерживаю эту систему.
                                                  +1
                                                  Мне по наследству достались фотографии моих родителей, смотреть их как-то уж ностальгически больно, выкинуть не могу из-за чувства уважения.
                                                  Вопрос зачем наследников обременять своей памятью? Ведь на всё мозгу нужно примерно 20 дней и 3 года.
                                                    0
                                                    Ну не скажите! Нашей семьёй были утеряны фотографии деда, многие фотографии прадедов и прапрадедов долго искались и восстанавливались моими бабушками и дедушками! Так что, как наследник, внук, правнук, скажу, что для многих это актуально и целесообразно! Куда интереснее читать свою историю, а не написанную кем-то
                                                      0
                                                      Здесь есть разница.
                                                      Вам было интересно раздобыть НЕСКОЛЬКО фотографий деда.
                                                      А вашим внукам — зачем сотни часов видео и сотня тысяч фотографий из вашей жизни?

                                                      Мы для себя как-то определились, и ежегодно на новый год делаем подарки родителям — альбом (бумажный) с совместными фотографиями.

                                                      Во-первых, оно всегда доступно, лежит на полке.
                                                      А во-вторых, выбирая для этого альбома 40 снимков из того, что наснималось за год, ты очень сильно задумываешься над каждым и оцениваешь его ценность.
                                                      В процессе у меня даже было желание некоторые цифровые альбомы удалить полностью за исключением той пары снимков, которые попали в такой итоговый годовой альбом.
                                                        +1
                                                        А вашим внукам — зачем сотни часов видео и сотня тысяч фотографий из вашей жизни?
                                                        Ценность — субъективна. Что будет полезно и интересно внукам и далее знать нам не дано, но детям нужно уж точно многое (сужу по своим наследникам, моими детскими фотографиями они интересовались очень активно, и «почему у тебя так мало!?» звучало не раз).
                                                        Я бы и сам с удовольствием посмотрел фото и видеоархив деда, и даже прадеда, если он был, конечно.
                                                        Мне интересно! Вам — нет? Причём мне хотелось бы увидеть именно максимум возможного, а уж что меня заинтересует, а что я отложу — решать лучше мне, а не деду, который может и хочет оставить себя только «в парадном виде, при сабле и медалях» — но как раз это спустя годы и становится скучным, а вот бытовые вроде бы материалы — так играют!
                                                        Так что пусть потомки сами решают, что хранить, а что отложить-удалить.
                                                        Моё дело — дать им в будущем возможность выбора.
                                                        Бумажные копии хотя и «классический вариант», но крайне грустное качество, зависимость от формата, да и время, увы, издевается над ними безжалостно.
                                                        Хороший структурированный по датам и тегам цифровой архив оставить после себя не будет лишним. Он много места в будущем вряд ли займёт, наши терабайты они наверняка уместят на кончике иглы. Главное, чтобы наши архивы смогли прочитать и восстановить.
                                                    +1
                                                    ИМХО надо рассматривать вариант с удалённым хранением данных. Тут вариант или облако, или какой-нибудь НАС у родителей/друзей/бабушки.
                                                    Диски, ссд и прочее это хорошо, если у вас дома есть сейф, который спасёт их, например, в случае пожара, потопа, etc.
                                                    Но главное — любой бекап всегда нужно проверять на работоспособность!
                                                        0
                                                        мои мысли но они не дешевые:
                                                        1. Копий должно быть несколько в разных местах.
                                                        2. Копии должны быть на разных носителях HDD/SDcard/BD/Облако.
                                                        3. Время от времени нужно мониторить состояние носителей и обновлять.
                                                        4. Менять носители на актуальные, например сейчас глядя на «разнообразие» и «доступность» оптических приводов можно сказать что свои они отжили.
                                                        PS. В общем ситуация как обычно в IT индустрии чтобы оставаться на месте надо бежать.
                                                          0
                                                          Мне кажется, что Amazon Glacier и NAS является самым оптимальным по соотношению цена\объем\затраты. Надо только разделять архивирование и резервирование информации. Т.е. на NAS складывается информация которую жалко потерять (но ничего страшного в целом не произойдет) + критичная (за восстановление которой вы готовы заплатить любые деньги — фото, видео). В облако уходит только критичная. В идеале, должна быть настроена односторонняя синхронизация — NAS мог писать данные в облако, но не мог изменять\удалять данные. А то коллеги столкнулись лет 7 назад, когда шифровальщик прошелся по данным и они отреплецировались на бэкап-сервер.
                                                            0
                                                            Идеальный вариант (с точки зрения именно долговечности) — запись в микросхемы PROM.
                                                            Это однократно записываемое ПЗУ. То есть совсем-совсем однократно.
                                                            И никогда ничем не стираемое (кроме как молотком).
                                                            Будет как вылито в граните (tm).
                                                            Но за цену вопроса даже не спрашивайте (кстати интересно узнать какова она на сегодня).
                                                              0

                                                              Неа… иногда пережженные перемычки востанавливаются.

                                                                0
                                                                Пруфы.
                                                                Этого не может быть, потому что не может быть никогда.
                                                                Разве что недоспали транзистор (там не перемычки, а транзисторы, насколько я помню)
                                                                  +1

                                                                  Сам лично сталкивался. В одной из схем Спектрума использовалась однократно "прожигаемая" ПЛМ. Через год взяла и перестала работать. Анализ показал (благо на панельке стояла), что одна перемычка востановилась. Как выяснилось, к таким же эфектам склонны и просто PROM (технология та же в принципе).


                                                                  А так с ходу… wiki/PROM
                                                                  Программирование заключается в пропускании через соответствующую перемычку тока, который её расплавляет или испаряет. Восстановление расплавленных перемычек невозможно.

                                                                  Несмотря на кажущуюся надежность такого решения, эта технология оказалась весьма капризной. Металлические перемычки при программировании образовывали капли и пары металла, которые оседали обратно на кристалл в самых неожиданных местах с соответствующими неприятными последствиями. Поликремниевые перемычки имеют способность к самовосстановлению за счет миграции атомов.

                                                                    0
                                                                    Ааа…
                                                                    Ну тогда осталась только перфолента.
                                                                    Или перфокарты из титаниума :-)
                                                                      0

                                                                      Золотая пластинка «Вояджера»

                                                                        0
                                                                        Золото более инертно, но и более пластично.
                                                                        Но если надо сохранить своё селфи для далеких потомков — то да, на золотых перфокартах. И в хранилище ядерных отходов.
                                                              +1
                                                              С архивами/бэкапами есть золотые правила:
                                                              0. Делать бэкап (архив)
                                                              1. Иметь несколько копий, минимум — три
                                                              2 Иметь инструменты проверки целостности (минимум — хэши) и восстановления
                                                              3 Регулярно проверять копии (как просто целостность архива, так и возможность восстановиться из него)
                                                              4. Хранить копии в разных местах
                                                              5. Шифровать копии для защиты от несанкционированного доступа, ключи — бэкапить усиленно
                                                              6. Выбирать надёжные носители
                                                              7. Помнить, что RAID — не есть создание нескольких копий
                                                              8. Стоимость создания и хранения архивов не должна превышать стоимости хранимых данных

                                                              Самое главное — ранжировать данные по важности и актуальности, отсюда автоматически получаем:
                                                              — сколько копий необходимо
                                                              — требуемый объём
                                                              — срок хранения
                                                              — необходимость шифрования или иной защиты
                                                              — регулярность проверки
                                                              — нужно ли географически разносить копии
                                                              — стоимость самих данных

                                                              На мой взгляд, ленты стоит использовать при суммарных объёмах архивов от нескольких десятков терабайт, при меньших объёмах обычные HDD выходят проще, дешевле, удобнее и компактнее.
                                                              Если решено использовать ленточные носители, то очень рекомендую иметь два привода (!), ибо может так оказаться, что записанное на одном ничто другое не прочитает…
                                                              Если решено использовать HDD или SSD, то лучше не использовать только одну модель и тем более из одной партии. Иные носители — скорее опасная экзотика))
                                                              Несколько копий, хранящихся на одной машине лучше считать одной копией, даже если они на разных носителях. Аналогично — ленты в одной библиотеке, ибо они все могут быть повреждены самой библиотекой или неисправным приводом.
                                                              Облако не является каким-либо особо надёжным долговременным хранилищем, к сожалению. Были прецеденты, когда провайдеры услуг ставили клиентов перед свершившимся печальным фактом. Тем не менее, пренебрегать облаком тоже не стоит, если это экономически выгодно.
                                                              Наконец, нужно помнить, что три копии — это самый минимум, а без контроля целостности сложно оценивать состояние архива, используйте хеши файлов как минимум, а лучше — полноценные системы.
                                                                0
                                                                Про SSD валялся на полке OCZ Vertex не включавшийся с 12 года, год назад включил, нужен был диск для компа, а он живее всех живых, 8 лет без питания и все данные целы.
                                                                Я понимаю, что это скорее исключение, но все равно был приятно удивлен.
                                                                  +1
                                                                  У вас там SLC или MLC, где на одну ячейку 1 или 2 бита. Соответственно утекание заряда там менее критично, а вот с QLC и прочими всё хуже.
                                                                  +1
                                                                  Если знание английского позволяет, есть /r/DataHoarder, где встречаются подобные обсуждения.
                                                                    +2
                                                                      0
                                                                      Вы ещё QR коды посоветуйте))
                                                                        0
                                                                        Отличный вариант! А дальше хоть на бумаге печатай, хоть гравировка на металле или стекле. А можно с помощью 3D принтера сделать пластиковую копию.
                                                                          0
                                                                          Пожалуйста. Но тут плотность записи сильно меньше чем в paperbak.
                                                                        0
                                                                        Разные типы носителей(флешка, SSD, HDD, DVD,CD) каждого типа по нескольку штук от разных производителей. И если не надо хранить террабайты архивов, то выйдет относительно не дорого
                                                                          0
                                                                          Есть ещё возможность распечатать на бумаге в машиночитаемом формате и использовать все существующие методы сохранения бумажных носителей.
                                                                          Самым перспективным из недоступных простым смертным сейчас выглядит лазерная гравировка в толще кристалла.
                                                                            0
                                                                            Похоже что пока человечество ничего лучше бумаги (и ответвлений типа «пластиковые / деревянные / металлические книги) в плане хранения информации не придумало.
                                                                              +2
                                                                              А потом окажется, что бумагу пожрал хомяк, чернила окислились и испарились, из-за повышенной влажности листы слиплись, пластик разложился от ультрафиолета, дерево пожрали жучки, а металл заржавел. А ещё бумага иногда горит.
                                                                              С бумагой множество проблем на самом деле, поэтому создают специальные архивы. И если прикинуть, сколько на всё это тратится, то окажется, что долговечность гораздо проще соблюдать реплицированием.
                                                                                0
                                                                                Хомяк может пожрать и магнитные ленты, окислиться они тоже могут, ну и сгореть может всё тем более.
                                                                                То есть, скажем так, все негативные эффекты времени сказываются на других носителях ЕЩЁ сильнее, чем на бумаге.
                                                                                Но насчёт реплицирования вы совершенно правы, средневековые монахи веками занимались именно этим — переписывали с древних книг в новые, так и сохранили большинство древних текстов.
                                                                              +1
                                                                              Ответ один: самые ценные фотографии — распечатать на качественном бумажном носителе, положить в упаковку, которая за 100+ лет не устроит какой-либо химической реакции (бумажный конверт например), и убрать туда, где нет прямого солнечного света и влажность не стремится приблизиться к тропическому лесу. Сохранность будет исчисляться веками, доказано рукописями и прочими бумажными аналоговыми носителями и фотографиями девятнадцатого века.
                                                                                0
                                                                                У меня следующие выводы по жизни с хранением данных вышли:

                                                                                * компакт-диски отпадают — самый ненадёжный вариант. В лабораторных условиях или с хорошо сделанными дисками возможно проблем и не так много, но на практике все они паршивейшего качества
                                                                                * SSD/флешки не вариант — заряд утекает по определению: нужно постоянно перезаписывать данные, регенерировать заряд. Дорого
                                                                                * HDD один из лучших вариантов, но тоже надо перезаписывать данные время от времени (например просто dd-ой с одного диска на другой переливать). Массив мне кажется излишен — проще просто по две копии (хоть dd-ой) делать, ведь всё-равно они не в подключённом виде лежат
                                                                                * Для себя для долговременного хранения использую LTO (4/5) ленты. По две географически разделённые копии. Плюс особо важные данные и на HDD внешних

                                                                                А также не забывать хранить рядом checksum-ы (или дампы ZFS, где checksum-ы встроены), иметь по две копии всегда.
                                                                                  +1
                                                                                  А также не забывать хранить рядом checksum-ы (или дампы ZFS, где checksum-ы встроены)
                                                                                  Архивация (возможно, и без сжатия) с определённым процентом избыточности не лучше, чем checksum-ы?
                                                                                    0
                                                                                    Во-первых, на накопителях типа HDD и лент и так заложено немало избыточности. Добавление избыточности каким-нибудь par2 не будет ощутимым изменением. Если накопитель уж начнёт сыпаться (ошибки будут доходить до уровня ОС), то (на моей практике), несколько процентов par2 избыточности редко помогут.

                                                                                    Во-вторых, если накопитель уже начинает сыпаться, то нужно задумываться о смене носителя, записью на новый. Избыточность уровня par2 всё-равно не отменяет надобность наличия второй резервной копии. Checksum-а хороша тем, что просто отвечает на вопрос всё ли хорошо. Если нет, то в любом случае идём за второй резервной копией и делаем новую, так как первая уже сыпется (или диск размагничивается от и требует перезаписи). В случае с par2 мы может и прочитаем все данные без помех, но всё-равно получим сигнал о том, что всё-равно надо менять/перезаписывать сыпящийся накопитель.

                                                                                    Хуже от избыточности не будет, если она подразумевает сильную проверку целостности (криптографический хэш например), но по моему это сильныхй overhead для HDD и лент. Безусловно подразумевается наличие ещё одной резервной копии (второй ленты/HDD/whatever). А если второй копии нет, то её надо сделать, а не надеяться на избыточность уровня par2.
                                                                                      0
                                                                                      Но что делать, если сыпаться начнут обе версии?
                                                                                      *точно помню, что недавно уже обсуждали под похожей статьей с кем-то этот вопрос, что хорошо бы добавить функционал восстановления данных из нескольких разных побитых копий архивов с избыточностью
                                                                                        0
                                                                                        Вторая копия это +100% к избыточности. Если её не хватило, то значит иметь ещё копию дополнительно. par2-like избыточность это всего-лишь доли (как правило), а тут сразу 100/200 процентов.

                                                                                        То самое правило 3-2-1 (три копии, два носителя, одна за пределами) как-раз тут хорошо применимо. Вероятность что два разных носителя (особенно разного типа), да ещё и все копии «полетят» крайне низка. Если пожар всё уничтожает, то хотя бы за пределами копия должна выжить.
                                                                                          0
                                                                                          Это правило хорошо для бекапов, за которыми следят постоянно и проверяют все копии, каждые пару дней новые создавая. То есть для бизнес процессов.
                                                                                          В противном случае как раз таки вероятность то не особо маленькая, особенно с учетом что со временем все копии полетят, считай. Нельзя записать диск и быть уверенным, что через 10-15 лет он не посыпится, а уж на интервалах больше по времени — можно считать обратные случаи за редкость.
                                                                                            0
                                                                                            Ну так конечно следить и обслуживать надо. Если без этого, то это на авось, как повезёт. Или на ленты надеяться, что они действительно столько времени могут пролежать и ничего не будет, или просто на удачу.
                                                                                              0
                                                                                              Так ведь большая часть людей не понимает в IT и не будут подобного делать. Записали на диск и норм, чё с ним может пойти не так? Ок, в лучшем случае ещё куда запишут. Вот и хочется более простых и интуитивно понятных вариантов.
                                                                                        0
                                                                                        Да, смысл есть, спасибо.
                                                                                    0
                                                                                    Откопал CD диск 20летней давности. И он офигенски работает. Так что, диск это мой выбор. CD надежнее (легче востановить), dvd больше инфы.
                                                                                      0
                                                                                      Думается, что это ошибка выжившего.
                                                                                      Имею примеры нечитаемости дисков SONY и TDK записанных 10 лет назад и хранящихся в шкафу в закрытой корообке.
                                                                                        0
                                                                                        Аналогичная ситуация. Читая этот пост решил проверить свои диски записанные, посмотреть что сдохло и пора на свалку.
                                                                                      0
                                                                                      Замечательная статья-вопрос!
                                                                                      Тоже об этом думаю. С обывательско-прикладной стороны — как сохранить архивы, фотки, и т.д.

                                                                                      А еще и другие мысли приходят. Наша цивилизация достигла немалых высот, в значительной мере благодаря накопленным знаниям. Научные исследования, технологии, произведения исскуства, наконец. Но… сейчас почти все это хранится на магнитиках, которые и в микроскоп не разглядишь. А в последнее время так вообще, на заряженных статикой пылинках. Как все это хрупко… Прилетит большой метеорит, обесточатся дата-центры лет на пять. Заряженные пылинки разрядятся, и вуаля, нет всего этого нашего наследия, привет средние века…
                                                                                        0
                                                                                        Вы недооцениваете количество знаний на бумагах. Только в любом случае, потерянные знания зачастую придётся переизобретать, потому что принципиальное знание как что-то сделать и практическое — это тоже две больших разницы и в описываемом вами случае будет потеряно больше именно последнее, несмотря на то, что его далеко не всегда хранят на магнитиках.
                                                                                        0

                                                                                        На мой взгляд вообще вряд ли стоит ставить задачу по выбору наилучшего носителя на длительный срок.
                                                                                        Перфоркарты вот наверно неплохо сохраняются, только вот что с ними делать сейчас, если вдруг надо будет сегодня прочитать какой-нибудь архив на перфокартах? :) А случаи такие бывают, как рассказывают…
                                                                                        Я бы подходил к задаче архивирования на длительный срок в первую очередь как к периодическому процессу, который включал бы в себя регулярный анализ сохранности данных, повторный выбор технологии хранения и перезаписывание всей информации.
                                                                                        Ну и все остальные соображения про избыточность, независимое хранение различных экземпляров и т.п. тоже, конечно, играют...

                                                                                          +1
                                                                                          Считыватель перфокарт можно соорудить на коленке за пару часов.
                                                                                            0

                                                                                            :) Перфокарты были только для примера. Да и с ними не всё так просто. Ну, допустим, прочитали мы поток байтов с перфокарт. А дальше что? Там ведь когда-то раньше для этого наверняка какой-то софт был предназначен, со своей трудоёмкостью создания...


                                                                                            Ну а если что-то более технологичное себе представить? Ну, любой носитель для ленточного накопителя лет через 30… Устройств для чтения нет, элементная база для них — только в музеях, и спецификацию на формат данных тоже надо искать где-то, а потом ещё и реализовывать...

                                                                                          0
                                                                                          Как насчет децентрализованного облака вроде siacoin?
                                                                                            0
                                                                                            Боги сделали проще:
                                                                                            — создали ДНК;
                                                                                            — запихнули в самовосстанавливающийся носитель;
                                                                                            — дали ему пинка и сказали: «Плодись и размножайся» (самобэкап)!
                                                                                            … ходят клоны ДНК и думают: «На чём бы ещё сохраниться? Керамика, золото, бумага...»
                                                                                            Кристаллы!!! Будущая форма для длительного хранения… Или… (продолжение во второй части этой статьи)
                                                                                              0
                                                                                              Самое надежно, емкое и проверенное временем — грампластинки :-) Правда не очень понимаю как их писать…
                                                                                                0
                                                                                                Насчёт ёмкого стоит поспорить. Сколько там выйдет, килобайт 400 на сторону?
                                                                                                Кассета для ZX-Spectrum имела примерно такие показатели на 1 сторону (45 минут).
                                                                                                0
                                                                                                Похоже, что (факультативно: ламинированная) бумага с напечатанной на ней информацией может дать существенную фору всем остальным. Понятно, что бумага должна быть качественная, которая лет через десять не обратится в труху. Плюс должна быть защита от сырости и нагрева.

                                                                                                См. программу PaperBack. Подана как шутка, но вполне себе решение для такого случая.

                                                                                                У Hi-Tech носителей (диски, включая флэшки, в т.ч. оптические и пр.) есть один ма-а-аленький недостаток: пройдёт относительно немного времени, и считать данные будет попросту нечем. Вот и придётся постоянно переносить с носителя на носитель.
                                                                                                  0
                                                                                                  Что если я скажу вам, что очень многие древние «знания», дошедшие до наших дней, это результат многократного копирования, перезаписи не только с одного носителя (типа носителя) на другой, но даже с одной кодировки (языка) на другую. А иногда даже просто множественные следы (цитаты у других авторов), по которым специалисты восстанавливают исходное произведение.
                                                                                                  Почему вам (я сейчас не про вас лично, а про тех, кто разделяет вашу точку зрения) так не хочется признать, что банальная практика перезаписи на носители с низкой абсолютной надёжностью и низкой ценой может быть проще и эффективнее, чем попытка найти универсальный и великолепный во всех отношениях носитель?
                                                                                                    +1

                                                                                                    Перезапись хороша, если будет кому этим заниматься. А этим будет кому заниматься, если речь о данных, имеющих долгосрочную ценность для неограниченного круга лиц (например, порно-фильмы).
                                                                                                    А вот если речь о семейном фото-архиве, то можно, конечно, воспитывать детей и внуков в собственной семейной коммуне так, чтобы хранение и перезапись семейного архива стали своего рода культом, но… хм...


                                                                                                    Я бы сконцентрировался на разработке дешевого метода производства мелких стеклянных шариков с записью в них инфы лазером формируя пузырьки. Схема такая:
                                                                                                    Берём песочек и делаем полностью автоматический завод по производству из него стеклянных бусин с данными внутри, закодированными положением пузырей от лазера внутри.
                                                                                                    В каждую такую гранулу поместится немного данных, но мы же делаем действительно "холодное" хранилище и вопрос лишь в аккуратной индексации.
                                                                                                    Размер и инертность гранул позволит им быть механически и химически устойчивыми к повреждениям. Слой стекла на поверхности позволит им пережить полировку. Запись осуществляется лазерами, а фокусировать их человечество умеет неплохо. Чтение можно делать многоракурсной фотосъёмкой через микроскоп. Можно добиться огромной избыточности. Легко делать конвейерные линии для автоматической обработки таких гранул. Легко параллелить любые процессы с ними.


                                                                                                    Можно даже делать автоматические репликаторы таких данных, которые на входе принимают песочек (или стеклотару) и солнышко (всего этого полно на пляжах или в пустыне), а на выходе несметное число гранул с данными, которые даже экологию не портят.

                                                                                                      0
                                                                                                      А почему шариков, а не параллелепипедов? Мне кажется, их позиционировать проще: например, всегда ставить на широкую грань, минимальной гранью сверху. Конечно, уголки могут отколоться со временем, но если задать определённую глубину записи пузырьков, то это не очень страшно.
                                                                                                        0

                                                                                                        Капельки легче делать, они прочнее, позиционировать слишком точно не нужно, нужно просто снимать с кучи ракурсов и все делать программно

                                                                                                        0

                                                                                                        Стеклянные шарики отпадают. С ними тоже засада — они текут. Оконное стекло за сотню лет весьма сильно стекает вниз.

                                                                                                          0
                                                                                                          Это миф. Никто никуда не стекает за сотню лет.
                                                                                                            0
                                                                                                            Про стекла в домах — да, миф. Но стекло всё-таки аморфное тело и всё-таки течет. Впрочем, весьма медленно. Если не греть.
                                                                                                              0

                                                                                                              Значит надо делать робота репликатора, который будет кроме этих капелек еще и самого себя реплицировать=)

                                                                                                                0
                                                                                                                Этого стекания хватит на пару тысяч лет, если не царапать поверхность.
                                                                                                            0
                                                                                                            В ситуации с капельками, сколько нужно капелек для записи терабайта? Если по мегабайту на каждую, то миллион капелек. Тут информация больше будет храниться не в сколько в самих капельках, сколько в порядке их считывания. И вот эту информацию легко потерять, как и отдельные капельки из миллионов.
                                                                                                              0

                                                                                                              Решается нумерацией капелек и бешеной избыточностью. Ну и сами данные лучше не сжимать и не шифровать.

                                                                                                                0
                                                                                                                Нумерацией не особо решается, т.к. те же номера могут пересекаться для разных архивов или у разных людей.
                                                                                                                  0

                                                                                                                  Нет, это простая и тысячу раз решенная задача. В торрентах, например. Начиная с некоторого количества бит даже случайная генерация ключа становится уже достаточно надёжной в плане коллизий, а если использовать uuid с учетом времени и мак-адреса, то и вовсе вероятность коллизии сводится практически к нулю.

                                                                                                            0
                                                                                                            Оптимальный вариант — прибегать ко множественным носителям (той же бумаге). Я лично храню свои репозитории в виде множества зеркал, плюс переписываю на флэш-карты, плюс самое важное периодически на ту же бумагу.

                                                                                                            Как-то так. По мне, оптимальный подход — чтобы при самом неблагоприятном развитии сохранилось хоть что-нибудь.
                                                                                                          +1

                                                                                                          Действительно, избыточность и регулярное восстановление утерянного — это очевидный подход.
                                                                                                          Однако многие забывают (хотя, пардон, вот Vaitek упомянул), что резервировать нужно и самого себя, в чьей голове хранится информация о том, что где лежит и как это обслуживать.


                                                                                                          Это я к тому, что в первую очередь нужно разрабатывать стандарты хранения и регулярного восстановления и данных. Стандарты и алгоритмы следует публиковать в научных журналах и патентовать под открытой лицензией.


                                                                                                          Лично я вижу пути решения вопроса долгосрочного хранения данных в первую очередь в программной плоскости. Аппаратные носители постоянно совершенствуются (иногда не в сторону увеличения надежности) и теряют обратную совместимость, но концепции потока цифровых данных, файловой системы, инкрементального хранения изменений, мне кажется, переживут нашу цивилизацию.


                                                                                                          Нужно формировать стандарты хранения метаданных, стандарты версионирования, стандарты документирования и самодокументирования форматов, стандарты репрезентации данных (это когда мы формируем новую структуру хранения и представления данных, но при этом сохраняем старую и описываем в метаданных все связи и методы преобразования старой структуры в новую).


                                                                                                          Придётся, блин, писать-таки на эту тему статью. Эх. Давно в загашниках тема статьи о вариантах реализации правильного Датахранилища Судного Дня.

                                                                                                            0

                                                                                                            Посмотрите эти варианты:
                                                                                                            1) par2, par3 кодировщики или приложение multipar. Добавляет избыточность данных по типу Рида-Соломона. Можно выбрать процент. Сами данные никак не пакуются в этом случае в сравнении с тем же Winrar.


                                                                                                            Затем данные и суммы можно в случайном порядке располагать на разные носители повышая вероятность выживания.
                                                                                                            2) Как выше указывали: M-Disc обещают большую долговечность.
                                                                                                            3) Как выше указывали: Amazon Glacier. Все дёшево, кроме вытягивания данных. Тут будет занимать или много времени или денег.


                                                                                                            Но как писали комментаторы выше, тут ещё важна регулярность, если следовать пункту 1 и время от времени перепроверять архив и заменять сбойные носители, то риск выживания больше.

                                                                                                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                                                            Самое читаемое