Магнитная лента в 21 веке — как её используют

    Магнитная лента не исчезла насовсем и до сих пор находит применение в дата-центрах.


    Фото — Don DeBold — CC BY

    Высокая ёмкость


    Это — одно из главных преимуществ магнитных лент. Когда в середине девяностых на прилавках магазинов появились коммерческие винчестеры объёмом в 1 ГБ, ленточные картриджи модели DDS-3 уже вмещали в двенадцать раз больше информации.

    В наше время сложилась аналогичная ситуация. Современные картриджи содержат почти километр ленты шириной в 12,6 миллиметра. На неё можно записать до 30 ТБ сжатых данных. При этом объём жёстких дисков для enterprise-сегмента лишь недавно приблизилсяк отметке в 16 ТБ.

    Низкая стоимость хранения данных


    Стоимость хранения данных на магнитной ленте значительно ниже, чем у любых других накопителей. Один гигабайт на жёстком диске обходится примерно в $0,025. Для ленты этот показатель составляет $0,008. Известен случай с одной крупной генетической лабораторией, когда переход на магнитную ленту сократил расходы на хранение данных с $800 тысяч всего до $7 тысяч.

    При этом крупные ИТ-компании сегодня продолжают разрабатывать технологии, расширяющие возможности магнитных лент. Например, в 2017 году инженеры из IBM представили метод записи, который позволит сохранить 330 ТБ несжатых данных в картридже LTOразмером с ладонь.

    Долговечность


    Известно, что ошибки на магнитной ленте возникают на четыре–пять порядков реже, чем в HDD. При правильном хранении картриджи могут прослужить около 30 лет. Это больше, чем любые другие популярные сегодня накопители — HDD или SSD. Согласно статистике одного из крупных облачных провайдеров средний срок службы жёстких дисков редко превышает четыре года. Что касается твердотельных накопителей, по некоторым данным, они проживут порядка десяти лет, но только если устройствами регулярно пользоваться.

    ИТ-компании по-прежнему разрабатывают технологии, задача которых — продлить срок жизни магнитной ленты. Два года назад IBM совместно с Sony представили плёнку, покрытую дополнительным смазочным слоем. Он защищает поверхность ленты от повреждения при её движении на скорости десять метров в секунду во время чтения.

    Технологический прогресс


    Одной из главных причин «ренессанса» магнитной ленты является тот факт, что многие недостатки, которыми она обладала в свои ранние годы, сегодня удалось исправить. Ранее накопитель подразумевал лишь последовательный доступ к данным, поэтому на поиск и чтение информации уходило 50–60 секунд. Для сравнения, у жёсткого диска этот показатель равен 5–10 миллисекундам.

    Современные технологии нивелировали влияние этого недостатка. Новые картриджи поддерживают файловую систему LTFS Она индексирует содержимое ленты, что ускоряет чтение данных и создаёт иллюзию произвольного доступа к ним.

    Более того, ленточные хранилища, устанавливаемые в дата-центрах, автоматизированы. Масштабные роботизированные библиотеки могут занимать целый машинный зал. Особые манипуляторы выполняют автоматический поиск необходимых картриджей и оперативно загружают их в считывающие устройства.


    Фото — USDA — PD

    Кто использует магнитную ленту


    Компании, которым необходимо обрабатывать (и архивировать) большое количество данных. В первую очередь — ИТ-гиганты и облачные провайдеры. Ленты хранят бэкапы и другие редко используемые данные. К примеру, в 2011 году баг в системе привёл к удалению писем пользователей Gmail. Тогда компания Google восстановила данные именно с магнитных лент.

    Магнитными лентами пользуются и исследовательские организации, например CERN. Каждую секунду Большой адронный коллайдер генерирует один гигабайт данных. Суммарный объём информации, собранной институтом по сей день, превышает 330 петабайт.

    Для их хранения организация использует систему CASTOR на магнитной ленте, разработанную инженерами CERN. Её регулярно обновляют и переводят на более совершенные типы картриджей, чтобы увеличить ёмкость, надёжность и скорость работы. Вышедшие из эксплуатации накопители организация отдаёт инвесторам в качестве сувениров.

    Также среди пользователей магнитной ленты можно выделить ИТ-компании, которые работают в области Big Data и разрабатывают системы искусственного интеллекта. Накопитель используют для хранения данных, генерируемых IoT-устройствами. К примеру, всего один беспилотный автомобиль может собирать до 30 ТБ данных в день.

    Каждый год количество данных, которые генерирует человечество, экспоненциально растёт. Распространение IoT-устройств, систем искусственного интеллекта это только усугубляет. Количество компаний, использующих решения на основе магнитной ленты, будет расти вместе с этими рынками. Есть технологии вроде ДНК-хранилищ, которые в перспективе заменят магнитную ленту на посту «холодного хранилища», но об их практической реализации в крупных масштабах пока говорить не приходится.

    Другие практические материалы про ИТ-инфраструктуру:

    ITGLOBAL.COM
    214,00
    Компания
    Поделиться публикацией

    Комментарии 50

      +1
      Ну все, убедили! Бегу покупать стример LTO и ящик картриджей.
      Всего каких-то 100 тысяч и он мой...

      Эээээх, а еще они все подключаются по SCSI или SAS. Т. е. простому потребителю придется не только потратиться, но и заморочиться с подключением. Ну и куда архивы сливать?
        +1
        Исходя из названия статьи и её содержимого не понимаю вашу претензию.
          +3
          Где вы видите претензию?
          Меня печалит, что ленточных накопителей для обычных пользователей нет от слова «вообще». А ведь это неплохая, в общем-то, рыночная ниша.
            0
            Кхм, для обычных потребителей нет от слова «вообще» только LTO. Есть DAT/DDS, у него даже есть USB варианты, но вот вам точно не понравится его объём
              +1
              Судя по википедии, стандарт DAT/DDS уже все — не развивается.

              Да-а-а уж… Посмотрел, приценился… Нашел картридж DAT-72 за 10898 рублей — ну так себе вложение капитала. :) Надеюсь, там все-таки пачка картриджей, а не один.
              И главное, ни одного стримера с подключением по USB. Все на SCSI. А если уж морочиться со SCSI-контроллером, то проще LTO купить, благо стоит он ненамного дороже.
        +1
        Лента сейчас применяется в энетрпрайзе или где реально нужны дикие объёмы, в учреждениях типа CERN. Для домашнего архива лучше купите обычные SATA диски. На деньги LTO не самого последнего поколения (самые последние уж совсем нехило стоят) проще взять четырёх или шеститерабатные (6Tb у WD ещё не гелиевые) накопители, организовать на них «горячий» архив, а ещё пару накопителей отвести под «холодные» бэкапы. Если вы педант — один «холодный» бэкап храните физически в другом месте — у родственников, на работе, в банковской ячейке и т.д. — раз в год обновить копию труда не составит. Для обычного пользователя всё это полюбому будет удобнее заморочек с лентой! Не исключаю, что ещё и надёжнее всё может быть получится)
          0
          А в чём проблема с гелиевыми накопителями? Сам я большого опыта не имею, но вроде все производители «бьют себя пяткой в грудь» и заверяют всех в том, что даже если гелий «вытечет», то прочитать диск будет возможно — но станет невозможной запись…
            0
            По гелию толком нет никакой статистики. Да и цены соответствуют объемам. Стоит подождать. SSD когда появились некоторые тоже радовались в плане увеличения надежности, т.к. отсутствует механика, не нужен гермобокс и все такое. А потом выяснилось, что под «длинные» бэкапы их надо использовать думая — в отсутствии питания данные могут теряться. Да и цена у них до сих пор велика.

            Вот раньше, лет 15 назад, все было проще. Купил пару дисков. Если на одном контроллер сломался, то взял отвертку торекс и просто контроллер переставил с другого. С современными дисками так уже давно не прокатывает. А тут еще и гелий какой-то выдумали!)
          +1
          Всего каких-то 100 тысяч и он мой...
          Возмите Арвид, он подешевле :)
          Эээээх, а еще они все подключаются по SCSI или SAS
          САС-контроллер на али недорогой видел.
          SCSI можно на вторичке поискать если домой надо.
            +1
            Возмите Арвид, он подешевле :)

            А к нему — антикварный IBM PC с шиной ISA, чтобы было куда вставлять плату? Добрый вы человек. :)

            САС-контроллер на али недорогой видел.
            SCSI можно на вторичке поискать если домой надо.

            Это и называется «заморочиться с подключением».
              –2
              НЕ вижу большой заморочки ни с шиной ISA, ни с САС/СКАЗИ.
                +1
                Ну под скази, допустим, контроллер можно купить. Видел на вторичке рублей за 600 — правда, не факт, что заработает. Дело за малым — найти под него свободный слот PCI. При том, что во всех компах, что у меня есть, имеется только PCIe, который со старым PCI несовместим. :)

                А как вы легко и без заморочек отыщете в современных компьютерах шину ISA? Или вы имели в виду, что надо сходить на барахолку, купить старый компьютер на intel 80386, поставить на него какой-нибудь windows 95, как-нибудь подключить его к локальной сети (да еще и чтоб его десятка увидела), и настанет счастье? Воистину, не вижу на сем славном пути заморочек, да…
                  0
                  Обязательно это в свой рабочий комп пихать?
                  Для бэкапа можно и отдельный собрать.
                  Контроллер для арвида возможно и PCI был, хотя без разницы, объем у него так себе по нынешним меркам.
                  Про ISA — они были даже на пентиум-2,3, вин 2000/ХР спокойно встанет.
                    0
                    Идея с отдельным компом для ленточных бэкапов — это прям апофеоз «не заморачиваться», да. :)
                    Тогда уж проще серверную стойку купить и воткнуть в нее нормальное серверное оборудование, а не городить огород с древностями. По крайней мере, не придется некромантией занимтаься.
                      0
                      У нас в серверной стоит AS/400. Хотите поговорить про некромантию? )))
                0
                xxxx:
                Админы, блин…

                xxxx:
                Принес хард с убитым разделом, попросил наших админов вытащить инфу. К концу дня подхожу, один админ мне говорит: 7,6 Гб… как тебе ее скинуть? говорю, разбей на две болванки, он говорит нет болванок, могу на 40 Гб кассету стриммерную записать (и улыбаясь достает из ящика стола кассету)…

                xxxx:
                я говорю издеваешься? где я стриммер возьму?.. тут он достает из ящика стола… правильно — стриммер! сказёвый… я смеюсь, говорю — здорово, тогда давай контроллер тоже… ну вы поняли, да?

                xxxx:
                он достает из ящика КОНТРОЛЛЕР, ШЛЕЙФ И CD С ДРАЙВЕРАМИ…

                bash.im/quote/346463
              +1
              Так же периодически, раз в пару лет задаюсь тем же вопросом: не стало ли доступно дома бекапиться на LTO? И каждый раз прихожу к одинаковому выводу: выгоднее купить HDD.
                0
                Я к этому вопросу подошел со стороны «А в бюджете 40тр я смогу LTO4 или LTO5 в варианте б/у с рук». В итоге библиотека на 8 кассет c LTO5 стримером(б/у), двадцать кассет(новые) и контроллер(самый гемор был) влезли в эту сумму и работают нормально.
                  0
                  Жалко, что LTO никак не завести через USB 3.0
                  В противном случае как раз один раз заморочиться с стримером и потом брать невскрытые ленты с рук — таки вполне могло дешевле получиться, чем наворачивать жесткие.
                  Так-то нас из микросервера 8-го и два 6 тб диска — уже, знаете ли, лично мне обошлись до 30к с учетом всяких скидок и баллов (а без оных должно было тысяч в 45). Плюс проц и оперативку бу с рук взятые… И это при том, что всё равно надо бекапить ещё куда-то во вне. А так, ленты периодически родственникам отвозить в другую квартиру не особо опасаясь, что кто-нибудь стукнет или уронит…
                    0
                    Выгоднее бэкапиться на DVD/BluRay…
                  0
                  Ёмкость, километры ленты, надёжность долговечность. Это всё так. Только вот на «высоких» LTO, поколения этак восьмого или девятого, если привод ломается, то потом вычитать этот картридж может стать неожиданной проблемой — другие приводы просто не читают данные с него. Об этом нюансе почему мало кто упоминает, а ведь это потом может обернуться нетривиальной задачей.
                    +1
                    Мне однажды довелось попользоваться стримером. Оборудование было ОЧЕНЬ дорогим, но на его покупке настояло начальство из головной конторы. Я понятное дело был не против, все-таки опыт работы с новым оборудованием, плюс в то время у стримеров был такой себе ареол крутости.
                    Буквально через пару месяцев я понял, что это всего лишь несправедливо разрекламированное оборудование. Выяснилось, что новая кассета может не прочитаться не то что после каких то проблем с оборудованием или лентой, а просто так. Причём пишешь с верификацией и следом она уже читается со сбоями. Согласитесь, что сомнительное средство для хранения информации.
                    Возможно мне досталось устройство с заводским браком, но больше я подобными устройствами не пользовался.
                    0
                    На неё можно записать до 30 ТБ сжатых данных

                    А при чём тут вообще сжатие?


                    Известно, что ошибки на магнитной ленте возникают на четыре–пять порядков реже, чем в HDD.

                    Во-первых, какого рода ошибки? Во-вторых, относительно какой величины считается частота? Реже на TB прочитанных данных? На час непрерывного чтения? На год лежания на полке?


                    При правильном хранении картриджи могут прослужить около 30 лет. Это больше, чем любые другие популярные сегодня накопители — HDD или SSD. Согласно статистике одного из крупных облачных провайдеров средний срок службы жёстких дисков редко превышает четыре года.

                    Как странно вы сравниваете ленту "при правильном хранении" и "одного из крупных облачных провайдеров", у которого диски нагружены 24/7.


                    Один гигабайт на жёстком диске обходится примерно в $0,025. Для ленты этот показатель составляет $0,008. Известен случай с одной крупной генетической лабораторией, когда переход на магнитную ленту сократил расходы на хранение данных с $800 тысяч всего до $7 тысяч.

                    Это как-то слабо вяжется, тут 3 раза, там больше 100. Давайте лучше так: какого объёма должна быть библиотека, чтобы использовать ленту стало выгоднее. С учётом стоимости оборудования, разумеется.

                      +1
                      А при чём тут вообще сжатие?

                      Почти во всех ленточных накопителях есть поддержка встроенного сжатия. Считается, что оно способно сжать «обычные» данные в среднем в два раза, что дает производителю право указывать вдвое большие объемы хранимых данных на ленте. :)
                        0
                        Ну, тут они лукавят, т.к. обычный текст будет сжиматься очень хорошо, а архивы — почти не будут. Так что сколько там терабайт — зависит исключительно от того что на ленту записываться будет.
                        0
                        Стандарт LTO поддерживает запись как сжатых данных, так и неупакованных. При необходимости система автоматически может включить компрессию. Например, тот же LTO-6 может сохранить 2,5 ТБ несжатых и 6,25 ТБ сжатых данных.

                        Про частоту ошибок на магнитной ленте пишут авторы из IEEE, и не доверять их экспертизе как-то сложно.

                        Что касается сроков службы, то Fujifilm говорят о 30 лет под нагрузкой – они проводили контрольные испытания.

                        Инженеры из суперкомпьютерного центра в Сан Диего посчитали ежегодную стоимость хранения одного ТБ данных на диске или ленте (таблица на стр. 2). Да, разница в три раза, но все же это средняя температура по больнице. Разумеется, будут кейсы, как с генлабораторией, когда цифры будут в несколько раз больше – скорее всего им удалось значительно сократить какие-то из расходов.
                          0
                          Давайте лучше так: какого объёма должна быть библиотека, чтобы использовать ленту стало выгоднее. С учётом стоимости оборудования, разумеется.
                          Эм… На любом. При определенных требованиях к сохранности данных, количеству бекапов и т.п.
                          Именно поэтому есть и просто стримеры, и библиотеки с разным количеством лент в магазине.

                          Например, у вас задача ежедневно брать кассету с бекапом и везти её на удаленный склад, забирая оттуда каждые пару недель старые кассеты обратно для того чтоб их повторно использовать. С жесткими это труднее сделать)
                            0
                            Как странно вы сравниваете ленту «при правильном хранении» и «одного из крупных облачных провайдеров», у которого диски нагружены 24/7.


                            Конкретно под этот функционал — вовсе не нагружены. См. Amazon Glacier
                            +1
                            с лентами, как на заглавной картинке, последний раз работал 30 лет назад. По-моему это был ИЗОТ.
                              0
                              Обычному пользователю для совсем «лежачих» архивов доступны BD диски и приводы.
                              Ну а для файло помойки — халявные винты с ремаплеными бэдами.
                                0
                                Записанные дивидюки начинают сбоить уже через пару лет хранения на полочке. Не все, но какой-то отличный от нуля процент. Там запись ведется на слой органики, которая постепенно окисляется. Думаю, BD не сильно лучше в этом плане.
                                  0
                                  Мой опыт показывает, что все хорошо.
                                  Такое может быть при неправильном хранении или изначально очень плохих дисках.
                                  Думаю с лентой аналогичная ситуация. При неправильном хранении она долго не пролежит.
                                  Вот только стоимость оборудования в разы больше и данных больше пропадет.
                                    +1
                                    Можно использовать носители с неорганическим слоем. Их стойкость и надёжно, по идее, выше. Для M-DISC вообще 1000 лет заявляют.
                                      0
                                      Я бэкаплю на новые DVD-R каждые новогодние праздники. Так что главное, чтобы они продержались год на полочке. :)
                                    0
                                    Интересно, в России уже ктото использует пленку, для bigdata или хранение данных сотовых операторов?
                                      0
                                      Согласно статистике одного из крупных облачных провайдеров средний срок службы жёстких дисков редко превышает четыре года.
                                      Нет. Там написано, что за 4 года суммарно выходят со строя около 20% дисков. При интенсивной работе 24/7/365.
                                        0
                                        Известно, что ошибки на магнитной ленте возникают на четыре–пять порядков реже, чем в HDD.

                                        Имелось в виду гуманитарный порядок, т.е. «в 4-5 раз» или таки технический, 10^4-10^5?
                                        В обоих случаях неодходимо пояснить, почему именно такая величина.
                                          0
                                          Есть сейчас на рынке облачные провайдеры, которые позволяют хранить информацию на ленте? Должно же быть гораздо дешевле, чем на HDD, только доступ к данным по заказу.
                                            0
                                            Конечно есть. Прям по одной из первых ссылок в поиске. Думаю, если поискать ещё десяток найдется
                                              0
                                              Все крупные провайдеры контента и сервисов хранят на ленте: статья на тему
                                                0
                                                вопрос не в том, где хранят, вопрос в том, что представляют доступ к хранению на ленте напрямую, как я понял.
                                                  0
                                                  Именно так, ищу облачное хранилище для архивных данных. Скорость доступа не критична, критична стоимость.
                                                    0
                                                    Помните, где-то написано, что с ленты восстанавливали письма пользователей Гугл, — обычные письма обычных юзеров. То есть я так понимаю, что весь контент перебрасывают на ленту. Однако с этим можно ознакомиться в оферте или по запросу в тех поддержку и продавцу инстанта.
                                                      0
                                                      Ну вы же понимает, что одно дело: Гугл может восстановит почту с ленты, а может — нет. Все ли там файлы хранятся — тоже не гарантируется.
                                                      Сервис хранения на лентах — это другие требования и другой подход. И данные должны быть доступны по требованию. А не когда контора решит восстановить именно ваши данные.
                                                        0
                                                        Тут мы упираемся в экономику: доступ к ленте — штука не медленная, а очень медленная. Если много клиентов попросят одновременно данные восстановить — у вас затор образуется. Так что бизнес-модель с прямым доступом к ленте «не вытанцовывается».

                                                        Резервные копии тогда и так, как получится — другое дело.
                                                          0
                                                          Тогда их всем клиентам не надо хранить оригиналы в одном цоде, которому может резко наступить шандец. Вот как раз пример с гуглом — он то восстановил, но за какой срок?

                                                          А так, я б не сказал, что она — медленная. Вполне себе шустренько. У нас, конечно, был LTO-4 и свой робот, и полный бекап был меньше одной кассеты, но если не весь день доставать — то файлы небольшие за пару минут сливались. А когда шифратор немного побаракозил и с LTO-3 данные восстанавливали — это было сильно до меня.
                                                          Конечно в облаке всё будет похуже, но не критично, а ситуация с кучей клиентов — всё равно не настолько плохая, как ситуация у Гугла, который был один клиент, но считай все данные за какой-то промежуток))) Организуют очередь, если подобных клиентов окажется больше, чем работающих стримеров.
                                                0
                                                Интересно как выглядит интерфейс такого хранилища и как это работает на практике?!
                                                  0
                                                  Современные картриджи содержат почти километр ленты шириной в 12,6 миллиметра. На неё можно записать до 30 ТБ сжатых данных. При этом объём жёстких дисков для enterprise-сегмента лишь недавно приблизилсяк отметке в 16 ТБ.
                                                  А сколько сжатых данных можно записать на 16Тб жёсткий диск, при условии, что для ленты степень сжатия принимается равной 1:2?

                                                  Известно, что ошибки на магнитной ленте возникают на четыре–пять порядков реже, чем в HDD. При правильном хранении картриджи могут прослужить около 30 лет. Это больше, чем любые другие популярные сегодня накопители — HDD или SSD
                                                  С другой стороны известно, что ресурс картриджа LTO-8 (да и наверное любых других) — всего 260 полных перезаписей.

                                                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                  Самое читаемое