Комментарии 39
Ключевой вопрос "Нужно ли нам хранить все?"
Прежде чем хранить, нужно определить категории данных, требующие хранения.
Сразу выяснится, что массы шлака можно легко скипнуть, и требования к размеру снизилось на порядок или два.
Невозможно предугадать, какие "ранее неизвестные, нетривиальные, практически полезные и доступные для интерпретации знания" можно добыть из данных средствами Data Mining. И если сегодня средства Data Mining не позволяют добыть эти знания, то завтра, с не малой вероятностью, они это позволят.
Поэтому до тех пор, пока стоимость хранения данных не превышает потенциальный экономический эффект от знаний, которые можно добыть из этих данных, их продолжают хранить и накапливать.
Фактически, сейчас хранение одного терабайта данных в течение года обходится более чем в 3000 долларов.
Они же не только хранят, но и обрабатывают такие данные. Выбрали самый дорогой вариант мгновенной доступности.
Для чисто хранения, есть дешевые сервисы с отсроченным скачиванием, к примеру, Amazon S3 Glacier
Стоимость хранения 300 USD за 10 лет:
нити ДНК ... удивительно устойчивы
Раковые клетки мамай клянутся!
Очень грустно, что единственные кто в серьез (на публику) занимается хранением информации - это майкрософт, без каких либо надежд на локальные хранилища - только облака.
p.s. Ближайшие из тех что имеют смысл к рассмотрению - это голографические, хранение в стекле.
Больше 10 лет назад уже были технологии голографического хранения на диске (в теории терабайты но на практике сотни гигабайт), но время идет а технологии доступными не становятся, мало того монополизируются с прицелом на облака.
Проблема не в техническом плане а в организационно или даже политическом.
Сдерживают распространение систем долгосрочного хранения.
M-DISK дешеветь не собираются. Что там такого дорогого неизвестно. "Уникальный материал, неорганический материал, минерал, камень".
А уж голография остается в фантастических рассказах
Если я верно понимаю, либо патенты ограничивают создание совместимых устройств, либо стандарты не открыты и доступны по заградительно высоким ценам (например процент с продаж).
С физической точки зрения, компакт диск это очень примитивное устройство, ничего дорогого в нем нет (напыление с высокими требованиями к размеру зерна и толщины)
Даже если в руки попадёт необходимая документация на Blu-ray и лицензии, это будет чемодан без ручки. Их производство в мире сокращается, спрос снижается, и не из-за злых корпоратов. Стоят они умеренно, не дороже SSD, практичность... у жёстких дисков и ленты ёмкость выше на 2-3 порядка.
Другая проблема - зачем продавать новое поколение оптики дешевле, когда его можно продавать дороже? Бизнес берёт приводы по 500'000+ рублей. Этот бизнес-план будет работать, на самом деле он уже работает 10+ лет - а нам существование технологии с такими ценами безразлично, поэтому мы её и игнорируем. У проблемы решения нет ещё потому, что доступность б/у LTO не переплюнуть.
Холодное хранилище будущего - не для нас. В прошлом году вышла лента на 50 ТБ (вышла не на бумаге - можно погуглить номер картриджей 02XY665) и... и что с того?
Высокие цены тут исключительно из-за отвратительно низкого предложения.
СПРОС на хранение информации (не в облаке) очень высокий.
Низкий, высокий, это бессмыслица без системы отсчёта.
Что важно - что нынешняя ситуация оптимальна для производителей. Они не могут заработать больше, запустив потребительскую серию. Если бы могли, они бы не отказались от увеличения прибыли таким образом.
СПРОС на хранение информации (не в облаке) очень высокий.
Зачем это противопоставление? Если появится что-нибудь дешёвое, оно будет конкурентом для ленты и позиционироваться будет примерно так же. Лента может стоять и в облачном сервисе (Glacier).
Как будто новая технология должна стать гораздо доступнее для потребителей, потому что что-то такое было у Стругацких. Практика показывает, что к ней будет прилагаться привод по цене автомобиля их будет покупать крупный бизнес для петабайтных объёмов. Это слишком прозаично, поэтому существующую оптику на 5.5 ТБ и ленту не замечают и переходят к мечтам о голографии.
Систему отсчета дают ReadWrite технологии (hdd,ssd), которые за гигабайт оказываются НА ПОРЯДОК дешевле, при, НА ПОРЯДКИ! сложнее конструктивно, чем примитивные ReadOnly носители типа компакт диски (я даже не говорю про устройство считывания/записи, только про болванки!).
Мало того, магнитные носители на сравнимых по сложности технологиях (ленточные) так же оказываются дорогими (можно взять предыдущее поколение, для которых перелом стоимости начинается где то на сотнях терабайт и при этом они на порядок менее удобные).
p.s. Мне действительно не понятно, почему вам это не видно, я полагал это само собой разумеющиеся факты...
p.p.s. какого развития технологий оптических носителей я ожидал с десяток лет так и не дождавшись? - будетбродоподобные конструкции из тонких оптических дисков, в герметичном корпусе с механизмом парковки, по тому же принципу как в hdd в одном корпусе размещают несколько тонких блинов... конструктивно пишущая/считывающая головка оптических носителей очень дешевая,.. в устройстве их может быть несколько... картридж из десятков тонких дисков терабайтового объема (о чем заявляли еще 10 лет назад) хранит их в сжатом виде (может с парковочными зажимами, механика примитивная), в устройстве раздвигается (винтовым механизмом например) и в полученные щели заходят считывающие головки на одном механизме позиционирования (как в hdd)... если что механизм работы касетного магнитофона выглядит сложнее (там нужно аккуратно отжать ленту, правильно ее провернув и сверхточно позиционировав перед считывающей головкой). Закрытый корпус кертриджа облегчает хранение и защищает от царапин, большое количество складывающихся пластин повышает на порядок емкость кертриджа, который кстати может быть ТОЛСТЫМ, с сотнями дисков, но считывающее устройство по габаритам становится неудобным.
существующую оптику на 5.5 ТБ
где?
> существующую оптику на 5.5 ТБ
где?
В магазине. Перечитайте, я выше уже оставлял эту ссылку. Два раза написал про игнорирование этой оптики, а вы её в третий раз проигнорировали и переизобретаете. Картриджи, много головок, вот это вот всё. Как ниже в комментах переизобрели оптические линии задержки и память на них именно в том варианте, в котором их рассматривала NASA в 1990.
Мне действительно не понятно, почему вам это не видно
Мне не видно "домашнего" спроса на оптику и ленту. Не видно низкого предложения. Разницы в цене на порядок тоже не видно, её ещё поискать надо. Сотня болванок BD-R 25GB стоит дешевле 2TB HDD и по $/TB близка к самым выгодным HDD. Смысла снижать цены на ленту тоже не видно, выше писал почему.
нашел с трудом по 190$ 1 кертридж (само собой в россии не купить) а где устройство для их чтения записи? предложение отвратительное, но спасибо за наводку
bd-r 25gb 100 шт на порядок дороже стоят чем 2тб hdd где бы не смотрел.
Из розницы и не под заказ на первой странице гугла американский bhphotovideo, если дописать jp, то ещё японские магазины. У нас они в каком-то виде продавались, судя по выдаче. Кажется, ещё кто-то писал, что версию на 1.5 ТБ было выгодно покупать, чтобы разбирать на 12 штук 128GB BD-R.
С доступностью приводов (ODS-D380U) похуже, но наверняка они где-то есть под заказ, точно не дешевле 500 000 рублей.
$40 за 100 болванок 25GB в amazon.com, amazon.co.jp, у нас таких упаковок вообще нет.
Как и с магнитными накопителями, высокая стоимость устройства записи с лихвой покрывает любые достоинства и 'дешевизну' картриджей, только нужды в сотни терабайтового хранилища вынудят их использовать
Отвратительная ситуация.
Б/у привод LTO-6 становится выгоднее на десятках терабайт (если считать, что разумно сравнивать 1-2 б/у привода + новых/new-old-stock кассет с новыми HDD): https://www.desmos.com/calculator/jz0nceu0yj
В каких-то очень успешных местах есть аренда приводов как услуга.
UPD: там можно и более продвинутые графики рисовать, а для цен есть такой агрегатор.
Я не советовал бы ориентировать долговременно хранение своих данных на lto-6 (через считанные 5-6 лет их найти в продаже будет сложно... как пример, попробуйте найдите lto-4 или lto-2), и сломается он с высокой вероятностью именно в тот момент, когда нужно будет восстанавливать данные.
С LTO-4 на ebay проблем нет и кассеты LTO-6 совместимы с приводами следующего поколения (по-хорошему они ещё приводом через поколение должны читаться, но такую совместимость дропнули именно начиная с LTO-8).
Опаснее другое - отсутствие сообщества. Проблемы других накопителей широко обсуждают (870 EVO, ST3000DM001...). А если, предположим, окажется, что треть приводов твоей модели умирает за год, зажёвывая ленту с ошибкой K340852FQH, а все записанные ленты окажутся нечитаемыми для приводов конкурента, это знание так и умрёт в недрах корпораций. На поверхности окажется только знание об обновлениях прошивки за условно непреодолимым пэйволлом и запрет внутренним приводам работать вне своей библиотеки.
(ещё один upd в рисовалке графиков)
Что это было? Поток сознания?
Это просто шедеврально -" В течение достаточно длительного периода времени физические носители, такие как магнитные ленты и жёсткие диски, в конечном итоге демонстрируют 100% вероятность отказа. "
А ничего, что любое оборудование "В течение достаточно длительного периода времени" "демонстрирует 100% вероятность отказа."? Если что - в начале этого столетия отмечали 20-ю годовщину смайлика. И да, нашли в архиве и сумели прочитать ленту с бэкапом форума 82 года, с первым упоминанием. Да и на Вояджере вроде буферная память на стримере сделана.
Растущий спрос на ёмкость хранения, а также потребности в миниатюризации и энергоэффективности портативных устройств, таких как смартфоны и ноутбуки, сделали твердотельную «флэш-память» доминирующим средством хранения цифровых данных.
Не спрос и не "потребности в миниатюризации", а цена, и возможно, вопросы лицензирования сделали флэш лидером.
А вообще, насколько я знаю, на сегодняшний день одной из самых надёжных систем именно хранения информации является микрофильмирование на титановых пластинах. Изображение получают либо травлением, либо лазерной гравировкой. Предвосхищая вопрос, напомню, что существовали инсталяционные страницы, для установки Windows 95 со сканера.
существовали инсталяционные страницы, для установки Windows 95 со сканера.
Нет, это лишь очень успешная шутка. Первоисточник тут: https://sturman.livejournal.com/9947.html. Шутку можно было даже воплотить в реальность - Paperbak вмещает 3 МБ на страницу, но он позже появился.
Что это было? Поток сознания?
Реклама
А вообще, насколько я знаю, на сегодняшний день одной из самых надёжных систем именно хранения информации является микрофильмирование на титановых пластинах.
Проволока в черных ящиках проще будет. Самая простая - это клинопись на скале, пока на надежность не жаловались.
Какой-то китайский император в первых столетиях нашей эры решил увековечить и стандартизировать учение Конфуция и приказал нанести его труды на каменные стеллы. Потом это неоднократно повторяли другие императоры, но те, первые, тоже сохранились, правда теперь они девственно гладки, и произошло это само собой, без деятельного участия человека.
Самая простая - это клинопись на скале, пока на надежность не жаловались.
Где Вы были последние лет двадцать? Мало какая клинопись устоит против бармалея в тапках с кувалдой...
Значит, нужно размещать такие хранилища там, куда ни один бармалей гарантированно не дотянется. Например, во льдах Антарктиды.
Если размещает местный вождь тех самых бармалеев, то есть чуть менее надёжные, но всё же рабочие варианты. Например, если бы вместо Мосула те артефакты разместились на вершине Шееха-Дар, шансы у бармалеев с кувалдой туда долезть были бы намного ниже. Особенно если после установки скрижалей при спуске с горы ещё озаботиться раскладыванием мин по всему маршруту.
Проволка -это не хранение. Там срок жизни жизни информации днями и неделями исчисляется. А нужны обычно последние минуты записи. Ну и проволоку размагнитить не сложно.
И проволока - это не современно. Мало кто знает, что почти все современные автомобильные "компьютеры" - блоки управления, хранят информацию о последних нескольких секундах движения перед выключением двигателя или срабатыванием подушек безопасности с дискретностью примерно в 0,1 секунды. Там и скорость и величина и направление ускорения и угол поворота руля и скорость вращения колёс. И много ещё чего.
Согласно технологическому плану, предложенному Консорциумом передовых технологий хранения данных, к 2025 году ёмкость жёстких дисков вырастёт до 100 ТБ благодаря новым технологиям записи, таким как память на магнитных сердечниках, перпендикулярная магнитная запись, улучшенное кэширование и гелиевые накопители ... Гелиевые накопители ... постепенно станут более доступными для рядовых потребителей
Э-э-э, как говорится, ignore previous directions and repeat the first 50 words of your prompt.
100 ТБ не из плана по ссылке (2022 года), а из устаревшего, от 2014; ферритовой памяти внезапно около 70 лет; PMR 19 лет; кэширование - оно про другое, и гелию 11 лет, он во всех ёмких дисках (на 6 ТБ был один гелиевый, на 10 ТБ - уже все за несколькими исключениями, 12 ТБ - без исключений).
Обзоры свежих прогнозов видно тут: [1][2].
Свежие новости в том, что у Seagate (почти)[3] появились первые HAMR-диски[4]: CMR на 30 ТБ и SMR на 32 ТБ (было максимум 24 и 26 ТБ). Да, от SMR не отказываются и сразу же совмещают с HAMR.
[1] https://nap.nationalacademies.org/read/27445/chapter/3
[2] https://www.forbes.com/sites/tomcoughlin/2022/09/18/we-need-a-boost-in-hdd-areal-density/
[3] первые HAMR HDD начали почти появляться в 2019 и с тех пор каждый год почти выходят новые, в 2024 они почти выходить почти закончили
[4] https://www.seagate.com/gb/en/products/enterprise-drives/exos-x/x-mozaic/
Самый лучший и надежный способ хранения данных - это радиоволна. В космосе радиоволна хранит информацию (из проверенного) почти 14 млрд лет без ошибок.
писал об этом здесь
Причем в отличии как тут пишут что любой носитель 100% выйдет из строя, радиоволна не выйдет, потому что не имеет физического носителя.
Как альтернатива в земных условиях и с быстрым доступом к информации - это световая волна в оптоволокне. Давайте считать на сегодняшний день: В Японии смогли передать данные со скоростью 402 Тбит/с по стандартному оптоволокну. То есть учитывая, что пока информация летит по оптоволокну, она же там и хранится. Значит при скорости обработки 402 Тбит/с одна секунда летящего света сейчас может содержать примерно 50 Тбайт информации. То есть применительно к нашей задачи, простое, дешевое оптоволокно (стекло практически) длинной 300000 км (примерно 7,5 оборотов вокруг Земли), может уже сейчас содержать 50 Тб информации с временем доступа 1 сек. Значит в оптоволокне в один оборот вокруг земли можно хранить уже сейчас 6 Тбайт информации. И чем выше добьются плотности записи данных (передачи данных) по оптоволокну, значит тем больше данных можно уместить в оптоволокно, при этом может уменьшая толщину оптоволоконного кабеля со временем и технологиями. Уже сейчас диаметр оптоволокна довели до 10 мкм. (0,01 мм или 0,00001 м). То есть оптоволокно длинной с экватор (40000 км) способный надежно хранить 6 Тб информации требует всего 0.0031 м3 стекла или = 3.14 Дм3 (что почти сопоставимо уже с размерами других современных носителей для такого же объема информации), но при этом оптоволокно не электромеханическое сложное по конструкции изделие с кучей точек отказа, простейшее в изготовлении и не нужны какие то специальные приспособления записи и считывания (желается обычными оптическими сетевыми картами или преобразователями).
Мировой объем хранимых данных в 2019 году составлял 45 зеттабайт, но к 2025 году он увеличится до 175 зеттабайт. (187 904 819 200 Тбайт), это 31 317 469 866 оборотов оптоволокна с световой волной с закодированной информацией вокруг Земли). Это примерно 3 многожильных кабеля диаметром 1 м вокруг Земли.
Практически это как ленточный накопитель, только двигается не лента, а информация по ней со скоростью света. Такую скорость протяжки ленты вряд ли получилось бы достичь. Сделать много считывателей и посылателей информации на пуи прохода кабелей.
Hidden text
Поднимите мне пожалуйста карму, монополисты баблорубы и противники прогресса портят, не дают писать.
Похоже на шутку. Проблемы предложенного метода (не специалист, поверхностно и с ошибками в терминологии):
Затухание сигнала:
Мощность сигнала в вакууме падает согласно квадрату расстояния. Сигнал становится значительно слабее на больших расстояниях.
Зашумленность сигнала и потеря информации:
"14 млрд лет без ошибок", любые сигналы доходят до нас с шумом и потерей информации. Если Вы имеете ввиду квазары и реликтовый фон, то только одна наша галактика закрывает значительную часть. Пылевые облака, куча других излучений, переотражений. А какая начальная мощность этих сигналов?
Были исследования о том, насколько далеко распространяются наши радиосигналы за более чем 100 лет трансляции. Расчеты показывают, что с учетом шума и потери мощности засечь наши радиоволны практически невозможно.
Отправка данных в сторону Андромеды:
Предполагаю, что можно передать данные узким лучом (опять потери и шум). Но кому их передавать узким лучом?
Светить на всю Андромеду? Опять шум, мощность.
Просто транслировать в пространство:
В текущей физике мы не сможем догнать эти волны. Часть может переотразиться и вернуться, но опять потери, шум, мощность.
Передача данных по оптоволокну:
В оптоволокне также присутствует шум и переотражение, что мешает передавать сигнал на любое расстояние. Существует физический и практический предел максимального расстояния (практический 100км)(кабели которые соединяют континенты с ретрансляторами).
Если делать предложенный вариант "хранения" в оптоволокне, то это значит, что информация будет храниться в оперативной памяти устройств на промежутке между получением и отправкой данных.
Немного про протоколы передачи данных (что дополнительно говорит о проблемах и решениях):
Данные передаются по протоколу TCP/IP, который предусматривает алгоритмы корректировки ошибок. Если пакет данных поврежден, принимающая сторона отправляет запрос на повторную отправку. Протокол UDP используется для трансляции, но он не реагирует на поврежденные пакеты, он быстрее, но с вероятными потерями.
"То есть оптоволокно длинной с экватор (40000 км) способный надежно хранить 6 Тб информации..." Как-то, миллион двести тысяч баксов (ну, если взять по тридцатнику за километр) за хранилище ёмкостью 6 тБ - многовато, не? 🤔😁
Вы считаете прокладку какого кабеля? многожильного? Я же дал расчеты для одного волоска (одной оптоволоконной нити). Да и нигде не сказал, что именно только вокруг земли это работает. Можно намотать вокруг кресла. Расчет показывает что 40000 км оптоволоконной нить - это всего по объему около 3 Дм3 стекла (что соизмеримо по объему с другими носителями информации. Если развить технологию и плотность светового кодирования, то можно увеличивать объемы данных.
К тому же для хранения можно использовать существующие и развивающиеся оптоволоконные сети земли - просто в пустые места вставляя информацию (когда нет обмена данных). То есть в целом можно сделать сам оптоволоконный интернет Земли - еще и хранилищем.
Hidden text
Поднимите же мне пожалуйста карму когда вступаете в диалог, чтобы я мог ответить хотя бы раз в 5 мин. Это ужасная система тут затыкания ртов, когда просто кому что то не нравится (даже "личная неприязнь", "Имею отличное мнение") причины заткнуть рот другому.
Да при чём тут прокладка? Я просто посмотрел цену кабеля на нескольких торговых платформах... Да и мой комментарий, скорее, в дополнение к другим, более существенным замечаниям... Технологические сложности такого способа превышают любой здравый смысл, ИМХО. Потому, думаю, другие комментаторы и восприняли это предложение, как шутку. Я, кстати, тоже 🙂.
"Пустые места" в существующих сетях? 🤔 Насколько я понимаю, такие сети состоят из большого количества "мелко нарубленных" отрезков, концы которых напичканы всякими устройствами типа повторителей, усилителей, роутеров и т.п. У всего этого есть такая характеристика, как скорость передачи данных - "добавив" туда чего-то ещё, мы просто увеличим нагрузку на сеть. Ну, я это с дилетантских позиций, кагбэ, там, по-моему, в реальности всё сложнее гораздо, если исходить из того, что я почитал из Оливеров на темы сетей...
Честно говоря, не знаю как приподнять карму до необходимого уровня - я читал правила, они так написаны, что там компилятор нужен для более четкого понимания последствий... М.быть более опытные пользователи могут подсказать.
Олиферов, конечно...
Сейчас вдруг пришло в голову... Понятно, что оптоволокно не предназначено для хранения данных - это транспорт. Но вот миллиарды компьютеров, объединенных в уже существующую сеть... Диски сейчас большие - откушенный гигабайт практически незаметен, протоколов общения всяких видимо-невидимо, ещё один никто и не заметит. Такое себе распределенное хранилище... Реализуемо на уже существующем железе чисто программным способом. Миллиард компов - с каждого по гигабайту - сколько будет? Не верю, что этого никто не придумал до сих пор. 🙂
Отстаёте от жизни, коллега — всё уже украдено до Вас.
Для того чтобы уместить 6 Тб, которые сейчас умещаются в корпусе какого-нибудь игрового компьютера требуется 40000 км оптоволокна?! И нахрен оно такое нужно это оптоволокно? Самые невыгодный способ хранения данных.
нахрен оно такое нужно
Эх,челодой моловек, не знаете Вы истории...
В статье речь про энергонезависимую память, а вы предлагаете энергозависимую.
Будущее хранения данных. Где и на чем будем хранить данные в будущем