Как стать автором
Обновить

Backblaze: надёжность жёстких дисков падает год от года. Это актуально для HDD большинства производителей

Время на прочтение3 мин
Количество просмотров21K
Всего голосов 48: ↑47 и ↓1+67
Комментарии130

Комментарии 130

Можно подумать что у SSD надёжность растёт.

Растет, но, конечно, не у всех.

Samsung, XPG. Qumo - каждый 10 в первый же год на мусорку. C HDD я такого не припомню.

WD тоже не айс :(

Seagate Barracuda? Первые партии были очень ломучие, при чем в короткий срок.

Помнится такое говорили про максторы. И про то, что контейнер с первой партией банально уронили при погрузке, что повлияло на репутацию всего бренда на пост-советском пространстве.

IBM тоже не сахар были.

Ах вот почему у меня макстор битый был и сыпался...

C HDD я такого не припомню.

А у меня до сих пор лежит мёртвый DTLA для напоминания. И Seagate ES 1ТБ из "той самой" серии (которая была с косячной прошивкой) есть - он сдох, но был восстановлен.

А у меня IBM DTLA до сих пор рабочий. И какие мы сделаем выводы?

Наличие рабочего экземпляра не отменяет того, что были эти и некоторые другие серии HDD, которые были хуже или сопоставимы с критерием "каждый 10 в первый же год на мусорку", упомянутым в комментарии, на который я ответил.
Поэтому я могу сделать только вывод, что у вас есть старый IBM DTLA, а у меня есть старый Seagate Constellation ES :)

НЛО прилетело и опубликовало эту надпись здесь

Я в бизнесе энтерпрайзных дисковых хранилищ в этом году будет уже 20 лет, и лет наверное 12 как наблюдаю за SSD. Статистика, показывающая более высокую надежность SSD над HDD основывается как на вендорских данных, так и на независимых научных исследованиях, на популяциях в сотни тысяч дисков, как тех, так и других. Вот уже как минимум 10 лет как SSD надежнее HDD.
А у вас откуда источники ваших утверждений? "Личное наблюдение"? ;)

Полагаю абсолютное большинство хабровчан сталкиваются с consumer models. Не удивлюсь, если "личная статистика" отличается от серверных моделей.

Но вон Backblaze принципиально использует только consumer-grade, и у них, несмотря на то, что количество SSD у них не так велико, как количество HDD, результаты ненамного отличаются от уже упомянутых, SSD по уровню отказов лучше, чем HDD.

Если брать серверные модели SSD, то стоимость терабайта сразу начинает сильно кусаться.

Но Backblaze не использует "серверные модели SSD".

К тому же "серверные модели" технически мало чем отличаются от "consumer", там обычно другая прошивка, да, что связано с их преимущественным использованием с RAID-контроллерами, ну и условия гарантии другие, оттого выше цена.

Ну про то что технически не отличаются, это вы приукрасили. Консьюмерский самсунговский терабайтник 870 QVO построен на 4битовой QLC и сотрется по TBW через 360ТБ данных. Серверный самсунговский терабайтник SM883 построен на 2битовой MLC и имеет TBW в 5 петабайт. Разница на порядок.

Вообще на профиль нагрузки надо смотреть, какие там в backblaze основные, читать данные - одно, а записывать много на ссд не получится, какая-нить здоровая редиска за неделю снапшотами ссд ушатает.

Backblaze это сервис бэкапов. У них нагрузка на накопители преимущественно типа WORM (write-once-read-many). Им на TBW, мягко скажем, начхать)

А кто все эти люди у которых бэкапы имеют профиль worm? У меня как-то получается что Every day i'm writing, а read, ну там раз в месяц проверить разворачиваемость.

Это люди, которые делают резервное копирование ежедневно, хранят резервные копии годами (десятилетиями), и, верифицируют пару раз в месяц.

Не совсем так. Это сервис объектного хранилища (который может использоваться под бэкапы, но это не единственное его применение), но без оплаты за трафик, который есть у большинства других провайдеров object storage, и это стимулирокет использовать его не только под write once.

BackBlaze как сервис бэкапов появился в 2007ом. Объектное хранилище запустили как сервис примерно в 2015ом.

Онлайн бэкапы, - это все еще их основной бизнес.

А почему вы берете 870 qvo, а не 860 pro для сравнения?

Хм. Вы уже второй кто приводит в пример 860 прошку, мне ее где-то с полгода назад на пекабе советовали. Хорошие были диски, жалко что в продаже они кончились. Правда цена у них тоже была "повыше" евошек.

Ветка то как раз и началась с тезиса что у ссд чёт роста надёжности не наблюдается.

Консьюмерский самсунговский терабайтник 870 QVO построен на 4битовой QLC и сотрется по TBW через 360ТБ данных. Серверный самсунговский терабайтник SM883 построен на 2битовой MLC и имеет TBW в 5 петабайт

Вы сравниваете апельсины с яблоками.
Сравните, например, pm983 с evo 970. Или pm893 с 870. И т.п. Разница в plp и полезном объёме (проценте резерва).

а подробнее про прошивку SSD и их преимущественностью для RAID можно?

довелось обжечься с SSD в RAID-10, так что пришлось SQL перенести на "медленные" HDD

а в чём именно обожглись? у меня уже лет 10, как БД крутятся на SSD, уже давно не осталось ничего на HDD, никаких проблем нет.

по прошивке: речь идёт только про то, что у некоторых производителей (samsung) десктопные и серверные модели не так сильно отличаются: используются контроллеры и память одной серии. но это не значит, что они одинаковые и одной в другое можно превратить на коленке простой перепрошивкой.

RAID-контроллеры не пропускают TRIM, если SSD инициализированы средствами контроллера.

Надеялись на сборщик мусора самим контроллером SSD: в RAID-10 объединили 4 SSD, при разметке которых 20% "откусили" - иммитируя резервную область корпоративного сегмента.

Примерно полтора года было всё нормально, пока не появились особо пухлые базы, и утилизация массива не превысила 80% (от размеченной области)

вот и результат....
вот и результат....

хм, ну не пропускают, и что? dc ssd рассчитаны в том числе и на работу без trim. у вас же dc ssd?

да и 20% резерва выглядит более, чем достаточным (а 20%+20%=36% — совсем много).

в том-то и дело, что нет. Клиент очень мелкий, экономил на внедрении сервера на чём только мог, сошлись на компромиссе Samsung 860 EVO . О последствиях был предупреждён, но сути это не меняет - деградация массива на запись наступила довольно быстро, и я даже не уверен что быстродействие вернётся в приемлемые рамки, если размер утилизации массива вернуть в пределы 50% от размеченного.

Не факт, что работающий trim что-то изменил бы в этой ситуации.
Trim нужен когда много данных записывается, а потом удаляется, а база данных обычно только растёт )

P.S. Не понимаю я таких компромиссов. Ну не нужно использовать под базы данных, в которые пишут, десктопные ssd. Тем более, что у того же самсунга зачастую разница в цене между северными и десктопными накопителями минимальная (и видел случаи, когда серверная модель лежала в магазине даже с меньшей ценой, чем её десктопная сестра)

Так как история не терпит сослагательных склонений, имеем то - что имеем. При выборе заплатить за диски в общем 80 т.р. или 40 т.р -- клиент выбрал второе.

По факту с SSD всё равно выходит что ты покупаешь не 1000 маркетинговых гигабайт за столько-то, а условно 700. иначе работать будет всё хуже и хуже. В практиках встречал советы чтоб вообще в идеале не более 50% использовалось от доступной пользователю и приложениям ёмкости накопителя.

По факту с SSD всё равно выходит что ты покупаешь не 1000 маркетинговых гигабайт за столько-то, а условно 700. иначе работать будет всё хуже и хуже. В практиках встречал советы чтоб вообще в идеале не более 50% использовалось от доступной пользователю и приложениям ёмкости накопителя.

нет, конечно же. у меня есть достаточно нагруженные сервера, где используется больше 90% ёмкости ssd, и всё просто работает.

мы говорим про одиночные SSD или про массивы из SSD?

я обозначил то, с чем сам столкнулся. за отсутствием серверных SSD под рукой не могу поэкспериментировать на зависимость скорости записи при 70%+ заполненного пула.

используется больше 90% ёмкости ssd, и всё просто работает

у клиента он тоже работает. на чтение так и прекрасно. а запись - хуже чем на одиночный диск в 5 раз

мы говорим про одиночные SSD или про массивы из SSD?

какая разница? ничего волшебного raid не добавляет (кроме зачастую неработающего трима)

у клиента он тоже работает. на чтение так и прекрасно. а запись - хуже чем на одиночный диск в 5 раз

3.5к iops или 300 мкс на чтение — это прекрасно? должно быть 50-100 мкс (для sata обычно ближе к 100) на чтение и 10-30 мкс на запись.
пусть даже ваш контроллер вносит 5-10 мкс дополнительных, всё равно результат и на чтение, и на запись «так себе».

если хотите восстановить начальные скорости, сделайте backup-se-restore, на какое-то время это поможет.

эхх, жаль вот https://habr.com/ru/companies/kingston_technology/articles/482068/#comment_21065294 прошло мимо меня в нужное время.

После увеличения свободного места ситуация всё же улучшилась

Hidden text
  • MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]

  • KB = 1000 bytes, KiB = 1024 bytes

    Sequential Read (Q= 32,T= 1) : 980.327 MB/s
    Sequential Write (Q= 32,T= 1) : 359.056 MB/s
    Random Read 4KiB (Q= 32,T= 1) : 75.114 MB/s [ 18338.4 IOPS]
    Random Write 4KiB (Q= 32,T= 1) : 23.424 MB/s [ 5718.8 IOPS]
    Sequential Read (T= 1) : 624.531 MB/s
    Sequential Write (T= 1) : 249.546 MB/s
    Random Read 4KiB (Q= 1,T= 1) : 15.271 MB/s [ 3728.3 IOPS]
    Random Write 4KiB (Q= 1,T= 1) : 16.906 MB/s [ 4127.4 IOPS]

    Test : 4096 MiB [D: 57.4% (513.6/894.0 GiB)] (x5) [Interval=5 sec]
    Date : 2024/03/06 17:23:18

backup-se-restore

SE - это как в полном виде будет?

прошло мимо меня в нужное время.

ну что время hardware raid ушло вместе с hdd я говорю постоянно, но никто слушать не хочет

впрочем, проблема у вас не особо связана с рейдом.
видим «база данных» — ставим dc ssd (а лучше всегда когда видим сервер).
я повторюсь, разница в цене не так велика.
в конце концов, есть авито, где продают б/у серверные ssd по вполне вменяемым ценам. и да, они не менее надёжные, чем новые консьюмерские. именно такие у меня дома и стоят (только не с авито, а с ebay).
новые там тоже попадаются, кстати.

После увеличения свободного места ситуация всё же улучшилась

ключевое для серверного применения — рандом без очереди.

Random Read 4KiB (Q= 1,T= 1) : 15.271 MB/s [ 3728.3 IOPS]

было 14.94, не смешно
и да, скорость рандома принято писать не в мегабайтах в секунду, а в иопсах или указывая время доступа в микросекундах. мне, во всяком случае, постоянно приходится переводить чтобы сориентироваться много это или мало

SE

secure erase

подключаете напрямую к материнской плате, и делаете или из bios (если есть такой пункт меню), или специализированным софтом (какой там под windows не помню).
есть небольшая хитрость: многие bios блокируют возможность сделать se после загрузки, так что подключаем ssd на горячую и вперёд.

после этого, разумеется, raid надо будет пересоздать, и потом заного залить на него данные

видим «база данных» — ставим dc ssd (а лучше всегда когда видим сервер).

Про базы данных, в общем, согласен, но, есть варианты. Например, взять пару энтерпрайзных NVM-E SSD сравнительно небольшого объема, и использовать их как write-only кэш с отложенной синхронизацией на основной массив. Если размер постоянно изменяемого пространства (записи) ограничен по сравнению с общим размером базы, то проблем с использованием консьюмерских SSD для редко изменяемых данных не будет. Отложенная синхронизация сильно уменьшает износ консьюмерских SSD.

Тут все, конечно, зависит от конкретного применения, и, под него надо рассчитывать размеры кэша, холодного хранилища и задержку синхронизации записи. Решение, однозначно, не универсальное. Но, при определенных условиях, рабочее.

Что касается пункта "всегда, когда видим сервер". То, тут я категорически не согласен. Использования в сервере бывают разные. И, в масштабе, переплачивать за энтерпрайз в случае массива для хранения, например, бэкапов или других WORM-данных будет явным перебором)

вы пишете так, будто цены на dc и консьюмерские накопители различаются минимум на порядок.
открываю московский магазин, pm9a3 на 3.84TB стоит 58 тысяч рублей, примерный аналог из консьюмерских у того же самсунга 990 pro на 4TB стоит 41, ну а недорогой безбуферник не совсем нонейм стоит 30.

Вы сравнили один из самых дешевых "энтерпрайз" SSD с одним из самых дорогих "консьюмерских", причем в супер-компактном форм-факторе NVM-E. Это не совсем честное сравнение.

И то, разница получилась почти в два раза.

У этого "энтерпрайзного", к сожалению, IOPS на запись в 10 раз меньше. Благодаря чему он использует более щадящие режимы записи в NAND, за счет чего достигается больший ресурс записи. NAND используется в накопителях практически одинаковый.

Для write-only кэша не лучший вариант, мягко скажем.

SE = secure erase

а для холодных данных (записать, положить на полку) что лучше?

Лента, что-нибудь из последних LTO.

Сам руками не щупал, но очень много отзывов, что капризные они в последних поколениях

Так вопрос не про использовать, а про "записать и положить на полку", один раз можно потерпеть. Я ленты тоже не люблю, но это почти единственная пригодная для них задача.
Из "последних", чтобы продлить срок жизни формата. У них там ограниченная совместимость по чтению "назад" по цепочке стандартов.

НЛО прилетело и опубликовало эту надпись здесь

А можно пруф?

А можно пруф?

А можно в качестве пруфа сослаться на динамическую RAM? Уж в ней-то никто не сомневается в необходимости рефреша зарядов на затворах. Ячейки флэш-памяти имеют сходный физический принцип, и тем не менее почему-то возникает повод для сомнений. Да, для флэш он нужен пореже, поскольку изоляция затворов более тотальная, но всё же нужен. Рефреш зарядов на затворах ячеек - один из трёх главных фоновых процессов в любом контроллере флэш-памяти. И если остальные два ("сборка мусора" и выравнивание износа ячеек) через некоторое время заканчиваются, то рефреш неотменим никогда.

Рефреш зарядов на затворах ячеек - один из трёх главных фоновых процессов в любом контроллере флэш-памяти

А можно пруф? )))

Увидел в соседнем комментарии ссылку на статью про зарядку флешек — не годится, там нет ничего про механизм рефреша nand

За этим обращайтесь к разработчикам NAND-памяти. Я не из их числа, мне достаточно того, что в этом механизме есть нужда, и судя по результатам, эта нужда удовлетворена. А ответят ли вам разрабы... сомнительно, поскольку во-первых, это ноу-хау, т.е. не для общего доступа (поэтому вы и просите пруф у меня), и во-вторых, этот механизм у разных производителей может быть реализован по-разному.

За этим обращайтесь к разработчикам NAND-памяти. Я не из их числа, мне достаточно того, что в этом механизме есть нужда

Ну то есть вы признаёте, что это ваши домыслы.

ноу-хау, т.е. не для общего доступа

Даташиты некоторых микросхем nand flash есть в публичном доступе. И про «data retention» там ничего не написано, что должно подаваться питание.
Упоминания какого-то рефреша с помощью внешнего контроллера я тоже не видел, есть всего три операции — erase, write, и read

Ну т.е. вы утверждаете, что никакого рефреша нет, при том, что другие источники утверждают, что он есть. Извините, другим источникам у меня доверие выше. Домысливать тут нет нужды, необходимость в этой опции очевидна, точно так же, как и в случае динамической RAM - заряды-то с изолированных затворов куда-то стекают, и это один из очевидных механизмов ограничения срока хранения информации в SSD.

при том, что другие источники утверждают, что он есть. Извините, другим источникам у меня доверие выше.

ну вот мне и интересны эти другие источники

там вообще не про это.
там про методику jedec определения износсотойкости накопителя. чтобы определить эту самую износостойкость нужны какие-то критерии исправности накопителя, когда мы начнём считать его неисправным. вот и всё.

Хранить данные на микросхемах памяти (флешки, ССД) на полке - плохая идея из-за постепенно разряжающихся и, соответственно, теряющих информацию ячейках. Через несколько месяцев такого лежания очень высока вероятность того, что устройство станет "как из магазина".

Попахивает техносказкой.

Заряд всё равно стекает и это такая вот физика. Но разве контроллер в подключенной флеш памяти занимается восстановлением заряда в ячейках?

Вообще говоря, да, начиная с какого-то момента об этом озаботились. Мало того, иногда он ещё и перезапись выполняет в незанятые ячейки, если при чтении наткнется на ошибку, которую исправит ЕСС (но это ещё позднее запилили).

Вообще говоря, да, начиная с какого-то момента об этом озаботились

Ну и с какого же?

Проблемы с 870 показывают, что ничего такого прошивка не делает (на файлах, которые не трогали год-два было существенное падение скорости чтения или вообще ошибки)

Как и написано выше, прошивка сама по себе данные в ячейках не обновляет, но, делает это при чтении. Так что, регулярно перечитывать данные крайне желательно. Иначе, через 3 года (вроде как срок гарантии этих дисков) данные будет уже не прочитать. Не совсем конечно, но медленное чтение и возможные ошибки, вероятны.

Но механизмы встроенные имеются. Если на SSD через SMART запланировать регулярно то, что у HDD называется extended self-test то, обновление будет происходить во время этого процесса.

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed without error       00%     34662         -
# 2  Extended offline    Completed without error       00%     34494         -
# 3  Extended offline    Completed without error       00%     34326         -
# 4  Extended offline    Completed without error       00%     34158         -
# 5  Extended offline    Completed without error       00%     33990         -

Это данные с 860 QVO возрастом 4 года, который еженедельно проходит такую проверку.

Как и написано выше, прошивка сама по себе данные в ячейках не обновляет, но, делает это при чтении

вот именно, что 870 не обновляет (не обновлял?). медленно-читающиеся участки такими и оставались после полного вычитывания накопителя.

Есть вероятность, что эта функция может быть выключена до первой операции записи на носитель. Это нужно как раз чтобы была возможность вычитать неисправный SSD не убив его окончательно.

Да много что "такая физика", я про "Через несколько месяцев такого лежания очень высока вероятность" полагаю, что это скорее "сказка про черную руку" ;)

Черная рука разве что про месяцы лежания, но вот если лет 10-20 полежит, то уже другое дело.

НЛО прилетело и опубликовало эту надпись здесь

разве контроллер в подключенной флеш памяти занимается восстановлением заряда в ячейках?

Да, рефреш зарядов на затворах ячеек - это один из трёх основных фоновых процессов для любого контроллера флэш-памяти. Именно из-за него требуется периодически подключать флэш-память под электропитание. Подробности вот тут.

Флешки Кингстон с вами не согласятся...

Я правильно понимаю, что SSD для домашних компьютеров и для энтерпрайза это два очень разных SSD с очень разным количеством перезаписей?

С механической точки зрения SSD понадёжнее выглядят... т.к. в них в общем-то вроде и нет никакой механики.

SSD для домашних компьютеров и для энтерпрайза это два очень разных SSD

Не совсем. У Самсунга, например, десктопные и серверные построены на общей платформе (контроллер, nand), основное аппаратное различие — plp.
У Intel/Solidigm флеш одинаковый в десктопных и серверных накопителях, погуглите, например, 29F04T2ANCQKI

Чтоб ваше утверждение не выглядело голословным, вот данные от тех же Backblaze

По мойму был отчëт от той же Blackbaze в котором утверждалось, что SSD себя лучше показывают чем HDD на длительном отрезке времени. Грубо говоря, что если SSD не выходит из строя в условные "вскоро после начала эскплуатации" то далее они выходят из строя реже чем HDD, у которых, достаточно логично, вероятность отказов растëт чем дольше они используются.

вот этот отчëт

Это, наверное, потому, что у Blackbaze хранение (если это можно назвать "хранением") происходит под электропитанием. Стоит снять с хранимых SSD питание, как ситуация переворачивается на 180.

Можно подумать что у SSD надёжность растёт.

У нас за последние 5 лет не накрылся ни один ssd, но накрылось уже 5 дисков.
Надоело, в результате сейчас у нас всё на ssd, кроме одного hdd для совсем глубоких бакапов (все же опасаемся утечки заряда на ssd) и одного hdd который куплен лет 8 назад и до сих пор живее всех живых (хотя более свежие все накрылись).
Тут выше упоминали утечку заряда на ssd, скорее всего что-то такое есть, но имхо, в реальности не всё так страшно, есть большой ssd, достаем его с полки раз в квартал для бакапов туда, до сих пор ничего не потерялось на нем (проверяем каждый раз старые записи). Может за полгода-год что-то и случилось бы, но у нас и hdd купленный из последних - за полгода лежания скопытился, гарантийный сервис сказал что что-то там внутри "слиплось" от того, что долго лежал без работы.

Косячные партии/модели всегда были. Включая 100% отказов в течение года.

Выводы высосаны из пальца. Вон, рядом тот же сегейт на 16 терабайт с AFR 0,7% и гигантской статистикой (176 отказов 27433 диска).

Статистика "сверхнадёжного" (0,68%) 6ТБ диска основана на 6 случаях отказов. Разница с 0,7% меньше дискретности измерений. Если через 5 минут после написания отчета сгорит всего 1 диск будет уже 0,8% и выводы статьи будут противоположные.

А делать выводы по 2 (двум) отказам вообще не серьёзно. Они могли в одной коробке лежать которую при погрузке уронили.

Хотя исходные данные любопытны.

А делать выводы по 2 (двум) отказам вообще не серьёзно

Самое смешное, что рядовой юзер обычно делает выводы вообще по одному отказу. Seagate умер → бежит на WD → WD умер → бежит на Toshiba, а дальше по кругу.

Чего далеко ходить, эта тема уже переполнена ценным личным опытом)

"Личный опыт" еще осложнен тем, что, в случае HDD, выбор, строго говоря, есть между WD и Seagate. Ну и Toshiba еще есть немного.
В случае же SSD пользователя, как ни бей по рукам, он тянет в рот себе в комп всякое... И ладно бы какой-нибудь кондовый китайский массмаркет, но ведь и всякие кадавры типа Somnambulist, Anacomda, или вот, находка последнего времени "1080 PRO V-Nand SSD", 2300 рублей за "4TB"

Чуть более продвинутый рядовой юзер ещё иногда в интернет ходит и видит сотню отзывов на то, что умер сигейт и полтора аналогичных отзыва про вд. Ещё более продвинутый смотрит модель, к которой относится отзыв, но это уже не сказать что рядовой.

Чуть более продвинутый рядовой юзер ещё иногда в интернет ходит и видит сотню отзывов на то, что умер сигейт и полтора аналогичных отзыва про вд

А самый продвинутый смотрит на количество продаж, жаль только ему это количество не показывают.

А самый продвинутый смотрит на количество продаж, жаль только ему это количество не показывают.

Хуже всего то, что не показывают в технических данных носителя его надёжность. А по мне, надёжность - чуть ли не самый главный параметр, второй после ёмкости. Но раздобывать его приходится через рытьё статистики в Сети и отзывы пользователей, хотя полагалось бы из сопроводительной бумажки к покупке.

Жалко, что в спортбарах не лежат на столах результаты матчей на следующую неделю.

Срок службы накопителя заметно выше, чем продолжительность его нахождения на конвейере, поэтому этой статистике просто ниоткуда взяться. Да, есть модели-долгожители, вроде 970-го самсунга, но на самом деле начинка там менялась, и экстраполировать статистику накопителей одной ревизии на накопители следующей — так себе идея.

А что это за параметр такой - "срок службы накопителя"? Откуда его берут? Не связан ли он каким-то образом с "наработкой на отказ", с которой мы, технари, привычно отождествляем надёжность? Или тут что-то другое? И кстати, если бы в даташитах накопителей писалось что-то похожее на наработку на отказ, их надёжность нетрудно было бы сравнить, и у меня не возникло бы моего вопроса. Но ведь не пишут...

А что это за параметр такой - "срок службы накопителя"? Откуда его берут?

из целесообразности использования.
есть у меня, например, вполне живой ssd на 240 гигабайт, но куда его сегодня? sata ssd на 480 гигабайт живёт пока в старом компьютере, как тот отправится на покой — и ssd навряд ли буду куда-то переставлять.
в прошлогоднем ноуте штатный nvme на 512, его оказалось маловато, думаю заменить, если решусь — то тоже старый пойдёт на полку.

И кстати, если бы в даташитах накопителей писалось что-то похожее на наработку на отказ, их надёжность нетрудно было бы сравнить, и у меня не возникло бы моего вопроса

а что там писать? большинство более-менее приличных ssd отправляются на покой по причине морального устаревания, а не износа. бывают, конечно, факапы, например у самсунга несколько раз случалось. или в серверных, как ни странно тоже. но это именно факапы, производитель заранее не знал (и все известные мне случаи решались своевременным обновлением прошивки).

есть ещё ультабюджетные накопители от безвестных китайцев, собранные из говна и палок отбросов флеш-памяти, но там странно ожидать от производителя честного указания ресурса (да он и сам его не знает)

На самом деле некоторый резон купить другой винт (хотябы из другой партии) есть.

Т.к. мы уже купили хард и уже выяснили что он сбойный, то вероятность попасть на косячную партию в этом случае пропорциональна не общему количеству винтов, а количеству сбойных, а она в косячных партиях кратно больше.

Что, конечно, не даёт оснований делать глобальные выводы как в статье.

Ну, не скажите циррозные фуджики и стеклянные дятлы до сих пор помнят...

Seagate умер → бежит на WD → WD умер → бежит на Toshiba, а дальше по кругу.

причём маркер хороший/плохой вешается сразу на весь бренд, при том что носители даже одного бренда могут быть очень разными. По декларируемой надёжности/сегменту, CMR/SMR, типа используемой памяти (QLC/TLC/MLC) в ssd и т.д.

Пользуюсь Тошиба более 15 лет. Ничего плохого сказать не могу, кроме шума, в отличие от Сигейта, которые во одно время дохли одни за одним. Правда давно было..

Мой Тошиба на 3Гб умер. А черепичный я сам выкинул - пользоваться им невозможно.

У меня в закрытом боксе smr сигейт стоит, не нарадуюсь, тихий, холодный. Остальное всё на 7200 будет :(

Попробуйте гелиевые модели, они тихие. Имел достаточно большой опыт с Тошибой MG/MD серий, не в масштабах бэкблэйз, но тоже в тысячах штук измеряется. Самыми неудачными считаю MG06 10ТБ - и дохли часто и в собранном рейде суммарная скорость не радовала. После перехода на гелиевые MG07 очень положительно отзовусь.

НЛО прилетело и опубликовало эту надпись здесь

Не могу сказать. Пока аптайм 5 лет, каких-либо массовых отказов, которые можно было бы объяснить истечением срока годности гелия, не было. Субъективно дохнут они меньше чем безгелиевые, объективно потому что у них и пробег меньше, у десятилетнего диска явно больше должна быть вероятность поломки при одинаковой нагрузке чем у пятилетнего.

Я если честно так до конца и не понимаю механизм этого гелиевого исхода, он как-то самопроизвольно должен диффузировать из области пониженного давления в область повышенного? А через энный промежуток времени у нас внутри чистый вакуум образуется?

>диффузировать из области пониженного давления в область повышенного?

Для газов имеет значение только парциальное давление. Снаружи у вас именно что гелиевый вакуум :)

Я если честно так до конца и не понимаю механизм этого гелиевого исхода,
он как-то самопроизвольно должен диффузировать из области пониженного
давления в область повышенного?

Механизм примерно такой же, как шаров, наполненных гелием. Если взять два обычных резиновых шара и один надуть воздухом, а другой - гелием, то через некоторое время будет видно, что шар с гелием сдувается быстрее. Это происходит за счет того, молекула гелия намного меньше молекулы воздуха, и просачивается там, где воздух физически не проходит. Водород утекает примерно по тому же механизму.

Итого даже если давление самого гелия внутри диска не превышает атмосферное, гелий утекает за счет диффузии в местах уплотнений.

Почему утекает: снаружи диска давление гелия 0, а внутри диска больше нуля. Давление других газов не учитываю, т.к. размеры молекул других газов такие ,что им физически труднее пройти там, где может пройти молекула гелия. И получается, что с одной стороны уплотнения гелий давит, а с другой стороны уплотнения у него нет препятствий для выхода. И гелий просачивается.

Это примерно как одна и та же емкость может иметь достаточную герметичность, чтобы удерживать песок, но не удерживать воду.

Мой опыт: пользуюсь Сигейтами, начиная с Барракуды на своем первом ПК (собран в 2005 и до сих пор работает домашним файловым сервером и при необходимости печатной машинкой- ни единого бэда до сих пор). Сейчас активно использую четыре внешними HDD от Сигейта, купленные один в 2010 и три в 13 году и использующиеся весьма активно - и все так же неплохо. Впрочем, возможно мне везет - у меня за все долгое время общения с компьютерами умер только один HDD (Самсунг какой-то на старом ноуте), и то не до конца - несмотря на почти 400 бэдов и реаллокаций, вполне себе работал, правда, системе это не нравилось - она временами дико тормозила.

>начиная с Барракуды

Ну тогда вы должны знать про "муху сс". Ни один единичный пример "у меня работает" не может ничего сказать о надёжности линейки/фирмы в целом, более того - об её изменении со временем. Тем и ценна стата от бекблейзов.

Так я потому и акцентирую, что это лично мой опыт, и что, наверное, мне повезло. К тому же, про муху, ЕМНИП, стали массово писать году в 2007-2008, а мой Барракуда был ни то 2004, ни то 2005 года производства.
UPD: да, я не ошибся, поглядел, у меня стоит и до сих пор потихоньку работает 7200.9 2005 года, а муха появилась, кажется, в 11 сериях.

Кстати, "муха СС" не фатальная. Я словил ее на одном из моих двух ST3500320NS (Barracuda ES.2). Починил и они у меня еще долго работали, пока не перешел на SSD. До сих пор лежат, вполне рабочие, просто не пользуюсь.

У меня до сих пор даже платка с адаптером валяется для перепрошивки. Времена)

У меня есть старый 500 Гб диск, использую его под фильмы, инсталляторы и прочий активно скачиваемый контент. И всё жду когда он уже сдохнет, а он всё ни как не хочет даже начинать сыпаться. За годы только скорость упала (либо она была изначально такая медленная), что нельзя одновременно смотреть HD фильм и оставлять торрент.

Тут скорее может быть что чтение, условно, на большем радиусе, а запись куда-нибудь ближе к центру, и голове диска приходится всё время летать от края к краю.

Может оказаться так, что торренты сильно фрагментируют диск, резервируя дисковые объемы по чуть-чуть, пока качаются.

Зависит от клиента. Я как-то поставил на закачку 10+ГБ чего-то, на uTorrent 2.2.1, а он мне запросил у винХР 10+ГБ нулей в нескольких файлах, и минуты 4 тупил, пока файлы создавались, но запись потом шла в уже выделенные области файловой системы. Возможно, в более новых клиентах используют под такое sparse files или частичное выделение объема, но по логике не должны, так как в данных торрента по умолчанию нет нулевых кусков.

Обычно можно включить выделение места сразу при начале загрузки, например, в uTorrent называется "Pre-allocate all files". Довольно существенно снижает фрагментацию.

>нельзя одновременно смотреть HD фильм и оставлять торрент

Это как-то сильно скорость упала. У меня с торрентами одновременно игры работают вплоть до Assassin's Creed: Black Flag, а 500 ГБ HDD диску уже лет пять, если не больше.

Самая жопа, что два диска из одной линейки, отличающиеся одной буковкой в имени модели, имеют в 4 раза отличающуюся статистику поломок. Я про huh721212ale604 vs huh721212aln604 (сектора 512 vs 4k)

Эта статистика строится из неявного предположения, что все диски Backblaze эксплуатируются в одинаковых условиях. Но это очевидно не так. Как минимум у них разная нагрузка.

Я, на протяжении длительного срока эксплуатировал несколько RAID массивов собранных в одинаковой конфигурации из дисков HGST Travelstar 7K1000 (нынче переименованных в WD).

Эти диски появились на рынке больше 10ти лет назад и производятся/продаются до сих пор.

Первые года три отказов вообще не было. Потом диски стали выходить из строя изредка, и заменяться на новые. Однако, новые диски аналогичной модели стали показывать на порядки большую смертность, и умирали гораздо быстрее и чаще чем старые. И, по мере замены старых дисков на новые, общая частота отказов стала увеличиваться, при том, что большая часть отказов происходила как раз из-за новых дисков.

Проблема усугублялась со временем, и, примерно через 7 лет после начала эксплуатации этих дисков, дальнейшая эксплуатация потеряла всякий смысл. Ибо все новые купленные диски этой модели приходилось менять на новые примерно через полтора-два года эксплуатации.

Экономически оказалось целесообразнее заменить их на недорогие SSD вроде Samsung 860 QVO 2 TB, несмотря на удвоение-утроение стоимости одного терабайта.

Вместо покупки новых экземпляров 7K1000 массив, в котором требовалась замена, при её отсутствии полностью переводился на SSD, а работоспособные диски из этого массива использовались для замены дисков в других массивах, пока не заканчивались.

Таким образом, происходил "естественный отбор" самых живучих экземпляров из которых собран последний, на данный момент, оставшийся в живых массив на 7K1000.

Вот из чего он собран в данный момент:

(smartctl -a /dev/sda & smartctl -a /dev/sdb && smartctl -a /dev/sdc & smartctl -a /dev/sdd & smartctl -a /dev/sde & smartctl -a /dev/sdf & smartctl -a /dev/sdg & smartctl -a /dev/sdh ) | grep 'Power_On_Hours'
  9 Power_On_Hours          0x0012   001   001   000    Old_age   Always       -       87020
  9 Power_On_Hours          0x0012   001   001   000    Old_age   Always       -       73473
  9 Power_On_Hours          0x0012   001   001   000    Old_age   Always       -       81802
  9 Power_On_Hours          0x0012   001   001   000    Old_age   Always       -       81796
  9 Power_On_Hours          0x0012   001   001   000    Old_age   Always       -       81800
  9 Power_On_Hours          0x0012   001   001   000    Old_age   Always       -       87020
  9 Power_On_Hours          0x0012   001   001   000    Old_age   Always       -       87021
  9 Power_On_Hours          0x0012   001   001   000    Old_age   Always       -       81799

Итого, мы можем наблюдать, что самый "новый" из "выживальщиков" имеет больше 8ми лет непрерывной эксплуатации. При этом, большая их часть находится в диапазоне 9-10 лет непрерывной эксплуатации.

Что именно случилось с "новыми" 7K1000 остается только гадать. Но, судя по всему, "надежные" диски пропали где-то 8 лет назад.

Возможно, за 8 лет на RAID нагрузка росла каждый год кратно, но все они дохли условно через 30 ТБ.

Тогда бы в первую очередь умирали самые старые диски в массиве. А умирали, как раз, самые новые.

В чем смысл в рейд втыкать офисные SSD, с ресурсом в 360 полных циклов перезаписи?

В отказоустойчивости. Получается массив с ресурсом 360 полных циклов перезаписи. Самый первый из созданных SSD массивов за три года эксплуатации даже одного полного цикла не прошел. Нагрузка типа WORM, используется в качестве хранилища холодных данных с быстрым доступом на чтение.

Вопрос немного сбоку от темы. А дефрагментация в случае с SSD вообще имеет смысл? Или же она только вредит?

Вместо дефрагментации современные операционки делают TRIM на неиспользуемые области, вот это имеет смысл. Именно дефрагментация больше ресурс износит, чем реально поможет.

>А дефрагментация в случае с SSD вообще имеет смысл? Или же она только вредит?

В целом нет. Она вредит в том смысле, что съедает ресурс флеша, т.к. любая дефрагментация - очень много перемещений с полагающейся write amplification.

Хотите лайфхак? У меня два рабочих ssd. Раз в месяц я подключаю диск с полки и делаю бэкап системного диска ghostом. После чего меняю их местами, диск со свежим бэкапом становится в машину, а старый системный уходит на полку. Три в одном - бэкап, проверка бэкапа и дефрагментация, причём правильная - и на уровне файловой системы, и на уровне транслятора.

Как все сложно) А чего их сразу не подключить оба?

Что бы их одновременно погрыз шифровальщик? Вы тоже все резервные копии на одной машине держите?

так можно же в биосе диск отключить или еще проще - букву диска в ОС убрать - намного легче, чем менять. Первый раз сталкиваюсь с таким, чтобы физически диск каждый месяц переставляли - дичь какая-то)

"Что бы их одновременно погрыз шифровальщик? Вы тоже все резервные копии на одной машине держите?"

да, держу - на разных дисках. С шифровальщиками лично не сталкивался - не запускаю всякую неизвестную дрянь из интернета, да и сейчас вроде поутихло. У меня даже антивирус не стоит) При этом, при серфинге ничем себя не ограничиваю. За все время (с 2000) - все норм. Нет, вирусы иногда попадаются, но это сразу заметно, а удалить вирус не так сложно. Сейчас еще проще - KVRT

Это ноут, диск в кармане.

Подскажите, у меня дома примерно 30TB данных которые прирастают по 5TB в год. В последний раз купил 22TB WD RED но второй для рейда уже не осилил. Какое решение будет самым дешевым и надежным для хранения этих видео файлов, если читать их в принципе мне не особо надо? Просто хочу сохранить их.

В компе стоит WD Blue 1TB 14го года и WD Green 500GB 10го года. Полёт нормальный, уже и хочется поменять на что-то большего объёма но немного стрёмно

Ухудшение надёжности жёстких дисков с течением времени является заблаговременным предупреждением для отрасли хранения данных. Если это действительно происходит, это может иметь серьёзные последствия для предприятий и частных пользователей, рассчитывающих на надёжность своих систем хранения данных. Подобные тренды подчёркивают важность постоянного мониторинга качества и надёжности оборудования, а также поиска способов для смягчения рисков, возникающих при использовании HDD.

заблаговременным предупреждением для отрасли
Подобные тренды
смягчения рисков

что это было?!?

"Нам обещали искусственный разум, а вместо него сделали искуственного дебила"

Зарегистрируйтесь на Хабре, чтобы оставить комментарий