Статистика Backblaze: определяем лучший HDD



    Прошел еще год с момента публикации статистики использования HDD, с учетом количества сбоев в отдельных моделях жестких дисков. И сейчас появилась новая статистика от Backblaze.

    В первом квартале 2016 года в дата-центре компании используется 61590 HDD. Это на 9,5% больше, чем в прошлом году, когда в ДЦ компании работало 56224 дисков. Общее время работы всех HDD серверов компании, суммарно в прошлом и настоящем, составляет уже более 1 млрд часов. Это около 42 млн дней или 114155 лет.

    Статистика сбоев за 1 квартал 2016 года





    Несколько замечаний:

    1. Общее количество HDD в таблице 61523, а не 61590. Причина — из таблицы исключены модели, если их в наличии менее 45 экземпляров.
    2. У нескольких моделей ежегодный процент отказа 0,00%. У них не было сбоев в 1 квартале 2016 года.
    3. Некоторые показатели выражены слишком малыми числами. Например, у HDD Toshiba объемом в 3 ТБ процент отказов всего 8,56%. Это всего один сбой, чего недостаточно для принятия решения.
    4. Ежегодный процент сбоев — всего 1,84%. Это меньше, чем когда-либо раньше.

    Кумулятивные показатели



    Собирать статистику по HDD компания начала 10 апреля 2013 года, три года назад. В таблице ниже — общие показатели за весь этот период.



    Один миллиард часов работы дисков



    Как уже говорилось выше, общее время работы всех жестких дисков, использовавшихся компанией в прошлом и работающих сейчас, насчитывает миллиард часов. Вот разбивка по времени работы отдельных моделей.



    Колонка «others» — это модели, которые не были отображены, их в компании меньше, чем 45 штук.

    Какие HDD лучшие?



    Разбивка по моделям



    Диски HGST, в особенности на 2 и 3 ТБ, показали себя лучше других. Следом идут HDD компании Seagate на 4 ТБ, купленные около года назад.

    А вот разбивка по объему винчестеров:



    HDD на 4 ТБ наработали уже около 580 млн часов. Всего у компании 48041 дисков на 4 ТБ, что означает средний срок работы отдельного HDD около 503 операционных дней или 1,38 лет. Процент отказата по таким дискам — всего 2,12%.

    Надежность HDD различных производителей

    Большинство жестких дисков в компании — от HGST и Seagate. Но есть и системы других производителей. На диаграмме внизу показан процент отказов дисков различных компаний, при этом разбивка идет по годам, с 2014 по 2016.



    Почему у компании есть модели в количестве, меньшем 45 штук?

    Здесь несколько причин:

    1. Изначально было больше 45 штук, но какие-то диски вышли из строя, а мы заменили их HDD других моделей;
    2. Они попали к нам в рамках программы Drive Farming несколько лет назад, и мы получили всего несколько штук дисков одной модели. Мы любим унифицировать оборудование, и предпочитаем работать с большим количеством систем одной модели, но вообще используем все, что есть;
    3. Мы построили несколько Frankenpods (сборные Storage Pod) с дисками равного объема но разных моделей и производителей.

    Как бы там ни было, если таких дисков менее 45 штук, в статистику они не попадают, по ним есть только общие данные.

    Почему не Toshiba и Western Digital?



    Компанию часто спрашивают, почему она не покупает больше дисков указанных компаний. Короткий ответ — «мы устали». Дело в том, что сейчас компании требуются большие партии дисков, 5000-10000 экземпляров. Что касается Toshiba, то в Backblaze не считают эти диски оптимальным соотношением цена/качество.

    Что касается Western Digital, то Backblaze регулярно получает интересные предложения, но каждый раз что-то идет не так и сделка срывается.

    Что насчет моделей объемом в 6,8 и 10 ТБ?



    Компания использует малое количество моделей дисков такого объема, поскольку вопрос цены за ТБ до сих пор актуален в отношении объемных HDD, ценовая политика пока не оптимальна. Вторая проблема — доступность крупных партий дисков такого объема. К примеру, для заполнения Backblaze Vault из 20 серверов Storage Pod 6.0 требуется 1200 HDD. В месяц компания загружает около 3 хранилищ Backblaze Vaults, и пока сложно найти большое количество экземпляров дисков большого объема. На данный момент оптимум — это 4 ТБ, здесь и соотношение цена за ТБ отличная, и моделей таких много.

    Какие диски считаются сбойными?



    Диск не включается или не распознаётся в ОС.
    Диск не синхронизируется или не сохраняет синхронизацию в RAID-массиве.
    Статистика SMART выдаёт неприемлемые значения.

    Для справки: Компания Backblaze специализируется на онлайн-бэкапах. С помощью сервиса пользователи выгружают резервные копии своих данных в облако в дата-центре компании. Данные распределяются по 20 шардам. Backblaze утверждает, что хранит более 200 петабайт данных.
    Поделиться публикацией
    Комментарии 35
      +1
      Диски от seagate стали лучше, или мне кажется?
        +3
        Мне тоже так кажется. В прошлом отчёте у них было что-то под 27% отказов, но, видимо, условием предоставления хорошей скидки было изменение методики подсчёта )
          +6

          Возможно, наконец вымерли все ST3000DM001, вносивших солидный вклад в негативную статиститику по Seagate.

            0
            это в каком «прошлом»? Вот в прошлом — та же картина: https://geektimes.ru/post/244648/
            И всего 2.6% отказов у сигейта.
              +2
              https://habrahabr.ru/post/209894/
              26.5% дисков Seagate сломались за 3 года, говорит нам первая картинка, и 13.5% 1.5Тб дисков их марки ломается в год
              После этой статьи, которая вполне соответствует моему личному домашнему опыту (за 8 лет отказали 2 из 10 WD и 4 или 4 Seagate), настоятельно не рекомендую приобретать их продукцию никому
                0
                Это не прошлый отчет, а позапрошлый. И проблемы там в основном у 1.5ТБ дисков, в последнем же отчёте и годе Blackbaze использует уже 4ТБ диски (и о низком). И именно о них чётко и написано как о надёжных.

                Впрочем, улучшение качества сигейтов с ростом объема даже в вашем позапрошлом отчете отмечено самими Backblaze. Просто была неудачная серия st3000dm001 1.5ТБ.
                  +1
                  Это-то конечно так, но среди моих 100% мёртвых Сигейтов один 1Тб и три 2Тб, все разных моделей, что заставляет задуматься об общем уровне качества. Плюс недавно выбирал новый диск, начитался на Амазоне негативных отзывов покупателей о новейшем Seagate Archive HDD 8Tb и остановился на WD Red 6Tb. А у товарища недавно в рейде из 6 дисков 3Тб Сигейт с разницей в несколько недель отказали все 6.
                    0
                    Ну вообще-то уже триста раз обсуждалось, что «а вот моя практика» — не говорит ни о чем, может ящик с вашими дисками уронили на складе магазина :) Товарищу посоветуйте для начала проверить блок питания. Ну и на будущее дайте совет, что ставить в рейд 6 дисков одного производителя (и неужто одной марки?) очень мягко говоря не умнО.

                    А вот именно обширная статистика а-ля Backblaze — показательна. (Хотя и там надо делать скидку на условия эксплутации — например, нагрузку постоянную или что они все стоят в датацентрах, а у пользователей обычно греются гораздо сильнее).
                      0
                      > Ну вообще-то уже триста раз обсуждалось, что «а вот моя практика» — не говорит ни о чем
                      Так то да, но у меня все жёсткие- сигейты, так вышло.
                      Самый старый из них ST3320613AS отработал 23803 часа, на 320 ГБ, и сейчас работает.
                      ST2000DL003 отработал 14706 часов, всё в порядке.
                      Есть диск злополучной st3000dm001, купил три года назад, проработал 12389 часов, параметры в норме.
                      Недавно купил ещё один ST3000DM001- самый выгодный диск по отношению цена/объём, что нашёл. Проработал 95 часов, пока не посыпался ))
                        0
                        У меня до сих пор лежит (а год назад ещё и работал) «легендарный» IBM DTLA :) но я отсюда не делаю выводов о его надёжности :))))))
                        +1
                        ставить в рейд 6 дисков одного производителя (и неужто одной марки?) очень мягко говоря не умнО.


                        Вообще общепринятой практикой считается ставить в рейды диски как раз одного производителя, с одной прошивкой и единообразным поведением под нагрузкой, как следствие. И холодный резерв на полке.
              0
              Убрали знаменитые st3000dm001 (передохли сами или заменены на 4TB версию). Судя по этим данным «массовые» 4TB от Seagate оптимальный выбор на данный момент Ц/К.
              0
              А как со статистикой отказов за определенный срок службы?
                +1
                Очень полезные статьи про статистику отказов HDD, спасибо!
                  +1
                  Выборка совсем маленькая. Дисков большинства моделей по пару штук всего, но даже для тех, которых тысяча, по всего нескольким вышедшим из строя некорректно, на мой взгляд, делать какие-то выводы.

                  Смешаны диски разной наработки — поломка после 5 лет работы и после полугода — это принципиально разный результат.

                  Малое количество дисков WD дополнительно снижает полезность исследования.

                  По сути, можно говорить о двух более-менее обоснованных выводах. Оба подтверждают многочисленные «народные» отклики:
                  — Seagate — ругательное слово. Серия AS/NS — металлолом (из моего опыта — пока приезжал курьер менять один диск по гарантии, ему «в нагрузку» уже лежало 2-3 диска).
                  — HGST — дороговаты, но надёжны.

                  Жаль, мало данных для обоснованного ответа на вопрос — стоит переплачивать за HGST или достаточно WD?
                  • НЛО прилетело и опубликовало эту надпись здесь
                    +1
                    Мне кажется, или такой метод подсчета статистики отказов является спорным и сложным? Имея столь огромный парк железа, достаточно сложно провести равноправное тестирование всех экземпляров.
                    1. Диски приобретались не в один день, и даже не в один год
                    2. Нагрузка на конкретные диски может варьироваться
                    3. В наличии разные количества разных моделей.
                      0
                      Расскажите, кто-нибудь знающий: Я хочу поставить в домашний лэптоп резервный жесткий диск для резервного копирования файлов.
                      Чтение и запись на этот диск производить только по необходимости (бэкап\восстановление), т.е. не для повседневной работы. Внимание вопрос: будет ли «тратиться» ресурс жесткого диска, если я его подключу в компьютер, но не буду пользоваться? Банально вращение же у него будет происходить?
                      Т.е., если будет — то выгоднее всего отключить его в то время, пока не пользуешься?
                        0
                        В windows неиспользуемые диски отключаются (по умолчанию и можно настроить отключение в настройках энергосбережения) таким образом ресурс только на запуске системы и при обращениях к диску будет тратиться.
                          +1
                          Никаким образом убрать отключение USB-дисков в Windows 7-10 у меня так и не получилось, ни в настройках энергопотребления, ни в реестре. Пришлось установить программу KeepAliveHD, которая через выбранный промежуток времени пишет на выбранные диски, чтобы сбрасывать обратный отсчёт до отключения.

                          Читал статью от Гугл, где из их статистики использования огромного количества дисков следовало, что наиболее влияющий на надёжность дисков фактор — количество включений, а не температура. Идеальный режим эксплуатации диска — включить 1 раз и больше никогда не выключать
                          0
                          Ноутбук не лучшее место для хранения бэкапа (он может упасть, его могут украсть, с ним может произойти несчастный случай). Лучше внешний, 3.5" и подключать по необходимости т.к. «будет «тратиться» ресурс жесткого диска» при засыпании, включениях, выключениях хоть для этого и не будет необходимости, связанной с непосредственной работой с бэкапами.
                            0
                            Извините, не так написал, я имел ввиду домашний обычный комп, с системный блоком)) Насчет ноутбука вы правы.
                            Как тогда быть со стационарным жестким диском?.. Похоже, доставать раз в полгода, подключать и пусть специально обученная программа по заранее настроенным папкам делает синхронизацию...)
                              0
                              Как выше заметили очень важно «влияющий на надёжность дисков фактор — количество включений», «Идеальный режим эксплуатации диска — включить 1 раз и больше никогда не выключать». Для ПК можно и просто HDD брать с полки, подключать к SATA, делать бэкап и класть обратно. Но удобнее с USB3 или с карманом (Mobile Rack)
                              фото Mobile Rack

                                +1
                                Я делаю аналогично, только через внешний 3.5" бокс и eSATA. Винт на 4 Тб, всё ценное периодически сливаю на него + бэкап на DVD-болванках.
                                Только в семёрке нет удобного интерфейса для подмонтирования/размонтирования подключаемых по eSATA винтов, что неудобно, приходится в диспетчере устройств искать новое оборудование при подключении и отключать там же винт при отключении.
                                  0
                                  eSATA давно на ПК не видел. Видимо из-за требования внешнего питания и редкости eSATA 3.5" боксов.
                            0
                            «Внимание вопрос: будет ли «тратиться» ресурс жесткого диска, если я его подключу в компьютер, но не буду пользоваться?»
                            «Зелень» от WD при отсутствии обращений паркуется и неактивна, пока его не запросишь. ЧТо же касается моторчика — у него ресурс может составлять сотни тысяч и миллионы часов.
                            +1
                            Непонятно, почему выделены диски HGST. Ведь уже несколько лет это WD.
                              +1
                              Я где-то читал, что WD даёт этому подразделению некоторую самостоятельность. Вероятно, поэтому качество их продукции можно оценивать отдельно
                                0
                                ". It was agreed that WD would operate with WD Technologies and HGST as wholly owned subsidiaries and they would compete in the marketplace with separate brands and product lines." — wikipedia

                                Это не одно и то же, собственник один — разные компании, и в результате — разные резульататы, надежность, бренды. позиционирование на рынке. Это как тойота и лексус.
                                0

                                Крутая статья! Спасибо, очень познавательно. Еще бы такое же по SSD кто-нибудь запилил.


                                ПС: Не смотря на количество часов, выборка в 45 дисков мне кажется маловата, для включения в статистику. Порог должен быть около 100. А для наглядности в статье бы "звёздочку" поставить около этих значений.

                                  +1
                                  Так как диски WD по сути не участвуют в статистике, то выводы для рядового пользователя спорные. Ведь при покупке выбор в основном идет между WD и Seagate, особенно учитывая что две эти конторы скупили всех остальных. Все что понял — HGST как были так и остались весьма надежными, согласно такой статистике
                                    0
                                    Почему не участвуют? Доля может быть и небольшая на них приходится, но абсолютное количество более чем достаточное — дисков WD у них в работе около 1700 штук, которые вместе уже отработали почти 1.5 миллиона дней, т.е. чуть меньше 4000 лет (по 2 с небольшим года на диск в среднем).
                                    Этого вполне достаточно для подведения статистики и надежных выводов — что с качеством/надежностью у WD все неахти. Правда выбрать WD vs Seagate это все-равно не поможет — как говорится «оба хуже» (с) — у Seagate примерно тот же уровень. Точнее с Seagate неодназначно — несколько лет назад у них были откровенно неудачные дерьмовые серии дисков на 1.5-3 ТБ которые дохли как мухи. Следующее поколение уже намного лучше идет и пока похоже получше чем WD по надежности. У WD таких скачков не было — стабильно невысокое.

                                    А вот HGST явно выделяется по надежности в лучшую сторону от остальных. Тошиба — пока не ясно, по ней маловато данных набрали, но вроде промежуточное положение между HGST и WD-Seagate. Я последние примерно 5 лет только HGST и Тошибы беру и домой и на работу — за все 5 лет пока ни один не подвел несмотря на активную работу (обычно 24/7). В магазинах они вполне есть(и зачастую даже чуть дешевле чем аналогичные WD/SG), хоть и меньше и не впариваются так активно как WD и Seagate, так что если покупатель знает чего хочет — купить не проблема.
                                    0
                                    А как быть с WD, когда он уже заметно дышит на ладан, но по смарту как девственник с нулями ремапов?
                                      +1
                                      Оно конечно уже мало кому интересно, но в переводе ключевые ошибки, меняющие смысл.
                                      Короткий ответ — «мы устали»

                                      Не устали «tired», а пытались «tried». То есть не смогли найти хорошего оптового предложения.
                                      Что касается Toshiba, то в Backblaze не считают эти диски оптимальным соотношением цена/качество.

                                      Такого вообще нет в оригинальном тексте.
                                        0
                                        Да, тут такое не редкость у редакторов.
                                        А так уже мало кому интересно. Если есть время/желание можно лучше их пост со свежей статистикой надежности HDD перевести с итогами 2016 года и тут или на хабре опубликовать: https://www.backblaze.com/blog/hard-drive-benchmark-stats-2016/

                                        Свежие, актуальные данные много кому интересны будут.

                                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                      Самое читаемое