Да, графики по Samsung взяты с того ресурса. Там же можно найти больше информации по теории, в частности о TRIM, которую в теоретическую часть статьи решено было не добавлять, в виду и так довольно большой перегруженности. Цель была сократить теорию до минимума, при этом больше остановится на практической части с Over-Provisioning.
Да, графики по Samsung взяты с того ресурса. Там же можно найти больше информации по теории, в частности о TRIM, которую в теоретическую часть статьи решено было не добавлять, в виду и так довольно большой перегруженности. Цель была сократить теорию до минимума, при этом больше остановится на практической части с Over-Provisioning.
Intel 3700 появился, если не изменяет память в 2013-м году. Статья этого года, то, что использовано сравнение серий, снятых с производства — указано в статье:
Пусть, какие-то уже сняты с производства и есть более новые модели, но не в этом суть. Наша цель — понять отличия и принципы выбора, которые, вне зависимости от апдейтов, сильно не изменились.
Мы в дата-центрах не применяем самые новые решения повсеместно, так как не возможно обновлять парк из десятков тысяч серверов каждые 3 года.
Потому, в моем понятии, подобные сроки — действительно недавно. И эти сравнения очень актуальны именно в данный момент.
Админские статьи никто не заставляет писать. Елена сама решила проявить инициативу и взять незнакомую для нее тему и сделать перевод, ошибка — следовало с начала все же хорошо разобраться в вопросе и хотя бы проконсультироваться с администраторами, перед публикацией подобного материала. Татьяна же решила разобраться в вопросе с кодом по Пирамиде смерти с автором той статьи, которая уже была, как оказалось, опубликована на ресурсе — решила выложить публикацию здесь, так как у автора не было достаточно кармы для публикации. Автор и Татьяна напрочь забыли о том, что Хабр это не копи-паст и если статья уже была опубликована в сети — дорога на Хабр ей закрыта. Даже, если она очень хорошая.
You can mention that you are LeaseWeb Reseller, Partner has special conditions, but blaming the rest and putting word to table as you have the best and rest is not good is something we do not want to see.
По поводу этого высказывания, оно переводится как раз так, что реселлер, это и есть партнер (вы можете упоминать, что Вы реселлер, партнер, имеющий спец. условия). К слову сказать по остальной фразе — другой реселлер, который работал исключительно по схеме купи-продай с десятками дата-центров, не вводя никаких спец. сервисов и даже не обновляя сайт годами, и заметив, что у нас продажи выше, нажаловался на нас, что мол мы его обижаем и мы подпортили ему бизнес, оклеветал нас — вот и выдержка с письма и опубликовал ее я (зачем?). Не удивлюсь, если за Вороной, оставившей это — он и скрывается, обиженный реселлер, у которого купи-продай накрылось и которому никогда не достичь хорошего рейтинга на Хабре, так как для этого нужно иметь знания и опыт и аудитория тут это ценит.
Бредогенераторством занимаются наши конкуренты давно, в чем нас только не обвиняли и в связях с СБУ, и что мы такие-сякие, отключаем бедных несчастных клиентов, которые не реагируют на уведомления и что мы чуть ли не месяц должны ждать, после того, как клиент просрочил оплату. Вот только поразительно, мы работаем уже 8 лет и даже в кризис у нас продажи растут. А эти «советчики» на грани фола или закрылись.
А почему? А нам пофиг на мнения хейтеров. Адекватные люди к нам тянутся. Ведь клиент видит, к кому он идет, достаточно задать пару технических вопросов. Мы уважаем клиентов, которые уважают нас. И будем все делать для таких клиентов.
И да, я офигенный менеджер. Самомнение? Имею право на него, я себя не переоцениваю, переоценивать вредно, также, как и недооценивать. Вы за 3 месяца продавали 50 серверов с подключением 10 Гбит / с? Или 150 выделенных серверов в течении месяца? Когда продадите — дадите мне знать. И я скажу тоже самое про Вас.
Спасибо за советы, обязательно к ним прислушаюсь, все совершают ошибки, я совершил свои, за них и сожалею и расплачиваюсь. К слову сказать, блог оплачен из моего кармана :) Но не в деньгах счастье, я никогда их особо не считал и не считаю, не от того, что их много или мало было, а от того, что не в этом был интерес. А на счет имиджа Вы правы, как и на счет того, что я повел себя неверно. Ну такой я человек, привык защищать своих людей. Потому не держите зла и еще раз спасибо за советы.
P.S. Потенциал у Елены действительно очень хороший. Просто не всегда благие намерения носят благой результат :)
Вы извините, я не математик, а физик, и в физике у нас возможны и экспоненциальный рост к единице и сказанная мной фраза не является ошибочной.
На счет той статистики, которую Вы приводите, это при какой нагрузке? Эта статистика при домашнем пользовании. Причем после 4-х лет — вероятность отказа очень сильно стремится к единице по причине именно механического износа.
Есть реальные данные, пользователь привел ниже, из 120 дисков в течении 2,5 лет сбойный диск раз в месяц. Но опять же, эти все значения зависят от нагрузки.
У нас очень много выделенных серверов, но не все пользователи меняют диски (запрашивают у нас замену), когда они вышли из строя. Так как не все умеют сопровождать свои серверы или следят за ними должным образом, а сопровождение у нас заказывает лишь небольшой % клиентов. Потому, к сожалению, наши данные так же были бы малообъективны.
Однако, тут, они примерно дают представление, какой диск и в каких случаях лучше использовать. В этом смысл был этой статьи, объяснить целесообразность применения дисков. Мы не утверждаем, что статистика, приведенная в статье только такая и другой быть не может. Очень много разных параметров нужно учесть. Но понять, какой диск выбрать для того или иного сценария — возможно.
C течением времени вероятность нарастает. Само собой, что интенсивность эксплуатации играет не последнюю роль. Те же десктопные диски производитель считает возможным использовать лишь 8*5 = 40 часов в неделю и значение MTBF указано из этого расчета. После 2-х лет работы (для жестких дисков, которые более подвержены износу ввиду движущихся частей), вероятность выхода из строя нарастает экспоненциально.
Вероятность невосстановимой ошибки не зависит от времени. Она может быть в любой момент, потому в грубом приближении этот способ для конкретной вероятности ошибки верный.
Батарейки — для того, чтоб рейд-контроллер завершил операции и подсчет четностей (контрольных сумм), они не помогут спасти кеш дисков. То, что контроллер умеет отключать кеш — однозначно, об этом и писалось в статье, что его следует отключать.
По поводу того, с чего контроллер решил восстанавливать, если диск «подвис» в результате того, что долго не мог считать проблемный сектор и НА ВРЕМЯ из-за этого был исключен из массива, то после того, как попытки чтения будут завершены и сектор будет все же считан, либо отмечен, как проблемный — диск вернется в массив и будет начата процедура ребилда.
Проблема как раз в том, что контроллер потеряет диск с очень длительным временем доступа, так как массив не может ждать, пока диск ответит, слишком долго.
Вот, реальные данные, как видим, картина может быть даже хуже расчетной.
К слову сказать, у нас парк более 1000 серверов, но мы не видим картины полноценно, так как не все пользователи отслеживают проблемы с дисками, у кого-то диск может быть уже не в рейд-массиве, а люди просто об этом не догадываются.
Потому, что во время ребилда есть вероятность возникновения невосстановимой ошибки на каком-либо другом диске. Что же касается самого ребилда, если диск «выпал» из массива на время, так как слишком долго пытался считать проблемный кластер, то после завершения попытки — он сам же и вернется в массив, при этом будет автоматически запущен ребилд.
Ребилд проводится на всех дисках, когда диск заменили или просто было продолжено использование сбойного диска после того, как он вышел из попытки считывания проблемного кластера. Именно потому все же считаем все диски и случай был рассмотрен с 5 дисками.
Действительно, брался худший сценарий и на практике вероятности могут быть меньше. Тут была больше цель показать, зачем при использовании больших массивов использовать диски RE, а не десктопные, почему не стоит использовать RAID массивы низкого уровня, такие, как RAID5 (безопасность). Само собой, что при выходе из строя одного из дисков в RAID5-массиве, может добавится вероятность краха всего массива по причине того, что RAID станет работать в критичном режиме, если во время не отследить вылетевший диск.
Вы не совсем правильно понимаете указанную вероятность отказа производителем. Вероятность отказа в течении скажем миллиона часов, если речь идет о MTBF, не означает, что 1 диск «проживет» 114 лет, это означает, что из партии в 114 дисков в течении года может выйти из строя один диск (худший сценарий).
Кроме прочего, тут не рассматривалась вероятность отказа диска поностью, тут рассматривалась вероятность невосстановимой ошибки.
Что Вам пришло в голову запускать на сервере с 4x4ТБ SATA и 32Gb памяти и линией с трафиком 100Тб?
Это хорошее предложение для файлового-архива и бекап-решения. С хорошим быстрым каналом. В прочем, параметры этого сервера подлежат корректировке, и если есть желание — можно поставить вместо какого-то из дисков SSD (сделав запрос в отдел продаж) или же увеличить объем трафика, если включенного трафика будет недостаточно.
Крайне просто. SATA — диски для десктопа, SAS — для сервера. В целом это именно так. А в статье об этом ни слова. Первый вопрос, который у клиентов хостера возникает, Вы вообще не рассмотрел.
Pilat, нет же, такое впечатление, что Вы любите комментировать, но не любите читать. Еще раз прочитайте публикацию внимательно. Desktop-диски — это те диски, которые не умеют взаимодействовать эффективно с RAID и для производительности которых очень критичны вибрации.
SATA RE, SATA ENTERPRISE — хорошие СЕРВЕРНЫЕ ДИСКИ, и они идут с интерфейсом SATA. Если диск имеет интерфейс SATA — это во все не означает, что он десктопный.
Также, как в прочем и твердотельные накопители, SSD могут быть, как с интерфейсом SATA, так и SAS, так и вообще PCI Express.
Начнем с того, что SATA/SAS — это всего лишь интерфейсы, а не диски. А диски различаются не только по скорости вращения, как Вы верно отметили, или отсутствию вращающихся частей (твердотельные накопители), но по многочисленным другим характеристикам, которые важны для одних задач и менее важны для других.
Разделение дисков на типы с точки зрения работы в конкурентной среде — зависит от задачи, и подобный обзор вместить в одну статью крайне сложно, потому и запрошено было обсуждение этих проблем в комментариях.
Приветствую, Дмитрий, мы очень признательны Вам за критику, аудитория Хабра очень широкая, кому-то интересны и такие материалы. Мы ориентируемся на широкий охват аудитории. Согласен, что порой качество контента может немного страдать, мы обязательно обратим внимание на его улучшение.
В наших интересах, как и в Ваших, чтоб контент был лучше.
Мы в дата-центрах не применяем самые новые решения повсеместно, так как не возможно обновлять парк из десятков тысяч серверов каждые 3 года.
Потому, в моем понятии, подобные сроки — действительно недавно. И эти сравнения очень актуальны именно в данный момент.
Разъяснения проведены.
По поводу этого высказывания, оно переводится как раз так, что реселлер, это и есть партнер (вы можете упоминать, что Вы реселлер, партнер, имеющий спец. условия). К слову сказать по остальной фразе — другой реселлер, который работал исключительно по схеме купи-продай с десятками дата-центров, не вводя никаких спец. сервисов и даже не обновляя сайт годами, и заметив, что у нас продажи выше, нажаловался на нас, что мол мы его обижаем и мы подпортили ему бизнес, оклеветал нас — вот и выдержка с письма и опубликовал ее я (зачем?). Не удивлюсь, если за Вороной, оставившей это — он и скрывается, обиженный реселлер, у которого купи-продай накрылось и которому никогда не достичь хорошего рейтинга на Хабре, так как для этого нужно иметь знания и опыт и аудитория тут это ценит.
Бредогенераторством занимаются наши конкуренты давно, в чем нас только не обвиняли и в связях с СБУ, и что мы такие-сякие, отключаем бедных несчастных клиентов, которые не реагируют на уведомления и что мы чуть ли не месяц должны ждать, после того, как клиент просрочил оплату. Вот только поразительно, мы работаем уже 8 лет и даже в кризис у нас продажи растут. А эти «советчики» на грани фола или закрылись.
А почему? А нам пофиг на мнения хейтеров. Адекватные люди к нам тянутся. Ведь клиент видит, к кому он идет, достаточно задать пару технических вопросов. Мы уважаем клиентов, которые уважают нас. И будем все делать для таких клиентов.
Помимо прочего — я не скрываю своих недостатков или неопытности в чем-то, я готов это признавать и учусь на своих ошибках, я даже честно написал всю правду "«ua-hosting.company» или как стать хостинг-провайдером с нуля и сгенерировать трафика больше, чем вся Беларусь".
И да, я офигенный менеджер. Самомнение? Имею право на него, я себя не переоцениваю, переоценивать вредно, также, как и недооценивать. Вы за 3 месяца продавали 50 серверов с подключением 10 Гбит / с? Или 150 выделенных серверов в течении месяца? Когда продадите — дадите мне знать. И я скажу тоже самое про Вас.
Причем все мои клиенты — довольные люди.
P.S. Потенциал у Елены действительно очень хороший. Просто не всегда благие намерения носят благой результат :)
Вы извините, я не математик, а физик, и в физике у нас возможны и экспоненциальный рост к единице и сказанная мной фраза не является ошибочной.
На счет той статистики, которую Вы приводите, это при какой нагрузке? Эта статистика при домашнем пользовании. Причем после 4-х лет — вероятность отказа очень сильно стремится к единице по причине именно механического износа.
Есть реальные данные, пользователь привел ниже, из 120 дисков в течении 2,5 лет сбойный диск раз в месяц. Но опять же, эти все значения зависят от нагрузки.
У нас очень много выделенных серверов, но не все пользователи меняют диски (запрашивают у нас замену), когда они вышли из строя. Так как не все умеют сопровождать свои серверы или следят за ними должным образом, а сопровождение у нас заказывает лишь небольшой % клиентов. Потому, к сожалению, наши данные так же были бы малообъективны.
Однако, тут, они примерно дают представление, какой диск и в каких случаях лучше использовать. В этом смысл был этой статьи, объяснить целесообразность применения дисков. Мы не утверждаем, что статистика, приведенная в статье только такая и другой быть не может. Очень много разных параметров нужно учесть. Но понять, какой диск выбрать для того или иного сценария — возможно.
По поводу того, с чего контроллер решил восстанавливать, если диск «подвис» в результате того, что долго не мог считать проблемный сектор и НА ВРЕМЯ из-за этого был исключен из массива, то после того, как попытки чтения будут завершены и сектор будет все же считан, либо отмечен, как проблемный — диск вернется в массив и будет начата процедура ребилда.
Проблема как раз в том, что контроллер потеряет диск с очень длительным временем доступа, так как массив не может ждать, пока диск ответит, слишком долго.
К слову сказать, у нас парк более 1000 серверов, но мы не видим картины полноценно, так как не все пользователи отслеживают проблемы с дисками, у кого-то диск может быть уже не в рейд-массиве, а люди просто об этом не догадываются.
Кроме прочего, тут не рассматривалась вероятность отказа диска поностью, тут рассматривалась вероятность невосстановимой ошибки.
Это хорошее предложение для файлового-архива и бекап-решения. С хорошим быстрым каналом. В прочем, параметры этого сервера подлежат корректировке, и если есть желание — можно поставить вместо какого-то из дисков SSD (сделав запрос в отдел продаж) или же увеличить объем трафика, если включенного трафика будет недостаточно.
Pilat, нет же, такое впечатление, что Вы любите комментировать, но не любите читать. Еще раз прочитайте публикацию внимательно. Desktop-диски — это те диски, которые не умеют взаимодействовать эффективно с RAID и для производительности которых очень критичны вибрации.
SATA RE, SATA ENTERPRISE — хорошие СЕРВЕРНЫЕ ДИСКИ, и они идут с интерфейсом SATA. Если диск имеет интерфейс SATA — это во все не означает, что он десктопный.
Также, как в прочем и твердотельные накопители, SSD могут быть, как с интерфейсом SATA, так и SAS, так и вообще PCI Express.
Разделение дисков на типы с точки зрения работы в конкурентной среде — зависит от задачи, и подобный обзор вместить в одну статью крайне сложно, потому и запрошено было обсуждение этих проблем в комментариях.
В наших интересах, как и в Ваших, чтоб контент был лучше.