Превращение стандартной супермикровской наклейки «Assembled in USA» в «ага, вот оно, ЦРУ серверы собирает для нас с закладками» — это и есть теория заговора, когда на самом деле всё прозаично. Пленка под радиаторами, отсутствие задней стенки, отсутствие райзера (на супермикровском была бы крупная белая надпись «Designed in USA», что не очень хорошо для пиара) и SATA-кабелей — речь идёт об одном-двух экземплярах, мол, смотрите, а у нас свой сервер есть. Под это дело и была закуплена/разобрана платформа.
Насколько эта ситуация свидетельствует об уровне показушности, бардака и распила — сказать не берусь, время покажет. На Хабре или Geektimes была недавно убедительная статья о том, что догнать и перегнать Intel уже нельзя (рынок сбыта, объём инвестиций и т.д.), но сделать какой-нибудь нишевый продукт для вояк вполне можно. Пока что производительность мы видим производительность начала 2000-х и цену из 1980-х.
Как сотрудник одного из дистрибуторов Supermicro могу рассказать правдоподобную версию про наклейку:
Сервер Эльбрус помещён в корпус Supermicro 818-й серии. Например, такой. Это китайская компания, изо всех сил пытающаяся казаться американской. Большую часть корпусов/БП для них делает китайский Ablecom.
Наклейка «Assembled in USA» бывает только на некоторых платформах Supermicro (корпус + мать).
Это какая-то мелкая опытная партия или даже единичный экземпляр, так что скорее всего под это дело где-то добыли в Москве несколько готовых платформ, например 8015C-TB или 8016B-TF и разобрали их, так как отдельно 818-е корпуса никто на склад не закупает, уж больно специфичны.
P.S. На фото почему-то нет райзера. Во-вторых, сама идея предлагать недешёвый 4P сервер исключительно в исполнении 1U, с одним БП и одним слотом расширения выглядит неубедительно. Ждём 2U.
Тут вариант с кислотой из шприца предлагали, но есть же и более экзотические способы. Можно поймать ксеноморфа и приковать его цепями к серверу. По тревоге стрелять в него из дробовика.
Как я понял, данная статья — это просто переведённый кусок документа HGST-Delivers-Rebuild-Assist-Mode-for-Faster-RAID-Recovery-WP23.pdf
Перевели вводную часть, а рассказать, как работает этот волшебный Rebuild Assist забыли.
На самом деле всё просто: вместо того, чтобы полностью ребилдить содержимое упавшего диска через контрольные суммы, мы можем сначала скопировать данные с неповрежденных областей на hot-spare диск, а восстанавливать уже только поврежденный остаток. Предприняты шаги для стандартизации этой технологии в спецификациях SCSI SBC-3 и SATA 3.2.
То же самое есть у Seagate и наверняка у Toshiba/WD. Вот как дела обстоят с поддержкой для популярных аппаратных RAID-контроллеров или со стороны производителей готовых СХД — неизвестно. Может быть, у вас есть такая информация?
Я вот только что от безделья задался вопросом: насколько полезным занятием было бы улучшение статей в русскоязычной википедии по айтишной терминологии? В первую очередь — всё, что связано с хранением данных. Сравните ту же статью по FC в русской и английской вики — разница в качестве существенная.
С одной стороны — сизифов труд. Все, кому нужны даже просто базовые знания на уровне энциклопедической статьи способны заглянуть в англоязычную вики, за подробностями — в документацию от вендоров, которую всё равно никто переводить не собирается. С другой стороны — это поможет немного добавить знаний в низкоквалифицированный слой под названием «мы в школе немецкий учили», что будет в целом полезно для рынка.
+1
Для крупных заказчиков цена часто стоит не на первом и даже не на третьем месте. Чрезмерное уплотнение конкуренции с повальным демпингом становится в конечном итоге невыгодным даже для заказчиков.
Так что простого рецепта «давайте все перейдём на DotHill и сэкономим 20-40%» нет. Возможности по сервису просто не сопоставимы. В каких-то случаях это можно обойти: удаленность от с/ц — хранение ЗиП на месте эксплуатации, поддержка — достаточность удалённой поддержки 8x5 от партнера или 24x7 от самого DotHill. Но бывают жесткие SLA с гарантированным временем восстановления при отсутствии квалифицированного персонала на месте, и/или просто корпоративные стандарты, в конце концов.
Я понимаю, куда вы клоните. Будущее — за NVMe, где действительно удалось сбросить SCSI с парохода современности. Вот только полноценных реализаций SAN на базе NVMe пока что не предвидится. Были какие-то концепты с парой инициаторов и стандартизацией внешних интерфейсов год назад. Как оно сейчас живет, не помню.
Даже на десктопных SSD можно увидеть минимальные (т.е. на синтетических тестах с QD=1) значения задержки близкие к 60µs (попадает в RAM-кэш) SSD, на чтение 200-300µs вполне достижимы. Тут, конечно, добавляется прослойка в виде FC.
Не помешало бы определить, на что способна система в плане минимальных задержек, и сколько мы можем увидеть IOPS'ов при приемлемом значении задержки.
Как будет выглядеть кластер из двух потребителей если нужен внешний RAID контроллер?
Не обязательно. Ещё бывает Clustered Storage Spaces со своими плюсами и минусами. Из минусов, например — удручающе низкая производительность на запись. Что-то рандомное и/или непродолжительное легко компенсируется SSD write-back кэшом + тирингом на SSD.
При всём уважении — мне непонятно, что вы тестировали. Точнее понятно, что в итоге тестировали производительность Storage Spaces («Тестирование производилось в конфигурации отказоустойчивого файлового кластера...»), но при чём тут SAS JBOD? Я уже не говорю, несколько запусков ATTO Disk Benchmark вряд ли можно назвать тестирование производительности, когда есть fio / iometer / vdbench с описанием методики измерения. Особенно это касается SSD с их непостоянной производительностью на запись.
Момент номер два — какие-то странные маркетинговые ляпы в тексте:
Intel® Storage System JBOD 2000 Family – это не просто системы хранения или дисковая полка, это полноценные DAS (Direct Attach Storage).
Нет, это обычный JBOD, отличающийся от большинства готовых JBOD'ов возможностью вывести по два 4xwide SAS порта с каждого экспандера, что делает JBOD пригодным для кластеров на базе Storage Spaces или Avago Syncro CS. Такие же JBOD'ы, только с меньшей мешаниной проводов (экспандеры являются частью бэкплейна), есть у некоего S-вендора.
«Полноценный DAS» в общепринятом понимании — это полноценная СХД, отдающая наружу тома вместо отдельных дисков и имеющая сопутствующий функционал (снапшоты, клонирование томов и т.п.), пример — тот же MSA2040 в SAS-исполнении
сравнительно малые размеры 2U позволяют повысить максимально возможную дисковую плотность
Нет, не позволяют. В стандартном форм-факторе 2U-24xSFF совершенно ничего высокоплотного нет. «Повысить дисковую плотность» — это, например, вот так.
1) Не, на ZFS у них совсем другой, отдельный продукт — Jovian DSS. В обычном Open-E единственный плюс — простой web-интерфейс, те же самые 2-узла с drbd или Syncro CS там может поднять даже неподготовленный человек относительно быстро. А вот дальше начинаются проблемы, связанные с тем, что Linux там со всех сторон огорожен, ни логи нормально посмотреть, ни производительность помониторить (те графики, что есть — ни о чём). Еще, ЕМНИП, там проблема с PR'ами при переезде решена.
4) Это, как и Open-E на тот случай, если корпоративными стандартами не предусмотрен полный самосбор с самоподдержкой.
>>«Прямого контакта у контроллеров друг с другом нет. SAS expander животное тупое (не все, но...), порты как встали в режим таргета, так и стоят, то есть контроллеры по SAS друг друга не видят»
Вот именно что видят и кэши синхронизируют по SAS. В обоих SAS-доменах присутствуют оба контроллера. Работает всё только в связке с экспандерами LSI.
Storage Spaces — это конечно хорошо, если обойти его слабые стороны (беда с записью на parity/dual parity пулы без SSD в качестве WB-кэша и быстрого яруса), но:
1) Автору нужен был FC таргет и/или (даже если бы устроил iSCSI) больше опыта с кластеризацией в Linux.
2) Откуда там Active-Active? Storage Spaces выступает в качестве основы для обычного MS Failover Cluster, а на нём iSCSI-таргет — ЕМНИП, вот так это выглядит.
3) Как Storage Spaces масштабируется на большое кол-во SSD? Есть ли у Вас опыт? Есть подозрение, что весьма неплохо, если не забывать про правильное кол-во столбцов, но просто не было возможности измерить.
Насколько эта ситуация свидетельствует об уровне показушности, бардака и распила — сказать не берусь, время покажет. На Хабре или Geektimes была недавно убедительная статья о том, что догнать и перегнать Intel уже нельзя (рынок сбыта, объём инвестиций и т.д.), но сделать какой-нибудь нишевый продукт для вояк вполне можно. Пока что производительность мы видим производительность начала 2000-х и цену из 1980-х.
P.S. На фото почему-то нет райзера. Во-вторых, сама идея предлагать недешёвый 4P сервер исключительно в исполнении 1U, с одним БП и одним слотом расширения выглядит неубедительно. Ждём 2U.
Перевели вводную часть, а рассказать, как работает этот волшебный Rebuild Assist забыли.
На самом деле всё просто: вместо того, чтобы полностью ребилдить содержимое упавшего диска через контрольные суммы, мы можем сначала скопировать данные с неповрежденных областей на hot-spare диск, а восстанавливать уже только поврежденный остаток. Предприняты шаги для стандартизации этой технологии в спецификациях SCSI SBC-3 и SATA 3.2.
То же самое есть у Seagate и наверняка у Toshiba/WD. Вот как дела обстоят с поддержкой для популярных аппаратных RAID-контроллеров или со стороны производителей готовых СХД — неизвестно. Может быть, у вас есть такая информация?
С одной стороны — сизифов труд. Все, кому нужны даже просто базовые знания на уровне энциклопедической статьи способны заглянуть в англоязычную вики, за подробностями — в документацию от вендоров, которую всё равно никто переводить не собирается. С другой стороны — это поможет немного добавить знаний в низкоквалифицированный слой под названием «мы в школе немецкий учили», что будет в целом полезно для рынка.
You feel very nauseous, and after some mild vomiting, slightly fatigued
Для крупных заказчиков цена часто стоит не на первом и даже не на третьем месте. Чрезмерное уплотнение конкуренции с повальным демпингом становится в конечном итоге невыгодным даже для заказчиков.
Так что простого рецепта «давайте все перейдём на DotHill и сэкономим 20-40%» нет. Возможности по сервису просто не сопоставимы. В каких-то случаях это можно обойти: удаленность от с/ц — хранение ЗиП на месте эксплуатации, поддержка — достаточность удалённой поддержки 8x5 от партнера или 24x7 от самого DotHill. Но бывают жесткие SLA с гарантированным временем восстановления при отсутствии квалифицированного персонала на месте, и/или просто корпоративные стандарты, в конце концов.
Не помешало бы определить, на что способна система в плане минимальных задержек, и сколько мы можем увидеть IOPS'ов при приемлемом значении задержки.
Не обязательно. Ещё бывает Clustered Storage Spaces со своими плюсами и минусами. Из минусов, например — удручающе низкая производительность на запись. Что-то рандомное и/или непродолжительное легко компенсируется SSD write-back кэшом + тирингом на SSD.
Момент номер два — какие-то странные маркетинговые ляпы в тексте:
Нет, это обычный JBOD, отличающийся от большинства готовых JBOD'ов возможностью вывести по два 4xwide SAS порта с каждого экспандера, что делает JBOD пригодным для кластеров на базе Storage Spaces или Avago Syncro CS. Такие же JBOD'ы, только с меньшей мешаниной проводов (экспандеры являются частью бэкплейна), есть у некоего S-вендора.
«Полноценный DAS» в общепринятом понимании — это полноценная СХД, отдающая наружу тома вместо отдельных дисков и имеющая сопутствующий функционал (снапшоты, клонирование томов и т.п.), пример — тот же MSA2040 в SAS-исполнении
Нет, не позволяют. В стандартном форм-факторе 2U-24xSFF совершенно ничего высокоплотного нет. «Повысить дисковую плотность» — это, например, вот так.
4) Это, как и Open-E на тот случай, если корпоративными стандартами не предусмотрен полный самосбор с самоподдержкой.
Вот именно что видят и кэши синхронизируют по SAS. В обоих SAS-доменах присутствуют оба контроллера. Работает всё только в связке с экспандерами LSI.
1) Автору нужен был FC таргет и/или (даже если бы устроил iSCSI) больше опыта с кластеризацией в Linux.
2) Откуда там Active-Active? Storage Spaces выступает в качестве основы для обычного MS Failover Cluster, а на нём iSCSI-таргет — ЕМНИП, вот так это выглядит.
3) Как Storage Spaces масштабируется на большое кол-во SSD? Есть ли у Вас опыт? Есть подозрение, что весьма неплохо, если не забывать про правильное кол-во столбцов, но просто не было возможности измерить.