Pull to refresh

Comments 47

Спасибо, познавательно, жду продолжения.
В последнее время стали появляться полки высокой плотности, например 60 дисков в 4U от IBM (EXP5060):
image
а некоторые компании планируют ещё больше дисков напихать. Компаниям, которые такое железо будут использовать, понадобятся очень сильные инженеры :)
Сколько ж туда 2.5" влезет, жуть…
А смысл 2.5 пихать в таких количествах? Зато если набивать 4ТБ 3.5" дисками — то 240ТБ всего в 5U стойки, 4U полка + 1U сервер, а это очень даже экономное расходование свободного места.
Backblaze пока выгоднее по цене и наличию «сервера» уже в хранилище. Кстати если у них брать только корпус, то 1 контроллер и пара экспандеров делают вариант дешевого DAS.
Я знаю про Backblaze, правда руками не щупал, они уже несколько лет продают свои железки. Из минусов, которые сразу вижу: совсем дохлые материнки. 32 гига памяти на такие объёмы это мало, только если видео хранить. Есть ли в природе miniATX матери с поддержкой большего объёма памяти и аналогами iLo? Не очень понятно, как решена проблема с кабелями при выдвигании на рельсах (они на некоторых картинках встречаются), и вроде бы нету лампочек идентификации дисков. Не очень понятен вопрос горячей замены дисков.

В общем, самопал — это не всегда хорошо, зачастую лучше доплатить и взять брендовую железяку.
Можно брать только корпус, остальное свое.
Хотя корпуса есть где и подешевле взять, а если делать их самому, то 1 в 1 точно такие же выходят в 21 тыс (если не мелочится)
Так там внутри место под материнку только под miniATX или больше?
bitblaze.ru/8-storage-systems-bitblaze.html — вот в РФ ребята, которые под ключ делают решение.

Я на продажу корпуса не делал, но фактически тоже самое. Мать полноразмерная влезает (нужно минимум 3 pci-e)
Хм, взял я сейчас 2.5" и 3.5" диски в руки, покрутил, да нет смысла. Даже если на место одного 3.5" диска встанет 4 2.5«1ТБ, то объем останется тот же, но им еще жарче будет.
Не забывайте про IOPS. У четырех 2.5'' дисков IOPS будет в 4 раза больше чем у одного 3.5''.
Тут смысл несколько иной.
Например, возьмем диски 3.5" и 2.5" 1ТБ SATA и 600GB SAS.
Диски 2.5" будут дороже по цене, но менее энергопотребляющими и меньшими по размеру.
Если надо набрать просто дисковое пространство, то выгоднее брать 3.5".
А вот если нужна производительность, то лучше взять как можно больше дисков 2.5" самого малого объема.
image
Чуть меньше дисков при том же объеме (4Tb диски работают без проблем)
Только это очень ненадежное решение, отказы будут происходить достаточно часто (из-за использования дешевых десктопных комплектующих) и хотсвапа нет — неудобно. И по плотности не превышает вот это: www.supermicro.ru/products_spec_1064.html, если там 5U.
Хотсвап есть, мультипликаторы позволяют.
ZFS работает хорошо :) особенно при кэше на ssd

У супермикро там 36 дисков всего :(
Ну такой сервер из стойки надо выкручивать, чтобы диск заменить, это не хотсвап. Был бы хоть на рейках и выезжал так, чтобы диски можно было просто достать… Хотя, если высоко стоит, диски менять все равно очень неудобно.

36 дисков в супермикро на 4U, а тут сколько? В прочем, есть и 4U решение на 45 дисков, но без сервера(

Сколько такой корпус стоит вместе с экспандерами?
Такой корпус просто достается до уровня вентиляторов после дисков из стойки на салазках и «развлекайся» сколько влезет. Все на лету меняется без проблем.
Тем не менее, надежность и удобство такой конструкции крайне низкое, оправдано может быть только в случае, если сервер в сборе с 4ТБ винтами получается существенно дешевле того-же supermicro или аналогов.
Вы думаете что супермикро сильно прочнее?
Тут дело не только в прочности. Во-первых, там несколько иной механизм вставки винтов, надо постараться, чтобы вставить его неправильно, повредив бекплейн.

Во-вторых, sil контроллеры и десктопные комплектующие работают намного хуже серверных решений. Сейчам мы потихоньку переходим от корпусов, подобных тому, что на картинке выше на супермикро, количество отказов уменьшилось в разы (хотя поменяли только половину). За полгода по супермикровскому железу ниодного отказа, а из обычных серверов минимум 1-2 раза в неделю кто-то да упадет.

К слову, замена sil на адаптек несколько улучшило ситуацию. sil просто уносит только дай на него нагрузку. Однако, даже с дорогими lsi контроллерами такие вот полусамопальные решения на десктопном железе работает хреновенько.

А еще у Супермикро есть лампочки на всех винтах, не нужно догадываться, какой винт нужно поменять (можно, конечно, наклеечки лепить, но это как раз решение в духе красного корпуса;) Это уже не говоря о встроенном ipmi и дублированном питании.
Ни кто не говорит про самопальные решения: берите железо нормальное. Корзины готовые с экспандерами взять даже можно на 4/5 дисков. Правда там по высоте впритык выходит совсем.
Засунуть десктоп в сервер, да еще на китайских sil — это то, что я называю самопальным решением. Пусть даже его делали на каком-то производстве. Тут не гарантируется ни нормальное охлаждение, ни отсуствие вибраций винтов, ни скорость доступа, ни надежность (куча явных точек отказа: sil, один БП, обычная память, непонятная проводка). Каждый их тех пунктов, что я перечислил выше, приносил и приносит нам немалый геморрой уже при нескольких десятках серверов, что постоянно под нагрузкой.
С парой сотен таких серверов, наверное, придется огранизовать в ДЦ круглосуточное дежурство, чтобы поднимать все это добро постоянно.
UFO just landed and posted this here
Вы не путайте режимы работы десктопа и сервера, который постоянно под нагрузкой, активно читает и пишет с винтов и общается по сети со скоростью несколько гигабит или даже несколько десятков гигабит. У сервера, малейшая ошибка в работе железа может всплыть практически сразу. На десктопе к сбойному участку памяти обращений может не быть месяцами, да и ошибка ввода-вывода приведет к незаметному замедлению работы, а не тому, что скопится огромная очередь запросов.
да хоть 100 дисков, контроллер то один, плата одна, т.е. точек отказа — полно. Это решение для файловой помойки с незначительной информацией.
Ну чего один. Даже в 36 дисковых серверах 2 экспандера, тут 3. Можно поставить 3 контроллера, если надо. Не уверен насчет этого решения, но в других корпусках такого плана, есть возможность подключить резервный mini-sas линк для каждого экспандера (т.е. чтобы все вырубилось, нужно чтобы 2 контроллера умерло сразу).

В прочем, столкнуться с тем, чтобы контроллер или экспандер сгорел во время эксплуатации это что-то из области фантастики (такое бывает, конечно. но очень редко). В таких серверах точка отказа, это инженер, что может сноги диск заграть в слот и потом придется разъем перепаивать на сервисе.

Но вообще, конечно, не стоит надеяться на один сервер. Надежность сохранения тут невысокая, его могут как минимум уронить, вынимая из стойки или питание может пропасть и к данным не будет доступа. Резервирование никто не отменял. Вопрос в стоимости и обслуживания этого всего дела. В самопальных серверах очень большая вероятность закрепить винты так, что они умрут от вибраций через месяц. Особенно, в таком как показан выше, там вообще неясно, как они прикручиваются.

По опыту, в самопальных корпусах (фабличных, но не настоящих серверных, типа как выше), 1% винтов приходится менять раз в месяц (т.е. из 100 винтов один вылетает минимум), в серверах несколько сотен винтов у меня живут уже месяцев 8, у серверов аптайм такой-же и ничего пока не вылетело, хотя винты используем одинаковые.
Варианты есть при должном желании:
www.supermicro.com/products/nfo/sbb.cfm — старая сббха на 3.5. имеет свои капризы, но работает.
www.supermicro.com/products/system/2U/2026/SSG-2026T-DE2R24L.cfm — новая сббха под 2.5 для решений кластер в коробке.
У обоих имеются SAS порты расширения для подвешивание JBOD или более интеллектуальных девайсов типа Engenio(хоть Engenio и поумнее этой башки будет).
Для инфраструктурных обеспечений SAS фабрик существую такие забавные штукенции: www.lsi.com/channel/russia/products/storagecomponents/Pages/LSISAS6160Switch.aspx
При таком размещении дисков на контактную площадку с бОльшей силой давит достаточно увесистый модуль диска. Поэтому на печатной плате появляются микротрещины и надежность бэкплейна падает.
Лучше не бэкплейн, а экспандер брать, правда тогда коннекторы диска удобнее оставлять сверху.
Ни что не мешает, кстати, ограничители ставить для дисков.
Спасибо, я не нашел эту картинку. Это Engenio, бывший LSI. Полка называется Wembley. Сзади поддерживает стандарт SBB2. Теперь NetApp. на 2.5'' планировали 100 дисков в 4U, пока не продали. Такие от LSI стоят в суперкомпьютере МГУ Ломоносов, #13 на момент строительства.
IBM — это OEM, тот кто продает. А производитель — подразделение Engenio Storage Group, ранее принадлежавшее LSI и пару лет назад проданное в NetApp. А Wembley — внутренний коднэйм продукта.
Ага, тогда понятно. А у вас случаем нет картинок полок на 75 дисков?
Интересно, жду продолжения. Уже давно с таким интересом не читал статей на хабре.
Насколько оправданы 2.5 диски в таких системах хранения?
Только если 2.5 это ssd для кэширования. Если просто для хранения, то совсем не оправдано.
Соотношение цена/объем для пока 2.5'' хуже. Вопрос в том, насколько вам важна плотность в стойке?
Оправданы. Но смотря для чего. Для дисков 3.5" уже доступны диски в 4TB, например.
А для «оперативных», а не «емкостных» применений, конечно 2,5" выгоднее, они и применяются.
Каждому целевому устройству (“таргету”) присваивается отдельный идентификатор SCSI Target ID.
Уточните, пожалуйста, WWN или «SCSI target ID»?
WWN — более широкое понятие и фактически является аналогом мак адреса в FC.
SCSI target ID — абсолютно тоже самое, но с одной поправкой — SAS.
Небольшая цитатка:
"… In SAS, both SCSI port identifiers and SCSI device names take the form of a SAS address, which is a 64 bit value, normally in the NAA IEEE Registered format. People sometimes call a SAS address a World Wide Name or WWN, because it is essentially the same thing as a WWN in Fibre Channel. ..."
Стоп, так это всё-таки число? Я считал, что устройства друг друга по WWN идентифицируют, а WWN содержит строку.
Это UID, 64-битное число. Чаще всего его записывают в HEX-формате.
Очень интересно, особенно в свете моей задачи: собственный корпус на 48 винтов 3,5" форм-фактора
Sign up to leave a comment.

Articles