Комментарии 40
1) Цивилизованный способ установки 2,5" в 1U корпуса Supermicro (813, 815, 816, 818, 819) и в другие с тонкими заглушками под slim-FDD и slim-CD:
MCP-220-83601-0B — лоток в тонкий отсек (когда-то туда ставили slim-FDD) вместо показанной на вашем фото заглушки
MCP-290-00036-0B — лоток в отсек для привода
2) MCP-220-00044-0N — кронштейн для двух 2,5" дисков в 1U корпуса без горячей замены (502, 503 и т.п.) или 5,25" лоток-заглушку tower-корпусов
3) В 825 корпусах два лотка слева сверху, над hot-swap отсеками, вынимаются (про это знают далеко не все) — туда можно установить 3,5" или 2,5" диск без дополнительных приспособлений.
4) В 846 корпусах есть возможность установки дополнительного одного 3,5", или 2,5" или 2x 2,5" дисков
MCP-220-83601-0B — лоток в тонкий отсек (когда-то туда ставили slim-FDD) вместо показанной на вашем фото заглушки
MCP-290-00036-0B — лоток в отсек для привода
2) MCP-220-00044-0N — кронштейн для двух 2,5" дисков в 1U корпуса без горячей замены (502, 503 и т.п.) или 5,25" лоток-заглушку tower-корпусов
3) В 825 корпусах два лотка слева сверху, над hot-swap отсеками, вынимаются (про это знают далеко не все) — туда можно установить 3,5" или 2,5" диск без дополнительных приспособлений.
4) В 846 корпусах есть возможность установки дополнительного одного 3,5", или 2,5" или 2x 2,5" дисков
Единственный цивилизованный способ добавления дисков в сервера HP.
Почему единственный? MSA — не единственное семейство СХД у HP. Да и JBOD'ы (AKA дисковые полки) никто не отменял — D3700, D6000.
Мы предлагаем аналогичные способы добавления дисков к серверам с помощью полок Huawei и Dell от 30 000 руб.
На самом деле, не единственный. Можно повесить полку расширения на внешний sas-контроллер, можно добавить верхний бэкплейн… Но то, что описано в статье за гранью добра и зла, хе-хе.
Выяснили, что диски 6 TB также прекрасно работают, как и диски на 1 TB. Нет никакой разницы. Документация к материнской плате была составлена в 2009 году...
Применительно к Supermicro этот момент требует уточнения:
1) Лимит в 3 ТБ в платах X8xxx на чипсетном SATA (синдром — диски определяются как 750 ГБ). Источники проблемы — старый BIOS и/или старый драйвер Intel RSTe (если используется RAID-режим), остается все прошить и обновить.
2) Лимит в 2/3 ТБ на старых контроллерах. Например, есть X8DT3 с набортным SAS на базе LSI 1068E — прошивки от Supermicro старые (2010 год последняя, ЕМНИП), лечится прошивкой fw от LSI HBA. И есть похожая X8DT6, где уже такой проблемы нет, на борту — LSI 2008, который до сих пор поддерживается.
Можно ещё вспомнить семейство старых контроллеров совместной разработки с Adaptec (AOC-USAS-Sxxx) — появились в тех же 2007-2008-х годах, и их поддержка была почти сразу заброшена.
Ламерский вопрос: а разве такое «запихивание» жестких дисков не перекрывает столь важные участки для потоков воздуха? Ведь не зря производитель сверху и снизу от HDD оставляет места для движения воздуха и их обдува. А вы наверное лучше меня знаете, что оптимальная работа HDD крутится в районе 20-40 градусов.
сервер Supermicro
Спасибо, не надо.
Читая статью все ждал, когда же на помощь придет дремель и синяя изолента.
А что не так с Supermicro?
Может быть, субъективщина, но везде где мне доводилось встречать эти изделия, была такая вот кустарщина. Скотч и синяя изолента — это верный спутник пользователя супермикро, что как бы намекает: не все там хорошо с проектированием.
Ну и с надежностью тоже. Думается, что в условиях крайнего дефицита бюджета лучше собрать что-то из комплектующих самостоятельно под задачу. А если денег чуть больше, то поглядеть на большую тройку.
Ну и с надежностью тоже. Думается, что в условиях крайнего дефицита бюджета лучше собрать что-то из комплектующих самостоятельно под задачу. А если денег чуть больше, то поглядеть на большую тройку.
Вот не соглашусь. Много раз слышал "фу", но сколько не работал с этими серверами, ничего плохого сказать не могу. Соотношение цена/качество хорошее. Если не держать в закрытой пыльной кладовке (и такое видел не раз, да), то вполне себе работают годами.
А "самосбор" чреват левизной комплектующих и нестыковками.
А "самосбор" чреват левизной комплектующих и нестыковками.
Вот у меня всего две супермикры в хозяйстве — одна древняя 2010-го года производства, вторая — новейшая 2015-го. Сейчас не полезу искать модели — просто расскажу о том, каково это.
Супермикра №1 (2010) — периодически теряет все жесткие диски при рестарте. Холодный ребут, полный рестарт — не помогает. Помогает достать молекс из бэкплейна и вставить его обратно. Меняли и материнку (контроллер встроенный), и бекплейн, и харды, и кабели, и шлейфы, и блок питания — всё безрезультатно. Забили и отдали играться как сторидж для всякой ненужной фигни.
Супермикра №2 (2015) — приехала в качестве антикризисной замены вышеупомянутой мною дисковой полке от хп. Купили в неё контроллер LSI 9271-8i, и для подключения жестких дисков — интеловский сас экспандер, устанавливающийся под бекплейном. В реальной жизни расположение молексов на бэкплейне исключало возможность подключения экспандера — он туда тупо не влазил. Пришлось вернуть его в магазин и поменять на такой же, но занимающий один PCIE слот (и при этом его не использующий).
Начали ставить ОС с собирания рейда. Адовый LSIшный WebBIOS выглядит как привет из 90-х, через родной IPMI в нем почему-то не работает мышка, управлением им с клавиатуры — знатное испытание нервов на прочность, а их командная строка — это нечто, я просто хочу посмотреть в глаза тому человеку, который это писал. Avago manager при незаряженной батарее куда-то теряет контроллеры (при этом они продолжают работать нормально, просто их не видно в Avago), в это время не работает мониторинг состояния дисков.
Ок, это всё LSI\Avago — скажете Вы. Но LSI у супермикр — в том числе и онборд контроллер (кстати, на онборд почему-то нельзя добавить ни BBU, ни writeback кеш, т.е. он бесполезен чуть более, чем полностью).
IPMI — это беда. Начнем с того, что оно всё время просит java в браузере — притом, что без неё вполне сносно работает. Но на каждый клик в интерфейсе оно будет об этом напоминать — даже если эта самая java у вас стоит и спокойно работает со всеми остальными сайтами. IPMI умеет слать алерты, делать KVM, включать-выключать сервер и считывать данные с датчиков через i2c. Можно апдейтить BIOS — но за отдельные бабки, как будто это киллер-фича. Очевидно, что ничем типа iLo Federation тут и не пахнет. KVM, кстати, неплохо работает — тут ничего плохого сказать не могу. Разве что папки не умеет пробрасывать как флешки, да ctrl+alt+del закопан в двух уровнях вложенного меню, но это уже так себе придирки.
Начинаем грузить винду через uefi и обращаем внимание, что не прёт. Ок, тыктыкаем биос, находим уефи, со второго раза вроде пошло.
Обращаем внимание, что на уефи бутскрине зачем-то оставили надпись "Press F2 to enter Setup". На всякий случай попробовал, но чуда не произошло — так что это не странная фича, а просто распиздяйство. Ок.
Окошки встали без запар (пришлось только колхозить образ в ультраисо с драйверами LSI — потому как монтировать папку IPMI не умеет), начинаем искать по всему интернету драйвера. Какой там пролиант саппорт пак, забудьте! Всё отдельно, прям как на моём десктопе. А BIOS нужно апдейтить загрузкой в MS-DOS, ну вы поняли. Прошивки жесткого диска предлагается получать у производителей жестких дисков, при этом идентифицировать их через ОС нельзя (и прошить через lsi тоже нельзя) — только вынимать. Так что будем надеяться, что выбранный нами HGST не подведет.
В остальном — ощущение что пересел с не слишком новой иномарки (HP DL380G7) на автоваз. На бумаге характеристики-то вроде лучше, цена приятнее — но создаётся ощущение, что всё очень отдельно, и работаю не с сервером, а с россыпью комплектухи. Всё заводится и ездит — но как-то предельно аскетично. При этом цена на сам сервер — не то, чтобы прям сильно ниже. Процентов 20 разницы без хардов. Но харды у HP в разы дороже, конечно.
Супермикра №1 (2010) — периодически теряет все жесткие диски при рестарте. Холодный ребут, полный рестарт — не помогает. Помогает достать молекс из бэкплейна и вставить его обратно. Меняли и материнку (контроллер встроенный), и бекплейн, и харды, и кабели, и шлейфы, и блок питания — всё безрезультатно. Забили и отдали играться как сторидж для всякой ненужной фигни.
Супермикра №2 (2015) — приехала в качестве антикризисной замены вышеупомянутой мною дисковой полке от хп. Купили в неё контроллер LSI 9271-8i, и для подключения жестких дисков — интеловский сас экспандер, устанавливающийся под бекплейном. В реальной жизни расположение молексов на бэкплейне исключало возможность подключения экспандера — он туда тупо не влазил. Пришлось вернуть его в магазин и поменять на такой же, но занимающий один PCIE слот (и при этом его не использующий).
Начали ставить ОС с собирания рейда. Адовый LSIшный WebBIOS выглядит как привет из 90-х, через родной IPMI в нем почему-то не работает мышка, управлением им с клавиатуры — знатное испытание нервов на прочность, а их командная строка — это нечто, я просто хочу посмотреть в глаза тому человеку, который это писал. Avago manager при незаряженной батарее куда-то теряет контроллеры (при этом они продолжают работать нормально, просто их не видно в Avago), в это время не работает мониторинг состояния дисков.
Ок, это всё LSI\Avago — скажете Вы. Но LSI у супермикр — в том числе и онборд контроллер (кстати, на онборд почему-то нельзя добавить ни BBU, ни writeback кеш, т.е. он бесполезен чуть более, чем полностью).
IPMI — это беда. Начнем с того, что оно всё время просит java в браузере — притом, что без неё вполне сносно работает. Но на каждый клик в интерфейсе оно будет об этом напоминать — даже если эта самая java у вас стоит и спокойно работает со всеми остальными сайтами. IPMI умеет слать алерты, делать KVM, включать-выключать сервер и считывать данные с датчиков через i2c. Можно апдейтить BIOS — но за отдельные бабки, как будто это киллер-фича. Очевидно, что ничем типа iLo Federation тут и не пахнет. KVM, кстати, неплохо работает — тут ничего плохого сказать не могу. Разве что папки не умеет пробрасывать как флешки, да ctrl+alt+del закопан в двух уровнях вложенного меню, но это уже так себе придирки.
Начинаем грузить винду через uefi и обращаем внимание, что не прёт. Ок, тыктыкаем биос, находим уефи, со второго раза вроде пошло.
Обращаем внимание, что на уефи бутскрине зачем-то оставили надпись "Press F2 to enter Setup". На всякий случай попробовал, но чуда не произошло — так что это не странная фича, а просто распиздяйство. Ок.
Окошки встали без запар (пришлось только колхозить образ в ультраисо с драйверами LSI — потому как монтировать папку IPMI не умеет), начинаем искать по всему интернету драйвера. Какой там пролиант саппорт пак, забудьте! Всё отдельно, прям как на моём десктопе. А BIOS нужно апдейтить загрузкой в MS-DOS, ну вы поняли. Прошивки жесткого диска предлагается получать у производителей жестких дисков, при этом идентифицировать их через ОС нельзя (и прошить через lsi тоже нельзя) — только вынимать. Так что будем надеяться, что выбранный нами HGST не подведет.
В остальном — ощущение что пересел с не слишком новой иномарки (HP DL380G7) на автоваз. На бумаге характеристики-то вроде лучше, цена приятнее — но создаётся ощущение, что всё очень отдельно, и работаю не с сервером, а с россыпью комплектухи. Всё заводится и ездит — но как-то предельно аскетично. При этом цена на сам сервер — не то, чтобы прям сильно ниже. Процентов 20 разницы без хардов. Но харды у HP в разы дороже, конечно.
Кстати, в HP до g8 включительно можно вставлять неродные диски в родные корзинки — здорово экономит деньги, и не так колхозно. На мсу это не распространяется, конечно.
Аплодирую стоя. Серьёзно.
Да, почти всё так и есть. И адский KVM, требующий непонятную версию Java (совсем без неё не работает, кстати). И дикие интерфейсы у LSI. Но конфигурим-то мы систему один раз. Поставил гипервизор и надолго забыл. А работает оно потом очень долго. Да и серверную ось с носителя я уже почти забыл, когда ставил в последний раз. SC VMM рулит.
А с другой стороны, с отвалом на ровном месте я не сталкивался. Может и повезло. А может потому, что набортовый псевдо-RAID очень редко использовал.
Да, почти всё так и есть. И адский KVM, требующий непонятную версию Java (совсем без неё не работает, кстати). И дикие интерфейсы у LSI. Но конфигурим-то мы систему один раз. Поставил гипервизор и надолго забыл. А работает оно потом очень долго. Да и серверную ось с носителя я уже почти забыл, когда ставил в последний раз. SC VMM рулит.
А с другой стороны, с отвалом на ровном месте я не сталкивался. Может и повезло. А может потому, что набортовый псевдо-RAID очень редко использовал.
Микру тоже сами редко собирают — слишком много нюансов ради смешной экономии.
По удобству всё так, но с родными опциями разница в цене далеко не 20%, а с леваком теряется поддержка ради которой tier 1 и покупают.
По удобству всё так, но с родными опциями разница в цене далеко не 20%, а с леваком теряется поддержка ради которой tier 1 и покупают.
Супермикра №1 (2010) — периодически теряет все жесткие диски при рестарте. Холодный ребут, полный рестарт — не помогает. Помогает достать молекс из бэкплейна и вставить его обратно. Меняли и материнку (контроллер встроенный), и бекплейн, и харды, и кабели, и шлейфы, и блок питания — всё безрезультатно. Забили и отдали играться как сторидж для всякой ненужной фигни.
Имею порядка 20 стоек супермикры ± таких же лет, ни разу подобного не видел.
Дальше вообще плач виндузятника: мышка не работает, cli сложная, ява странная.
Ява грузиться только на "главной странице IPMI", потому что пытается "превью" экрана показать и непосредственно при открытии удаленного экрана. Отсутствие возможности замонитровать директорию как флэшку — мне почему то кажется, что проблема в винде, которая не может встать на железо, на которое любой линукс ставиться с пол пинка.
Я что сказать хотел: вам с вашей большой тройкой наверное сложно обслуживать одну супермирку, а мне, имея их почти вагон это не доставляет существенных хлопот. Все просто, понятно и в нужных местах легко автоматизируется. Глобальных проблем ни с чем нет, а локальные возникают редко и фиксятся быстро.
Подтверждаю, проблема с потерей дисков существует (, у меня один сервер супермикро и именно с таким багом.
Я имею не такой уж и вагон (~20 физических машин) HP, разбросанных по всей РФ — от Смоленска до Якутии.
По одной штучке в каждом регионе.
Каждый вылет к этому серверу (билеты, гостиница, командировочные и т.д.) будет стоить, как новая супермикра. А содержание штатного сотрудника — и того дороже.
HP обслуживать не надо. Вообще. Раз в полгода SPP закачать да запустить — всё.
Супермикры обслуживать надо — а раз так, то нужен как минимум сотрудник, занимающийся этим делом. Даже если мы ему дадим 50 тыщ в месяц чистыми — социалки капнет ещё прмерно столько же, и вот уже миллион в год.
+ потенциальные проблемы с новыми сотрудниками, собеседования, нагрузка на hr и т.д. Ну его к черту, я лучше HP по-старинке.
Если у Вас 20 стоек — Вы хостер, наверное. Ибо крупный клиент на таких объемах супермикру никогда не выберет, а мелким столько не надо. У хостинга нет задачи "сделать надежно", там чаще всего стоит задача "сделать дешево".
Чтобы хаять винду — большого ума не надо. Подскажите мне замену Windows+AD+Exchange+Office со стоимостью лицензирования не более $300 на сотрудника, огромным количеством недорогих сотрудников техподдержки на рынке труда, имеющую такие же наработки по интеграции с большинством корпоративного ПО. Потому что мне, в общем-то, плевать, какой там шелл на серверах будет — важно, чтобы аптайм в рабочее время по 8 часовым поясам был на пять девяток. И не более $300 на сотрудника.
Я разрабатываю end-user ПО уже лет шесть, наверное. И у меня есть привычка — делать всё хорошо. Странно, конечно, требовать этого от других — но можете считать это профдеформацией.
По одной штучке в каждом регионе.
Каждый вылет к этому серверу (билеты, гостиница, командировочные и т.д.) будет стоить, как новая супермикра. А содержание штатного сотрудника — и того дороже.
HP обслуживать не надо. Вообще. Раз в полгода SPP закачать да запустить — всё.
Супермикры обслуживать надо — а раз так, то нужен как минимум сотрудник, занимающийся этим делом. Даже если мы ему дадим 50 тыщ в месяц чистыми — социалки капнет ещё прмерно столько же, и вот уже миллион в год.
+ потенциальные проблемы с новыми сотрудниками, собеседования, нагрузка на hr и т.д. Ну его к черту, я лучше HP по-старинке.
Если у Вас 20 стоек — Вы хостер, наверное. Ибо крупный клиент на таких объемах супермикру никогда не выберет, а мелким столько не надо. У хостинга нет задачи "сделать надежно", там чаще всего стоит задача "сделать дешево".
Чтобы хаять винду — большого ума не надо. Подскажите мне замену Windows+AD+Exchange+Office со стоимостью лицензирования не более $300 на сотрудника, огромным количеством недорогих сотрудников техподдержки на рынке труда, имеющую такие же наработки по интеграции с большинством корпоративного ПО. Потому что мне, в общем-то, плевать, какой там шелл на серверах будет — важно, чтобы аптайм в рабочее время по 8 часовым поясам был на пять девяток. И не более $300 на сотрудника.
плач виндузятника: мышка не работает, cli сложная, ява странная.
Я разрабатываю end-user ПО уже лет шесть, наверное. И у меня есть привычка — делать всё хорошо. Странно, конечно, требовать этого от других — но можете считать это профдеформацией.
Супермикры обслуживать надо — а раз так, то нужен как минимум сотрудник, занимающийся этим делом. Даже если мы ему дадим 50 тыщ в месяц чистыми — социалки капнет ещё прмерно столько же, и вот уже миллион в год.
Не очень понимаю о каком обслуживании идет речь. Я хоть иногда и бываю в зале по 10 раз в день, но это либо переконфигурирование серверов, либо перекомутирование, либо установка новых\демонтаж старых.
То, что иногда встречаются "бракованные" платформу я отрицать конечно же не буду, но их сразу нужно менять целиком, на те, которые лежат в зипе.
Не могу сравнивать процент брака с другими вендорами, по причине отсутствия опыта работы с другими вендорами, но сомневаюсь что процент брака\выхода из строя разных вендоров сильно разный, думаю он плюс минус одинаковый в целом по больнице.
Если у Вас 20 стоек — Вы хостер, наверное.
Да, угадали, но большинство этих серверов сдается в аренду именно как сервер
Ибо крупный клиент на таких объемах супермикру никогда не выберет, а мелким столько не надо. У хостинга нет задачи «сделать надежно», там чаще всего стоит задача «сделать дешево».
У хостера нет задачи "сделать дешево", а есть задача "предложить клиенту услуги по той цене, по которой клиент готов их покупать" и остаться не убыточным. То есть выбор супермикры — это не мой выбор, а выбор клиентов. Если вы как клиент готовы платить за тот же hp, то мы его под вас закупим.
Кстати я как то работал в одной компании, которая занималась рекламой. Там было 2 ДЦ по ~10 стоек и пара стоек в офисе. И не поверите — все железо свое и все супермикра
Чтобы хаять винду — большого ума не надоя «хаял» не винду, которой на данный момент нет адекватной замены в озвученных вами рамках, а подход, который пропагандирует винда. Всегда можно пересобрать установочный образ, можно засетапиться по сети, можно принести дрова еще кучей способов. Выбирать платформу по «можно ли замонтировать папку как флешку через IPMI» как по мне — не совсем корректно.
Я разрабатываю end-user ПО уже лет шесть, наверное. И у меня есть привычка — делать всё хорошо. Странно, конечно, требовать этого от других — но можете считать это профдеформацией.
Мы сейчас про веббиос и мегасли? Я полносью согласен что решение не самые удобные и у меня порой уходит по 15 минут что бы наTab'ать какой-нить рейд 60 из 18 дисков, но это 1 раз при сетапе сервера. Потом же оно работает, работает хорошо и нареканий не вызывает.
Кстати, зачем вы, программист, лезете в эксплуатацию?
Как показывает наш опыт сотрудничества с крупнейшими дата-центрами России, Европы и США, среди оборудования, установленного в них, преобладает бренд Supermicro. Неубиваемость этого самосбора очевидна. Именно по этой причине мы и ориентируемся на этого производителя. Например, эту платформу — http://squadra-group.com/servers/supermicro/supermicro-6016t-uf-x8dtuf дешевле 37 000 руб. не найти в России.
Почти всё так и есть (об этом ниже), но при этом не стоит забывать про цену. Это не совсем «процентов 20 разницы без хардов», ведь tier-1 бренды размазывают стоимость серверов и СХД по дискам. Посчитайте что-нибудь с 12-24 дисками (особенно SSD) и увидите уже не 20, а 100+ процентов.
Не стоит забывать про поддержку. Конечно, никаких там 24x7 с широкой сетью СЦ вы не получите (точнее это появилось только в США пару лет назад, когда Supermicro начали позиционировать как поставщика серверов и решений, а не просто производителя конструкторов), но у HP это стоит юдополнительных денег. Попробуйте, кстати, скачать BIOS для HP с истекшим сроком поддержки, вас ждёт сюрприз.
Экономия на всём, ниже уровень инженерной культуры, огромная линейка (сочетание 100 видов матерей с 50 разновидностями корпусов) — всё это приводит к массе неудобств. Тут мешают торчащие молексы из бэкплейна, тут кривая документация, тут китаец из поддержки тупит. И вообще, нет ощущения комфорта и заботы о пользователе в виде пристегнутых к стенке корпуса ключей torx (потому что torx не используется нигде), видеороликов с описанием процесса сборки/разборки, всяких там автоматических визардов для установки Windows и обновлений прошивок.
Всё просто — нет лишних денег, но есть сотрудники, которые могут потратить N часов лишнего времени на возню с железом (вместо настройки сервисов) или есть вменяемый интегратор под рукой — берите Supermicro. «ощущение, что всё очень отдельно, и работаю не с сервером, а с россыпью комплектухи» — потому что так оно и есть.
Теперь по пунктам:
1)
Да, WebBIOS уродлив и неудобен, а MegaCLI ещё страшнее. В LSI (который сейчас Avago, а теперь уже Broadcom) это всё осознали ещё несколько лет назад, поэтому в новых контроллерах (SAS3 9361-4i/8i), появившихся в середине 2014-го уже никакого WebBIOS нет, вместо него куда более удобный интерфейс. Вместо MegaCLI ещё раньше был предложен StorCLI (наследие поглощённого 3ware). К тому же ниже вы пишете, что используете UEFI — тем более непонятно, зачем испытывать мучения с WebBIOS, когда есть Hii (отключите legacy oprom для слота, в котором стоит контроллер и увидите удобное меню для его настройки из BIOS матери).
Набортные LSI бывают разные — на HBA'шных чипах (2008/2308/3008, соответствуют отдельным контроллерам LSI 9211/9207/9300), от которых странно ждать поддержки BBU по причине отсутствия кэша, и полноценные RAID-контроллеры (чипы 2108/2208/3108, соответствуют контроллерам LSI 9260/9271/9361). С последними нужно быть внимательным — набортные 2208 поддерживали не поддерживали CacheVault (только BBU) и почти все набортные 2208 и 3108 имеют ограничение на 16 дисков (но и достается такой контроллер по цене в разы меньше отдельного и не имеющего ограничений).
Всё так. IPMI аскетичен и глюк с Java меня тоже достаёт, но с другой стороны — никто не просит $500 за HP iLO Advanced.
Я понимаю, что для 2016 года это дикость, и последний айтишник, заставший DOS, умер пять лет назад в доме престарелых, но ведь есть тот же Rufus, создающий загрузочную флешку с FreeDOS парой кликов мыши.
Не стоит забывать про поддержку. Конечно, никаких там 24x7 с широкой сетью СЦ вы не получите (точнее это появилось только в США пару лет назад, когда Supermicro начали позиционировать как поставщика серверов и решений, а не просто производителя конструкторов), но у HP это стоит юдополнительных денег. Попробуйте, кстати, скачать BIOS для HP с истекшим сроком поддержки, вас ждёт сюрприз.
Экономия на всём, ниже уровень инженерной культуры, огромная линейка (сочетание 100 видов матерей с 50 разновидностями корпусов) — всё это приводит к массе неудобств. Тут мешают торчащие молексы из бэкплейна, тут кривая документация, тут китаец из поддержки тупит. И вообще, нет ощущения комфорта и заботы о пользователе в виде пристегнутых к стенке корпуса ключей torx (потому что torx не используется нигде), видеороликов с описанием процесса сборки/разборки, всяких там автоматических визардов для установки Windows и обновлений прошивок.
Всё просто — нет лишних денег, но есть сотрудники, которые могут потратить N часов лишнего времени на возню с железом (вместо настройки сервисов) или есть вменяемый интегратор под рукой — берите Supermicro. «ощущение, что всё очень отдельно, и работаю не с сервером, а с россыпью комплектухи» — потому что так оно и есть.
Теперь по пунктам:
1)
Супермикра №2 (2015),… купили в неё контроллер,… интеловский сас экспандер… он туда тупо не влазил. Сами захотели собрать конструктор, сами купили несовместимое и невпихуемое — тут уж Supermicro не виновата. Есть же корпуса/платформы с экспандером непосредственно на бэкплейне (xxxE16/E26 — SAS2, xxxE1C/E2C — SAS3).
Адовый LSIшный WebBIOS выглядит как привет из 90-х,… их командная строка — это нечто
Да, WebBIOS уродлив и неудобен, а MegaCLI ещё страшнее. В LSI (который сейчас Avago, а теперь уже Broadcom) это всё осознали ещё несколько лет назад, поэтому в новых контроллерах (SAS3 9361-4i/8i), появившихся в середине 2014-го уже никакого WebBIOS нет, вместо него куда более удобный интерфейс. Вместо MegaCLI ещё раньше был предложен StorCLI (наследие поглощённого 3ware). К тому же ниже вы пишете, что используете UEFI — тем более непонятно, зачем испытывать мучения с WebBIOS, когда есть Hii (отключите legacy oprom для слота, в котором стоит контроллер и увидите удобное меню для его настройки из BIOS матери).
Но LSI у супермикр — в том числе и онборд контроллер (кстати, на онборд почему-то нельзя добавить ни BBU, ни writeback кеш, т.е. он бесполезен чуть более, чем полностью).
Набортные LSI бывают разные — на HBA'шных чипах (2008/2308/3008, соответствуют отдельным контроллерам LSI 9211/9207/9300), от которых странно ждать поддержки BBU по причине отсутствия кэша, и полноценные RAID-контроллеры (чипы 2108/2208/3108, соответствуют контроллерам LSI 9260/9271/9361). С последними нужно быть внимательным — набортные 2208 поддерживали не поддерживали CacheVault (только BBU) и почти все набортные 2208 и 3108 имеют ограничение на 16 дисков (но и достается такой контроллер по цене в разы меньше отдельного и не имеющего ограничений).
IPMI — это беда. Начнем с того, что оно всё время просит java в браузере
Всё так. IPMI аскетичен и глюк с Java меня тоже достаёт, но с другой стороны — никто не просит $500 за HP iLO Advanced.
BIOS нужно апдейтить загрузкой в MS-DOS, ну вы поняли.
Я понимаю, что для 2016 года это дикость, и последний айтишник, заставший DOS, умер пять лет назад в доме престарелых, но ведь есть тот же Rufus, создающий загрузочную флешку с FreeDOS парой кликов мыши.
к сожалению FreeDOS не совместим с программой обновления биоса
приходится использовать «проприетарный» MSDOS
файл биоса кидается в корень флешки и всё легко обновляется
приходится использовать «проприетарный» MSDOS
файл биоса кидается в корень флешки и всё легко обновляется
Я искренне сожалею людей, у которых +20% к разовой стоимости закупки серверной инфраструктуры — это серьёзные затраты для бизнеса. Им, наверное, и вправду HP не нужен.
Первое для супермикры — это нормально, для второго нужен HCL, но его предсказуемо нету.
Да оно-то понятно, но просто не ожидаешь увидеть SAS (именно первой ревизии) на мобо 15-го года.
Когда покупаешь большую и дорогую железку — первым делом читаешь мануал. Я понимаю, что в целом в России так не принято, но по-старинке делаю именно так. Так вот я сейчас специально посмотрел раздел ещё раз в пдфине — там даже слов таких нет.
У меня iLo идёт вместе с carepack. Мы страхуем железо, ибо один просранный бизнес день стоит дороже, чем все керпаки за год. А с таким количеством точек что-нибудь раз в год — да случается. Я уже всех задолбал байкой про 1BD замену всей серверной в Новокузнецке (у нас ещё и коммутаторы HP, ага) после потопа, и не буду пересказывать её ещё раз.
Дичь какая. Я об обновлении BIOS узнаю только по мейлам от SPP baseline update. Оттуда же — про обновление драйверов, прошивок iLo\хардов\сетевух\стримеров\RAID контроллеров. Ток кнопочку "Deploy" нажать и всё. А руфус, фридос, да помножить на 20 стоек...
Поддержки клиента или поддержки оборудования? По outdated железу никто не выпускает новые фирмвари, а SPP един на все актуальные сервера HP — до тех пор, пока в организации есть хотя бы одна железка на поддержке, проблем с получением SPP быть не должно :). Ну и накрайняк в интернетах оно свободно гуглится по MD5-хешу с сайта HP — т.е. верифицируемо. Кстати, у меня через SPP ещё G5-сервера обновляются, ему уж 10 лет скоро будет.
Сами захотели собрать конструктор, сами купили несовместимое и невпихуемое
Первое для супермикры — это нормально, для второго нужен HCL, но его предсказуемо нету.
Набортные LSI бывают разные
Да оно-то понятно, но просто не ожидаешь увидеть SAS (именно первой ревизии) на мобо 15-го года.
тем более непонятно, зачем испытывать мучения с WebBIOS, когда есть Hii
Когда покупаешь большую и дорогую железку — первым делом читаешь мануал. Я понимаю, что в целом в России так не принято, но по-старинке делаю именно так. Так вот я сейчас специально посмотрел раздел ещё раз в пдфине — там даже слов таких нет.
никто не просит $500 за HP iLO Advanced.
У меня iLo идёт вместе с carepack. Мы страхуем железо, ибо один просранный бизнес день стоит дороже, чем все керпаки за год. А с таким количеством точек что-нибудь раз в год — да случается. Я уже всех задолбал байкой про 1BD замену всей серверной в Новокузнецке (у нас ещё и коммутаторы HP, ага) после потопа, и не буду пересказывать её ещё раз.
но ведь есть тот же Rufus, создающий загрузочную флешку с FreeDOS парой кликов мыши.
Дичь какая. Я об обновлении BIOS узнаю только по мейлам от SPP baseline update. Оттуда же — про обновление драйверов, прошивок iLo\хардов\сетевух\стримеров\RAID контроллеров. Ток кнопочку "Deploy" нажать и всё. А руфус, фридос, да помножить на 20 стоек...
Попробуйте, кстати, скачать BIOS для HP с истекшим сроком поддержки, вас ждёт сюрприз.
Поддержки клиента или поддержки оборудования? По outdated железу никто не выпускает новые фирмвари, а SPP един на все актуальные сервера HP — до тех пор, пока в организации есть хотя бы одна железка на поддержке, проблем с получением SPP быть не должно :). Ну и накрайняк в интернетах оно свободно гуглится по MD5-хешу с сайта HP — т.е. верифицируемо. Кстати, у меня через SPP ещё G5-сервера обновляются, ему уж 10 лет скоро будет.
Я не призываю всегда экономить на первоначальных затратах в виде стоимости железа, положившись на сотрудников-спартанцев, не изнеженных проработанной компоновкой, подробной документацией и удобным софтом брендовых серверов. Хотя справедливости ради стоит отметить, что речь идёт не о 20% (например, для 2U, 2xE5-2609v3, 8x8GB RAM, 16x900 10k SAS получается разница более чем в 2 раза).
Меня тоже раздражает уровень инженерной культуры Supermicro в сравнении tier-1 брендами. Просто бывают ситуации, когда тот же HP с carepack'ом непременно нужен и в конечном итоге выгоден:
— небольшая компания, 3-4 сервера, долгий простой одного из них означает убытки, IT-сотрудников немного и желательно их нагрузить полезной деятельностью, они не должны быть заняты преодолением неудобств самосбора.
— крупная компания, с массой филиалов, которой по тем же причинам выгоднее переплатить за железо и сервис, чем экономить и решать проблемы своими силами. Гуру в каждый филиал не посадишь.
Но бывает и наоборот — ферма из относительно большого количества недорогих серверов, быстро расширяемая, хорошо управляемая за счёт софта (виртуализация на vSphere, например). Закупать туда брендовые серверы можно, но заказчик спрашивает — зачем? Быстрый сервис, замена комплектующих на следующий рабочий день (или дольше, если до ближайшего СЦ далеко)? Зачем, спрашивает заказчик, когда я на эти деньги куплю запас БП, вентиляторов и дисков или даже ещё пару серверов целиком, положу их в ящик и достану оттуда в случае необходимости через пять минут, а не на следующих рабочий день, да и вообще — ферма большая, могу и потерять пару серверов на несколько недель без всяких ущербов и простоев.
P.S.
MegaRAID SAS Software User Guide от августа 2014 года, глава 5, HII Configuration Utility.
Согласен, я тоже за это люблю брендовые серверы — унификация, единая точка входа для действий по обслуживанию/обновлению чего-либо.
Меня тоже раздражает уровень инженерной культуры Supermicro в сравнении tier-1 брендами. Просто бывают ситуации, когда тот же HP с carepack'ом непременно нужен и в конечном итоге выгоден:
— небольшая компания, 3-4 сервера, долгий простой одного из них означает убытки, IT-сотрудников немного и желательно их нагрузить полезной деятельностью, они не должны быть заняты преодолением неудобств самосбора.
— крупная компания, с массой филиалов, которой по тем же причинам выгоднее переплатить за железо и сервис, чем экономить и решать проблемы своими силами. Гуру в каждый филиал не посадишь.
Но бывает и наоборот — ферма из относительно большого количества недорогих серверов, быстро расширяемая, хорошо управляемая за счёт софта (виртуализация на vSphere, например). Закупать туда брендовые серверы можно, но заказчик спрашивает — зачем? Быстрый сервис, замена комплектующих на следующий рабочий день (или дольше, если до ближайшего СЦ далеко)? Зачем, спрашивает заказчик, когда я на эти деньги куплю запас БП, вентиляторов и дисков или даже ещё пару серверов целиком, положу их в ящик и достану оттуда в случае необходимости через пять минут, а не на следующих рабочий день, да и вообще — ферма большая, могу и потерять пару серверов на несколько недель без всяких ущербов и простоев.
P.S.
Так вот я сейчас специально посмотрел раздел ещё раз в пдфине — там даже слов таких нет.
MegaRAID SAS Software User Guide от августа 2014 года, глава 5, HII Configuration Utility.
Дичь какая. Я об обновлении BIOS узнаю только по мейлам от SPP baseline update. Оттуда же — про обновление драйверов, прошивок iLo\хардов\сетевух\стримеров\RAID контроллеров.
Согласен, я тоже за это люблю брендовые серверы — унификация, единая точка входа для действий по обслуживанию/обновлению чего-либо.
И я ещё разок процитирую себя
Да, тоже в какой-то мере колхоз. Но если сервера в шаговой доступности и керпаки не нужны — по цене получается примерно то же самое, что и в SM.
Кстати, в HP до g8 включительно можно вставлять неродные диски в родные корзинки — здорово экономит деньги, и не так колхозно. На мсу это не распространяется, конечно.
Да, тоже в какой-то мере колхоз. Но если сервера в шаговой доступности и керпаки не нужны — по цене получается примерно то же самое, что и в SM.
Небольшой лайфак для работы с WebBIOS через IPMI.
Там действительно мышка работает дико.
Но если подключиться к компьютеру, с которого запущен браузер к IPMI с другого по RDP, то внезапно, мышка начинает работать достаточно адекватно.
Там действительно мышка работает дико.
Но если подключиться к компьютеру, с которого запущен браузер к IPMI с другого по RDP, то внезапно, мышка начинает работать достаточно адекватно.
----Холодный ребут, полный рестарт — не помогает.
Это блок питания не обеспечивает рестарт винтов.
Это блок питания не обеспечивает рестарт винтов.
Странно…
Думаю, это связано с сильным желанием сэкономить. Из-за этого берут дешёвый сервер, а Супермикро, по моим наблюдениям, дешевле всяких IBM и Dell. Потом начинают доустанавливать на скотче оборудование, т.к. нормальный крепёж купить или изначально взять сервер выше классом — дорого.
У нас же несколько самых маленьких серверов от Супермикро работают уже несколько лет и практически без проблем. Одна единственная проблема — периодически сервер начинает непрерывно пищать и зажигает сигнал Alarm, по документации это перегрев, но перегрева нет. Избавиться от писка до следующего раза помогает только перезагрузка. Подозреваю, здесь может помочь обновление BIOS'а, но всё руки не доходят.
Думаю, это связано с сильным желанием сэкономить. Из-за этого берут дешёвый сервер, а Супермикро, по моим наблюдениям, дешевле всяких IBM и Dell. Потом начинают доустанавливать на скотче оборудование, т.к. нормальный крепёж купить или изначально взять сервер выше классом — дорого.
У нас же несколько самых маленьких серверов от Супермикро работают уже несколько лет и практически без проблем. Одна единственная проблема — периодически сервер начинает непрерывно пищать и зажигает сигнал Alarm, по документации это перегрев, но перегрева нет. Избавиться от писка до следующего раза помогает только перезагрузка. Подозреваю, здесь может помочь обновление BIOS'а, но всё руки не доходят.
У вас может быть представление о каких-то старых моделях или опыт работы с неадекватным дилером.
Supermicro хороший вариант для "самосбора". Один раз взял Intel для таких целей, плевался на чём свет стоит.
Да, и железо у Supermicro более ванильное и лучше дружит со стандартным Linux, чем разнообразные заточки того же Dell.
Supermicro хороший вариант для "самосбора". Один раз взял Intel для таких целей, плевался на чём свет стоит.
Да, и железо у Supermicro более ванильное и лучше дружит со стандартным Linux, чем разнообразные заточки того же Dell.
НЛО прилетело и опубликовало эту надпись здесь
ибо переплачиваешь в 2-3 раза за некий саппорт, а кому он нужен, если сервер стоит $3000 и покупается в количестве двух штук
Как раз наоборот — с двумя серверами Dell (они не такие бо́рзые как HP/Lenovo) с поддержкой на месте обойдётся дешевле, так как колхозить супермикру там обычно некому. Но зависит от конфигурации, топовые опции даже у них стоят сильно дороже розницы.
В SMB часто админят 1Сники по подряду и куча человекочасов может уйти на тривиальные проблемы или простой при ожидании запчастей.
Не увидел ничего о питании. Очень может быть, что под полной нагрузкой накроется PSU или вылезут всякие "странности". Тем более в 1U они обычно на грани.
А вот как можно ту же задачу решить несколько более цивилизованно: https://www.startech.com/HDD/Mobile-Racks/25in-SATA-Removable-Hard-Drive-Bay-for-PC-Expansion-Slot~S25SLOTR
«тогда из-под стола он достал кружку с водой и вылил её в банку до последней капли, размачивая песок.»
Не так! Вылил он в банку ПИВО и сказал: как бы ни была заполнена ваша жизнь вашими близкими и детьми (щебень), вашей работой (мелкие камешки, горох) или увлечениями (песок), всегда в ней найдется место для баночки пива!
Не так! Вылил он в банку ПИВО и сказал: как бы ни была заполнена ваша жизнь вашими близкими и детьми (щебень), вашей работой (мелкие камешки, горох) или увлечениями (песок), всегда в ней найдется место для баночки пива!
С запихиванием дисков 2,5 в корзины 3,5 встречался на прошлой работе (работал в одном интеграторе СВН). Проектировщики ошиблись не заложив переходники, а руководитель проекта отказывался закупать переходники, скинув фотографии просверленных умельцем корзин. С неделю ругался со всеми, потом понял, что проще мне сделать так, как просят.
Решилось все двумя дополнительными дырками «на глазок» и закреплением диска на 2 винтика. Работало, и даже сейчас работает (правда, желательно вообще диск не вынимать). Но это тот самый случай, когда мне стало за свою работу стыдно.
Решилось все двумя дополнительными дырками «на глазок» и закреплением диска на 2 винтика. Работало, и даже сейчас работает (правда, желательно вообще диск не вынимать). Но это тот самый случай, когда мне стало за свою работу стыдно.
Имел неприятный опыт со старыми контроллерами RAID.
20 Mb/s на запись в зеркале:
2 x WD Red 2TB + Adaptec ASR-2405 или
2 x WD Red 2TB + Adaptec SAS1068
20 Mb/s на запись в зеркале:
2 x WD Red 2TB + Adaptec ASR-2405 или
2 x WD Red 2TB + Adaptec SAS1068
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Кружок «Очумелые ручки»: 4 лайфхака про то, как рационально заполнить сервер дисками