All streams
Search
Write a publication
Pull to refresh
32
0
Дмитрий Носачев @quartz64

User

Send message
Дизайн Sandisk InfiniFlash ни с чем не спутать.
FreeBSD Lacks Software -> Недостатки программного обеспечения FreeBSD
The BSD License Means Companies Don't Contribute Back -> Лицензия BSD способствует взаимному сотрудничеству
Не все виды машинного перевода одинаково полезны.
Вы приводите недостаточно данных. Нужно определиться с характером нагрузки, хотя бы на базовом уровне — последовательный/случайный доступ, соотношение чтение/запись.
Следующий шаг — собственно требования к производительности (кол-во МБ/с или IOPS). Если есть стенд или уже работающая система, требующая наращивания производительности, то вооружайтесь средствами мониторинга нагрузки (permon в случае Windows).
Базовые правила/соображения насчет надёжности:
  1. Не используйте RAID-5 на больших дисках (риск потери/частичного повреждения данных при ребилде). Кто-то может назвать ту статью на ZDnet 2009-года алармистской (мол, лично у меня работают 20шт дисков 4ТБ в RAID-5 и всё хорошо), но не зря же появился RAID-6 (и аналогичные реализации в виде RAID-DP в NetApp и ZFS с его RAID-Z2 и контрольными суммами), и не зря Adaptec убрал из своих последних контроллеров RAID-5E.
  2. Если ожидается значительная нагрузка на запись со случайным доступом — используйте RAID-10. Для остальных случаев — RAID-6. Если дисков и они 5400/7200 об/мин и > 2ТБ, то RAID-60 из расчета 8-12 дисков в каждой подгруппе. Если используете write-back кэш — защищайте его при помощи BBU (или флеш+суперконденсаторы в зависимости от контроллера).
  3. Не забывайте про hot-spare.
  4. Не ленитесь настроить мониторинг, хотя бы простой в виде уведомления по почте. Мне часто попадаются заказчики, узнавшие об отвале диска случайно — через несколько месяцев заглянули в серверную в удаленном офисе, услышали писк.
  5. RAID не отменяет других способов предотвращения потери данных. Реплицируйте и бэкапьте. Никакое грамотное планирование конфигурации и тщательный мониторинг не спасут вас от какого-нибудь редкого сбоя или человеческого фактора.
RAID-50/60 вместо 5/6 используется для
  1. Получения большого количества шпинделей в одном томе (массиве). Максимальное кол-во дисков в простом RAID 5/6 у Adaptec и LSI (Avago) — 32 (см. MegaRAID SAS Software User Guide и Series 7 and Series 8: Limits to consider when creating a RAID array). В составных 50/60 можно получить больше, до 128 или 256 дисков в зависимости от контроллера, не прибегая к помощи ОС (например, динамические тома в Win или LVM в Linux).
  2. Даже если у вас меньше 32 дисков, то 50/60 все равно нужен, т.к. стоит помнить о риске потери данных на дисках большого объема из-за ненулевого URE (10-15 для nearline дисков помноженный на суммарный объем нескольких десятков дисков по 4-6-8 ТБ не может не вызывать опасения). Т.е. для больших дисков стоит уменьшить длину дисковой группы до 8-12.
Удивительно, что большинство производителей, например, фотокамер техники до сих пор не осознали коммерческую выгоду «hacker-friendly» продуктов. Мне кажется, лишь Canon осознал — официально никаких спецификаций и исходников не раскрывал, но и не препятствует запуску сторонних прошивок на компактах (CHDK) и зеркалках (Magic Lantern). Казалось бы, всё просто: если надоело слушать жалобы на кривизну интерфейса — приоткрой чуть-чуть дверь, сообщество самостоятельно прикрутит интервалометр, автобрекетинг для HDR (правильный, где можно сделать больше 3 кадров и с любым шагом EV), синхронизацию для стерео и прочие радости. Благодарные продвинутые покупатели выстроятся в очередь за твоим продуктом и принесут много прибыли, совсем небольшой кусочек которой можно потратить на поддержку хак-сообщества.
Нет. Любая законодательная пакость давно объясняется заботой об укреплении национального контроля над национальными сетями передачи национальной информации и с целью противодействия распространению цп и экстремизма. Нельзя же просто взять и написать «для защиты интересов крупных торговых сетей».
С LSI (Avago) и Adaptec точно работают, для любого контроллера это обычный диск. Применение — что-нибудь с большой нагрузкой на случайный доступ и преимущественным чтением. Естественно, как и с любым кэшом, при том условии, что задача допускает некоторое время работы на пониженной производительности при ненаполненном кэше.
Точно. Тем более, что 3,5" 10/15k свернуты. Заходите на сайте Seagate, ищете Enterprise Performance 10K HDD или Enterprise Performance 15K HDD, там будет конфигуратор с кнопочками (объём, шифрование, размер сектора и тот самый TurboBoost).
Seagate TurboBoost — это не про высокую производительность/гибкость/управляемость, это решение из категории «сел и поехал» для тех заказчиков, которым некогда разбираться с ZFS/bcache/flashcache/Storage Spaces или аппаратными решениями и производительности обычных 10/15k дисков вполне хватает — когда можно чуть доплатить и получить некоторый прирост производительности.
Кэш там только на чтение работает, так что об износе или выходе из строя кэша можно особенно не переживать. Состояние, ЕМНИП, видно через smart.
Результаты тестов вызывают большие сомнения. Какие ещё 9 или тем более 65 тысяч IOPS с десяти дисков 10k? Тут кэш 4 ГБ на контроллер, а вы берете CrystalDiskMark с файлом в 500МБ и пытаетесь им что-то измерить, объясняя расхождение результатов с IOmeter туманной фразой про стандартные синтетические тесты. Так нельзя.
Я охотно верю, что потолок производительности ETERNUS DX100 S3 находится на уровне аналогичных СХД, но «нащупать» его при помощи десятка HDD точно нельзя, тем более такими методами.
Существует бюджетный вариант с использованием беззеркалки в качестве сканирующего цифрозадника: www.fotodioxpro.com/vizelex-rhinocam-for-sony-nex-e-mount-cameras.html
Подходит, естественно, исключительно для статичных сюжетов. Получается плоская панорама, которую в принципе можно снять с панорамной головой, но определить границы кадра и отснять с этой штукой получается быстрее. Купил пару лет назад, но пользуюсь редко как раз по причине редкости сюжетов, пригодных для панорамного метода.
Бесшовная отказоустойчивость a la VMware FT — это же не единственный бонус виртуализации. В большинстве случаев виртуализацией занимаются ради упрощения обслуживания за счёт отвязки от железа. Та же самая миграция ВМ между хостами нужна не только в случае падения хоста (да и в случае падения хоста поднять ВМ проще), миграция может быть запланированной — хост требует обслуживания или нужно изменить распределение ВМ по хостам.
Я не призываю всегда экономить на первоначальных затратах в виде стоимости железа, положившись на сотрудников-спартанцев, не изнеженных проработанной компоновкой, подробной документацией и удобным софтом брендовых серверов. Хотя справедливости ради стоит отметить, что речь идёт не о 20% (например, для 2U, 2xE5-2609v3, 8x8GB RAM, 16x900 10k SAS получается разница более чем в 2 раза).
Меня тоже раздражает уровень инженерной культуры Supermicro в сравнении tier-1 брендами. Просто бывают ситуации, когда тот же HP с carepack'ом непременно нужен и в конечном итоге выгоден:
— небольшая компания, 3-4 сервера, долгий простой одного из них означает убытки, IT-сотрудников немного и желательно их нагрузить полезной деятельностью, они не должны быть заняты преодолением неудобств самосбора.
— крупная компания, с массой филиалов, которой по тем же причинам выгоднее переплатить за железо и сервис, чем экономить и решать проблемы своими силами. Гуру в каждый филиал не посадишь.
Но бывает и наоборот — ферма из относительно большого количества недорогих серверов, быстро расширяемая, хорошо управляемая за счёт софта (виртуализация на vSphere, например). Закупать туда брендовые серверы можно, но заказчик спрашивает — зачем? Быстрый сервис, замена комплектующих на следующий рабочий день (или дольше, если до ближайшего СЦ далеко)? Зачем, спрашивает заказчик, когда я на эти деньги куплю запас БП, вентиляторов и дисков или даже ещё пару серверов целиком, положу их в ящик и достану оттуда в случае необходимости через пять минут, а не на следующих рабочий день, да и вообще — ферма большая, могу и потерять пару серверов на несколько недель без всяких ущербов и простоев.
P.S.
Так вот я сейчас специально посмотрел раздел ещё раз в пдфине — там даже слов таких нет.

MegaRAID SAS Software User Guide от августа 2014 года, глава 5, HII Configuration Utility.
Дичь какая. Я об обновлении BIOS узнаю только по мейлам от SPP baseline update. Оттуда же — про обновление драйверов, прошивок iLo\хардов\сетевух\стримеров\RAID контроллеров.

Согласен, я тоже за это люблю брендовые серверы — унификация, единая точка входа для действий по обслуживанию/обновлению чего-либо.
В том-то и дело, что у этих штук из общего с блейдами только плотность размещения и консолидация питания, т.е. никаких модульных свитчей. В некоторых 2U Twin2 и FatTwin есть один набортный порт InfiniBand, в некоторых — два порта 10GBASE-T вместо гигабитных + есть низкопрофильный слот PCI-E.
Шаг в сторону блейдов в небольших шасси — это MicroBlade в 3U варианте: 14 серверных модулей (в т.ч. и под 2x E5-2600v3 с двумя 10GbE) + пара свитчей.
У Супермикры есть список конфигураций для цефостроения, но именно у меня опыта с реализацией нет. В таких случаях наши заказчики занимаются самовнедрением. В вики у Proxmox есть описание решения с Ceph, в том числе гиперконвергентного.
Но самое главное — супермикровские Twin, Microcloud и другую экзотику нельзя использовать в небольших проектах, где речь идёт об 1-2 шасси, т.е. когда вы не готовы внезапно потерять на месяц 1–2 сервера или даже всё шасси целиком. Мы, например, держим на складе ЗиП для блейдов, а экзотику — только под крупные проекты и/или при наличии договора на расширенную поддержку. Примеры:
1) У заказчика два FatTwin 4-в-1. Выходит из строя PDB (плата распределителя питания). Их два в шасси, каждый питает два сервера. Заказчик расстроен потерей двух серверов. Через 4 недели приходит замена, но к шасси не подходит. За это время Supermicro успела сменить ревизию шасси и ревизию этих PDB. Приходится ждать ещё 4 недели.
2) В Твине выходит из строя контроллер SAS. Заказчик от нас далеко, сервисный контракт или ЗиП для самостоятельной замены не покупал. Мы бы и рады помочь, выслав подменный контроллер но форм-фактор у RAID-контроллера для Твинов нестандартный, придётся ждать.
Почти всё так и есть (об этом ниже), но при этом не стоит забывать про цену. Это не совсем «процентов 20 разницы без хардов», ведь tier-1 бренды размазывают стоимость серверов и СХД по дискам. Посчитайте что-нибудь с 12-24 дисками (особенно SSD) и увидите уже не 20, а 100+ процентов.
Не стоит забывать про поддержку. Конечно, никаких там 24x7 с широкой сетью СЦ вы не получите (точнее это появилось только в США пару лет назад, когда Supermicro начали позиционировать как поставщика серверов и решений, а не просто производителя конструкторов), но у HP это стоит юдополнительных денег. Попробуйте, кстати, скачать BIOS для HP с истекшим сроком поддержки, вас ждёт сюрприз.
Экономия на всём, ниже уровень инженерной культуры, огромная линейка (сочетание 100 видов матерей с 50 разновидностями корпусов) — всё это приводит к массе неудобств. Тут мешают торчащие молексы из бэкплейна, тут кривая документация, тут китаец из поддержки тупит. И вообще, нет ощущения комфорта и заботы о пользователе в виде пристегнутых к стенке корпуса ключей torx (потому что torx не используется нигде), видеороликов с описанием процесса сборки/разборки, всяких там автоматических визардов для установки Windows и обновлений прошивок.
Всё просто — нет лишних денег, но есть сотрудники, которые могут потратить N часов лишнего времени на возню с железом (вместо настройки сервисов) или есть вменяемый интегратор под рукой — берите Supermicro. «ощущение, что всё очень отдельно, и работаю не с сервером, а с россыпью комплектухи» — потому что так оно и есть.
Теперь по пунктам:
1)
Супермикра №2 (2015),… купили в неё контроллер,… интеловский сас экспандер… он туда тупо не влазил
. Сами захотели собрать конструктор, сами купили несовместимое и невпихуемое — тут уж Supermicro не виновата. Есть же корпуса/платформы с экспандером непосредственно на бэкплейне (xxxE16/E26 — SAS2, xxxE1C/E2C — SAS3).

Адовый LSIшный WebBIOS выглядит как привет из 90-х,… их командная строка — это нечто

Да, WebBIOS уродлив и неудобен, а MegaCLI ещё страшнее. В LSI (который сейчас Avago, а теперь уже Broadcom) это всё осознали ещё несколько лет назад, поэтому в новых контроллерах (SAS3 9361-4i/8i), появившихся в середине 2014-го уже никакого WebBIOS нет, вместо него куда более удобный интерфейс. Вместо MegaCLI ещё раньше был предложен StorCLI (наследие поглощённого 3ware). К тому же ниже вы пишете, что используете UEFI — тем более непонятно, зачем испытывать мучения с WebBIOS, когда есть Hii (отключите legacy oprom для слота, в котором стоит контроллер и увидите удобное меню для его настройки из BIOS матери).

Но LSI у супермикр — в том числе и онборд контроллер (кстати, на онборд почему-то нельзя добавить ни BBU, ни writeback кеш, т.е. он бесполезен чуть более, чем полностью).

Набортные LSI бывают разные — на HBA'шных чипах (2008/2308/3008, соответствуют отдельным контроллерам LSI 9211/9207/9300), от которых странно ждать поддержки BBU по причине отсутствия кэша, и полноценные RAID-контроллеры (чипы 2108/2208/3108, соответствуют контроллерам LSI 9260/9271/9361). С последними нужно быть внимательным — набортные 2208 поддерживали не поддерживали CacheVault (только BBU) и почти все набортные 2208 и 3108 имеют ограничение на 16 дисков (но и достается такой контроллер по цене в разы меньше отдельного и не имеющего ограничений).

IPMI — это беда. Начнем с того, что оно всё время просит java в браузере

Всё так. IPMI аскетичен и глюк с Java меня тоже достаёт, но с другой стороны — никто не просит $500 за HP iLO Advanced.

BIOS нужно апдейтить загрузкой в MS-DOS, ну вы поняли.

Я понимаю, что для 2016 года это дикость, и последний айтишник, заставший DOS, умер пять лет назад в доме престарелых, но ведь есть тот же Rufus, создающий загрузочную флешку с FreeDOS парой кликов мыши.
Выяснили, что диски 6 TB также прекрасно работают, как и диски на 1 TB. Нет никакой разницы. Документация к материнской плате была составлена в 2009 году...

Применительно к Supermicro этот момент требует уточнения:
1) Лимит в 3 ТБ в платах X8xxx на чипсетном SATA (синдром — диски определяются как 750 ГБ). Источники проблемы — старый BIOS и/или старый драйвер Intel RSTe (если используется RAID-режим), остается все прошить и обновить.
2) Лимит в 2/3 ТБ на старых контроллерах. Например, есть X8DT3 с набортным SAS на базе LSI 1068E — прошивки от Supermicro старые (2010 год последняя, ЕМНИП), лечится прошивкой fw от LSI HBA. И есть похожая X8DT6, где уже такой проблемы нет, на борту — LSI 2008, который до сих пор поддерживается.
Можно ещё вспомнить семейство старых контроллеров совместной разработки с Adaptec (AOC-USAS-Sxxx) — появились в тех же 2007-2008-х годах, и их поддержка была почти сразу заброшена.
Почему единственный? MSA — не единственное семейство СХД у HP. Да и JBOD'ы (AKA дисковые полки) никто не отменял — D3700, D6000.
Эта платформа (как и все остальные Supermicro Twin / 2U Twin2 / Fat Twin) сама по себе является не более «гиперконвергентной», чем аналогичный набор из 2/4/8 отдельных серверах. Строить что-нибудь гиперконвергентное на основе бесплатного софта — не сложнее и не проще.
Если требование бесплатности/открытость не на первом месте, то существуют готовые решения с поддержкой — тот же Nutanix, например, работает на Supermicro 2U Twin2 (с другой стороны, в случае готового решения — какая разница, на чем оно работает).
1) Цивилизованный способ установки 2,5" в 1U корпуса Supermicro (813, 815, 816, 818, 819) и в другие с тонкими заглушками под slim-FDD и slim-CD:
MCP-220-83601-0B — лоток в тонкий отсек (когда-то туда ставили slim-FDD) вместо показанной на вашем фото заглушки
MCP-290-00036-0B — лоток в отсек для привода

2) MCP-220-00044-0N — кронштейн для двух 2,5" дисков в 1U корпуса без горячей замены (502, 503 и т.п.) или 5,25" лоток-заглушку tower-корпусов

3) В 825 корпусах два лотка слева сверху, над hot-swap отсеками, вынимаются (про это знают далеко не все) — туда можно установить 3,5" или 2,5" диск без дополнительных приспособлений.

4) В 846 корпусах есть возможность установки дополнительного одного 3,5", или 2,5" или 2x 2,5" дисков

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity