Комментарии 15
Покажите, пожалуйта, как выглядит (linux) ls -la /sys/class/enclosure/*/ и cat /sys/class/enclosure/*/device/model на этих моделях.
Спасибо.
Спасибо.
+2
[root@localhost ~]# ls -la /sys/class/enclosure/*/
/sys/class/enclosure/6:0:0:0/:
total 0
drwxr-xr-x. 15 root root 0 фев 12 09:18 .
drwxr-xr-x. 3 root root 0 фев 12 09:18 ..
-r--r--r--. 1 root root 4096 фев 12 09:19 components
lrwxrwxrwx. 1 root root 0 фев 12 09:19 device -> ../../../6:0:0:0
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 00
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 01
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 02
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 03
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 04
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 05
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 06
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 07
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 08
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 09
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 10
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 11
drwxr-xr-x. 2 root root 0 фев 12 09:18 power
lrwxrwxrwx. 1 root root 0 фев 12 09:19 subsystem -> ../../../../../../../../../../../../../class/enclosure
-rw-r--r--. 1 root root 4096 фев 12 09:18 uevent
/sys/class/enclosure/6:0:1:0/:
total 0
drwxr-xr-x. 15 root root 0 фев 12 09:18 .
drwxr-xr-x. 3 root root 0 фев 12 09:18 ..
-r--r--r--. 1 root root 4096 фев 12 09:19 components
lrwxrwxrwx. 1 root root 0 фев 12 09:19 device -> ../../../6:0:1:0
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 00
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 01
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 02
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 03
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 04
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 05
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 06
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 07
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 08
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 09
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 10
drwxr-xr-x. 3 root root 0 фев 12 09:18 HDD 11
drwxr-xr-x. 2 root root 0 фев 12 09:18 power
lrwxrwxrwx. 1 root root 0 фев 12 09:19 subsystem -> ../../../../../../../../../../../../../class/enclosure
-rw-r--r--. 1 root root 4096 фев 12 09:18 uevent
[root@localhost ~]# cat /sys/class/enclosure/*/device/model
S2 STOR1
S2 STOR2
[root@localhost ~]# uname -a
Linux localhost.localdomain 3.10.0-123.el7.x86_64 #1 SMP Mon Jun 30 12:09:22 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
+2
Крайне любопытно…
Тогда у меня очень большая к вам просьба: попробуйте LSI-sata-fuckup (https://github.com/amarao/lsi-sata-fuckup) на парочке SATA дисков (магнитных, не SSD, и не SAS). Мои последние проверки на свежих LSI/enclosure от supermicro показали, что всё так же плохо, как и два года назад.
(n.b. содержимое sata-дисков будет потеряно, а сама железка потребует холодного ребута).
Тогда у меня очень большая к вам просьба: попробуйте LSI-sata-fuckup (https://github.com/amarao/lsi-sata-fuckup) на парочке SATA дисков (магнитных, не SSD, и не SAS). Мои последние проверки на свежих LSI/enclosure от supermicro показали, что всё так же плохо, как и два года назад.
(n.b. содержимое sata-дисков будет потеряно, а сама железка потребует холодного ребута).
0
Я несколько не понимаю саму идею использования SATA дисков в такой топологии. Это двухконтроллерная система с двумя экспандерами. SATA диски не применимы в ней в принципе.
+2
Дело не в предполагаемой топологии использования, а в том, что (в моих тестах) одинокий диск был способен завесить целиком весь SAS хост (то есть HBA'шный порт). На практике это выглядит так: сервер глючит и теряет произвольные SAS-диски, и их замена не помогает. Вместо этого помогает найти тот диск, который на самом деле глючит и убрать его. В более тяжёлых случаях это целиком завешивает всё IO на весь backplane. Повторю, на SAS дисках.
А SATA используется только потому, что мне не удалось создать примера, который бы со 100% вероятностью выносил бы SAS-шину (у SATA есть secure-erase, которым можно злоупотребить, у SAS'а чего-то подобного найти не удалось).
А SATA используется только потому, что мне не удалось создать примера, который бы со 100% вероятностью выносил бы SAS-шину (у SATA есть secure-erase, которым можно злоупотребить, у SAS'а чего-то подобного найти не удалось).
0
Cуществуют штучки типа Proware SAS to SATA Dongle board, позволяющие использовать SATA диски в двухконтроллероных конфигурациях.
0
В народе интерпойзеры. SATA+интерпойзер по цене будет дороже чем SAS на 7.2KRPM. Очень много у них проблем с совместимостью. Большого смысла в них нет.
0
Речь исключительно и только про стабильность получившейся конфигурации. Я был бы очень счастлив, если бы мне удалось воспроизвести проблему на SAS'е. Но я её только вижу, а вот теста с 100% воспроизводимостью показать не могу.
0
Я попробую запустить Ваш скрипт, но пока не могу сказать когда. Гипотетически убивать шину пока возможности нет — серверы в работе.
0
Мне кажется, тест несколько странный и я пока не очень понимаю, что именно он показывает. Если постановка задачи состоит в том, как софтом положить всю шину, то наверное можно такое придумать для любых интерфейсов.
На описываемой железке я не пробовал, но на стареньком сервере с экспандером поигрался. Есть ощущение, что шина попросту лочится. Нужно аккуратно смотреть код. SCSI-ATA Command Translation — штука тонкая. Возможно так оно и должно быть. Холодный ресет не требуется. Достаточно отключить порт от экспандера и контроллер совершенно корректно отрабатывает ситуацию. Зависания я не вижу, а вот лок — да.
На описываемой железке я не пробовал, но на стареньком сервере с экспандером поигрался. Есть ощущение, что шина попросту лочится. Нужно аккуратно смотреть код. SCSI-ATA Command Translation — штука тонкая. Возможно так оно и должно быть. Холодный ресет не требуется. Достаточно отключить порт от экспандера и контроллер совершенно корректно отрабатывает ситуацию. Зависания я не вижу, а вот лок — да.
0
А можно в обзор добавить пример стандартной стоимости для какой-нибудь стандартной конфигурации? Спасибо.
0
По нашему опыту стандартной конфигурации не существует, брали от младших процессоров и 32GB памяти до старших 12-ядерных и 256GB, по дискам тоже разброс от 6 7.2К до набивки SSD.
Среднего по больнице не выводится.
Среднего по больнице не выводится.
0
Ну и как бы все цены доступны и актуальны на сайте — www.etegro.ru/configurator/servers/rackmount/enterprise/rs420g4/buy
0
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Упакуй кластер в коробку!