How to become an author
Search
Write a publication
Pull to refresh

Comments 15

Покажите, пожалуйта, как выглядит (linux) ls -la /sys/class/enclosure/*/ и cat /sys/class/enclosure/*/device/model на этих моделях.

Спасибо.
Total votes 2: ↑2 and ↓0+2
Чуть позже обязательно ответим (просто вот прям сейчас нет ни одного такого сервера с линуксом).
Total votes 1: ↑1 and ↓0+1
Смотрите чуть ниже, в комментарии Андрея Сапронова.
Total votes 1: ↑1 and ↓0+1
[root@localhost ~]#  ls -la /sys/class/enclosure/*/
/sys/class/enclosure/6:0:0:0/:
total 0
drwxr-xr-x. 15 root root    0 фев 12 09:18 .
drwxr-xr-x.  3 root root    0 фев 12 09:18 ..
-r--r--r--.  1 root root 4096 фев 12 09:19 components
lrwxrwxrwx.  1 root root    0 фев 12 09:19 device -> ../../../6:0:0:0
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 00
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 01
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 02
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 03
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 04
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 05
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 06
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 07
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 08
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 09
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 10
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 11
drwxr-xr-x.  2 root root    0 фев 12 09:18 power
lrwxrwxrwx.  1 root root    0 фев 12 09:19 subsystem -> ../../../../../../../../../../../../../class/enclosure
-rw-r--r--.  1 root root 4096 фев 12 09:18 uevent

/sys/class/enclosure/6:0:1:0/:
total 0
drwxr-xr-x. 15 root root    0 фев 12 09:18 .
drwxr-xr-x.  3 root root    0 фев 12 09:18 ..
-r--r--r--.  1 root root 4096 фев 12 09:19 components
lrwxrwxrwx.  1 root root    0 фев 12 09:19 device -> ../../../6:0:1:0
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 00
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 01
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 02
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 03
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 04
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 05
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 06
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 07
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 08
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 09
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 10
drwxr-xr-x.  3 root root    0 фев 12 09:18 HDD 11
drwxr-xr-x.  2 root root    0 фев 12 09:18 power
lrwxrwxrwx.  1 root root    0 фев 12 09:19 subsystem -> ../../../../../../../../../../../../../class/enclosure
-rw-r--r--.  1 root root 4096 фев 12 09:18 uevent



[root@localhost ~]# cat /sys/class/enclosure/*/device/model
S2 STOR1      
S2 STOR2   



[root@localhost ~]# uname -a
Linux localhost.localdomain 3.10.0-123.el7.x86_64 #1 SMP Mon Jun 30 12:09:22 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
Total votes 2: ↑2 and ↓0+2
Крайне любопытно…

Тогда у меня очень большая к вам просьба: попробуйте LSI-sata-fuckup (https://github.com/amarao/lsi-sata-fuckup) на парочке SATA дисков (магнитных, не SSD, и не SAS). Мои последние проверки на свежих LSI/enclosure от supermicro показали, что всё так же плохо, как и два года назад.

(n.b. содержимое sata-дисков будет потеряно, а сама железка потребует холодного ребута).
Total votes 2: ↑1 and ↓10
Я несколько не понимаю саму идею использования SATA дисков в такой топологии. Это двухконтроллерная система с двумя экспандерами. SATA диски не применимы в ней в принципе.
Total votes 2: ↑2 and ↓0+2
Дело не в предполагаемой топологии использования, а в том, что (в моих тестах) одинокий диск был способен завесить целиком весь SAS хост (то есть HBA'шный порт). На практике это выглядит так: сервер глючит и теряет произвольные SAS-диски, и их замена не помогает. Вместо этого помогает найти тот диск, который на самом деле глючит и убрать его. В более тяжёлых случаях это целиком завешивает всё IO на весь backplane. Повторю, на SAS дисках.

А SATA используется только потому, что мне не удалось создать примера, который бы со 100% вероятностью выносил бы SAS-шину (у SATA есть secure-erase, которым можно злоупотребить, у SAS'а чего-то подобного найти не удалось).
This comment wasn’t rated yet0
Cуществуют штучки типа Proware SAS to SATA Dongle board, позволяющие использовать SATA диски в двухконтроллероных конфигурациях.
This comment wasn’t rated yet0
В народе интерпойзеры. SATA+интерпойзер по цене будет дороже чем SAS на 7.2KRPM. Очень много у них проблем с совместимостью. Большого смысла в них нет.
This comment wasn’t rated yet0
Речь исключительно и только про стабильность получившейся конфигурации. Я был бы очень счастлив, если бы мне удалось воспроизвести проблему на SAS'е. Но я её только вижу, а вот теста с 100% воспроизводимостью показать не могу.
This comment wasn’t rated yet0
Я попробую запустить Ваш скрипт, но пока не могу сказать когда. Гипотетически убивать шину пока возможности нет — серверы в работе.
This comment wasn’t rated yet0
Мне кажется, тест несколько странный и я пока не очень понимаю, что именно он показывает. Если постановка задачи состоит в том, как софтом положить всю шину, то наверное можно такое придумать для любых интерфейсов.

На описываемой железке я не пробовал, но на стареньком сервере с экспандером поигрался. Есть ощущение, что шина попросту лочится. Нужно аккуратно смотреть код. SCSI-ATA Command Translation — штука тонкая. Возможно так оно и должно быть. Холодный ресет не требуется. Достаточно отключить порт от экспандера и контроллер совершенно корректно отрабатывает ситуацию. Зависания я не вижу, а вот лок — да.
This comment wasn’t rated yet0
А можно в обзор добавить пример стандартной стоимости для какой-нибудь стандартной конфигурации? Спасибо.
This comment wasn’t rated yet0
По нашему опыту стандартной конфигурации не существует, брали от младших процессоров и 32GB памяти до старших 12-ядерных и 256GB, по дискам тоже разброс от 6 7.2К до набивки SSD.
Среднего по больнице не выводится.
This comment wasn’t rated yet0
Sign up to leave a comment.

Your account

Sections

Information

Services

Support
© 2006–2024, Habr