Хочу поделиться историей о поломке дисковой системы IBM DS3000, подключенной двумя контроллерами по оптике к серверу, и корзинки IBM EXP3000, подключенной SAS кабелями к DS3000.
Началось всё пятничным вечером, когда сгоревший блок розеток на одной из стоек выбил аж 5 винтов из 10-го рейда на EXP3000, тогда я мысленно уже попрощался с хранимыми данными и поздоровался с трудовыми выходными.
Отключение/подключение винтов не принесло пользы. Далее начал разбирать проблему и перебирать варианты:
— обнулил контроллеры командой sysWipe. В первый раз не поднялась оптика на 1-ом контроллере, а 2-й перестал быть доступен по менеджмент порту. Во второй раз оптика поднялась, но оба контроллера отвалились по менеджмент портам.
— вынул из контроллеров батарейки. Предыдущие проблемы остались, но прибавились новые… вместе контроллеры работать перестали, на втором после инициализации повисает ошибка, причём по одному они замечательно работают (не замечательно конечно, но хотя бы ошибок не пишут).
— на всякий пожарный обновил биос сервера, сетевых карточек, IBM-овский софт.
— попробовал запустить корзинки без винтов. Помогло! 8) Алилуя! Корзинки загрузились и стали доступны по менеджмент портам, но стоит вставить хоть один хард, сразу все ошибки повторяются. Уже радуюсь, что хоть проблему локализовал!
Тем временем было уже 8 вечера воскресенья. Решил забить на всё, и восстановить БД на тестовую машину, чтобы в понедельник хоть в авральном режиме но юзеры поработали.
В понедельник пообщался на этот счёт с поддержкой IBM. Там мне подсказали мудрую и ключевую для решения трабла вещь! Вставить один новый, не где не юзаный винт в пустую корзинку. Дело в том что на старых винтах записалась ошибка, которая не давала спокойно подгрузиться корзинке.
В принципе сломалась и сломалась, всякое бывает. НО! Не пойму как промышленная дисковая подсистема может ложиться в полный даун из-за отключения питания, тащить за собой вторую корзинку (ведь до обнуления DS3000 работала), и ещё после полного обнуления вылетать из-за того, что на винтах какая-то ошибка висит…
