Началось с того, что у меня развалилась FS — подробнее тут. Бэкапов, конечно же, нет.
Как определил? Потребовалось прокинуть новый VLAN, а он прокидывается только Cisco UCS Manager далее (CUM). Перезагрузил Fabric B, она в варнинге (warning), подключился консольником и увидел ошибку, спустя 7 месяцев раздобыл ресурсы для того, чтобы все виртуалки перенести на другие сервера. Перенёс VM, перезагрузил Fabric A, и ВСЁ!!! Больше ничего не загрузилось.
Для меня этот зверь был необуздан, поэтому много искал и читал…
Для начала требуется скачать с оф. сайта прошивку. Несмотря на то, что у меня Interconnection 6248, прошивку скачивал для 6100 Series. Распаковал bin файл через 7zip и достал:
- ucs-6100-k9-kickstart.5.2.3.N2.2.23e.bin;
- ucs-6100-k9-system.5.2.3.N2.2.23e.bin;
- ucs-manager-k9.2.2.3e.bin.
Поставил ноут, загрузился с Ubuntu, нажав при загрузке «Попробовать сейчас» (Try now), скачал и запустил SSH demon, потом установил статичный ip, подключился в первую фабрику.
Загрузка через пинок (kick start) — как это сделать, описано тут.
В инструкции написано — копировать именно через scp, для этого я и развернул sshd. Сначала я, конечно, скопировал через tftp, но файлы оказывались битыми.
Команда init system в инструкции выполняет форматирование, если у вас на флешке были бэкапы, то после инициализации флешка будет пуста!
После успешной прошивки обеих фабрик, нужно их корректно прошить, используя UCM или после ребута придётся снова стартовать через kickstart.
Как настроить работать фабрики вместе, а как начать первый старт очень хорошо описывалось ранее. Здесь я узнал, как создавать профили и создавать пулы MAC, WWNN( World Wide Node Name) и WWPN(Ports Name).
Т. к. у меня прошивка была ещё 2.2, я решил обновиться до последней, сразу нельзя, поэтому прыгал по каждой цифре, буквы пропускал.
Обновлял модули, фабрики, шасси вручную.
Перезагрузка- если требуется!
Обновление прошивки шасси.
С третьей версии появился визард (wizard) в котором уже можно выбрать новый файл прошивки и накатить на все устройства.
Как запустить визард.
Всё, вроде прошили, и как бы должно быть всё гуд, но не тут-то было… т. к. у меня нет дисков в лезвии совсем, то грузиться я могу только с Dell EMC VNX 5300, такая возможность есть!
Подключение между Cisco UCS C220 (Fabric Interconnection 6842) и Dell EMC VNX 5300 идёт через оптику 8Gbit/s.
Как оказалось, нужно использовать не FCoE, а на фабрике требуется переключить порты в режим FC port, если я передвигал больше чем на 2 порта в FC (фиолетовыми становятся), то Cisco начинала ругаться на то, что у меня нет лицензии и давала триалку на 57800 (дней ли, часов, не знаю).
Переключаем на FC.
Конфигурируем порты как FC Uplink.
Также рекомендуют использовать режим End-Host Mode для Ethernet (уровень L2), для FC я установил Switch Mode.
Где эти переключатели найти.
А вот дальше я не мог понять, как всё-таки прикрутить полку к лезвиям. Для начала можно почитать тут. Как видно из картинки — FC это способ подключения по оптике, а технология HBA, в нашем случае тут будет vHBA.
FC как vHBA.
Дальше я запутался, но один умный человек помог разобраться, за что ему огромное спасибо. Контакты для связи в Telegram укажу ниже.
Определяемся, как у нас должно быть подключено:
Выбираем WWNN из нашего пула:
VSAN ID 101 для Fabric A.
VSAN ID 102 для Fabric B.
При настройке профиля, настраиваем Zonning, где указываем, что FC — это vHBA. Так как у меня простое подключение, без избыточности, то я выбираю FC0 и сопоставляю с Fabric A, через кнопку Add-to, а для FC1 — это Fabric B, той же кнопкой.
Указываем вторую сторону WWPN от Dell VNX 5300:
Здесь комментарий не правильный, как оказалось, нужно использовать разные таргеты!
Заходим через ssh на фабрику, инструкция была выше. По кнопке «тут», добиваемся чтобы установилось подключение, вот у меня всё стало «ок».
В Dell VNX 5300 мы увидели, что инициировался запрос, светится как unknown, только после этого нажимаем «Create»:
Здесь в поле WWN/IQN указываем то же что и прилетело в запросе WWNN: (WWPN через двоеточие), указываем тип VNX, жмём точку «New Host» и указываем название лезвия и его ip (появятся зелёные галочки и будет написано Logged in).
В VNX 5300 создаём Пул, указывая, какой RAID будем использовать. У меня RAID 10 для более быстрой работы и есть RAID 6 для DFS, чтобы файлы сильно не бекапить, использовать теневую копию и надеяться, что 3 винта сразу не выйдут из строя. Винт HotSpare, само собой, есть. Он, кстати, настраивается как отдельный RAID.
HotSpare.
Как автоматически использовать HotSpare я не понял, если кто знает — подскажите в комментариях, я же, если что, буду делать в ручную. Главное — поставить email-оповещение о сломанном диске.
Создаём LUN'ы на нашем Пуле дисков, создаём группу и добавляем LUN'ы в эту группу, а потом добавляем Лезвие (Hosts) в эту группу. Картинки ниже:
Устанавливаем ESXi (я, кстати сказать, психанул и сам купил WD Green SSD 120Gb на работу, на них поставил ESXi).
Переходим в раздел девайсов, и чуть погодя, VmWare сам найдёт полку.
Вот и всё!
Большое спасибо: iscsi, @Mradionov
