В глазах рябит, в горле хрип, бэкап не пишется… Ничего не получается! Зачем я вообще за это взялся? Как так вышло, что я с ангиной сижу за 5 тысяч километров от дома и раз за разом натыкаюсь на разбросанные вокруг грабли? Наверное, стоит начать с самого начала.
Отправная точка
Не так давно вашего покорного слугу из перволинейного инженера перевели в инженеры линией повыше. В связи с этим событием меня направили на курсы повышения квалификации. Из всего перечня курсов с решениями я выбрал Commvault. В тот момент мне казалось, что продукт много кем используется, есть доступная документация, поэтому в работе вряд ли что-то может пойти не так.
Обучение закончилось, и меня назначили на проект внедрения системы резервного копирования (СРК). Нужно было проинсталлировать два сервера с ленточной библиотекой, после чего поверх всего оборудования установить Commvault. А еще подтянуть к продукту клиентов в виде ВМ и шар, да не простых шар, а через NDMP. В идеальном мире здесь бы моя история закончилась — я бы внимательнее ознакомился с задачей, оценил свои знания и умения, отказался бы в силу неподготовленности и пошёл штудировать литературу. Но нет — наш маленький инженер пробежался глазами по пунктам и сказал: «Будет исполнено!»
В небе на полпути меня осенило
Вот вам и первая ошибка: кто же знал, что нужно обязательно получить всю информацию о задаче до того, как самолет унесет тебя в небесную высь? В итоге профиль инсталляции был получен уже после пересечения Уральских гор. Хорошо, что прилет был запланирован за день до начала работ: было время ознакомиться, и я успокоился.
Мартовское сибирское утро встретило прохладно — так прохладно, что я сразу потянулся к багажу за вторыми шерстяными носками. Оказалось, свое оборудование я взял совершенно зря: обратный полет должен был состояться раньше, чем будет оформлен пропуск на внос техники. «Лучше бы взял теплый шарф», — вздохнул я. Зато на площадке мне сразу выделили всё необходимое, и мы с коллегой приступили к монтажу и инсталляции.
Приступаю к проекту
Установка библиотеки в стойку прошла гладко, но с серверами всё оказалось не так просто. Каким-то образом в комплект к одноюнитовым серверам положили рельсы для двухюнитовых, которые внезапно не подошли. Вообще достаточно часто рельсы универсальны и взаимозаменяемы, но не в этот раз. Пришлось бедные машинки просто уложить на уже смонтированное в стойку. По слухам, серверы до сих пор лежат и ждут замену рельс. Проблема оказалась на стороне поставщика: правильные рельсы скоро отправятся в путь, так что ситуация налаживается.
Несмотря на препятствие, с монтажом закончили быстро. Взялись за установку ОС. Согласно профилю, поставили Windows Server 2016. Операционка, однако, не ставилась — на серверах был собран аппаратный RAID, но диски не отображались. Почему-то в стандартном образе не оказалось поддержки именно нашего RAID-контроллера, так что много времени мы потратили на обход (даже чуть было не поставили Win2019, которая ПОЧЕМУ-ТО всё видела нормально). Ну ладно, под конец первой рабочей недели инсталляцию мы завершили, приступили к установке СРК. Но этот кусок работ оставили после выходных.
А шарф оказался бы кстати!
Выходные: самое время погулять по историческим местам, оставалось время даже на экскурсию! И тут произошло немыслимое: коварный резко континентальный климат дал мне под дых в прямом и переносном смысле. Острый приступ хронического тонзиллита, по-простому — ангина. 8 марта… и все три дня долгих выходных я боролся с болезнью всеми известными способами. В итоге к понедельнику наш инженер снова был на ногах, но без голоса. Хорошо, что настройку СРК надо не голосовым вводом выполнять, а ручным.
Очередные трудности
И вот очередное неодолимое препятствие в первом небольшом проекте маленького инженера второй линии. В рамках обучения, как оказалось, был опущен этап установки клиентов Commvault, так как все лабы уже были преднастроены. Какие конкретно пакеты мне нужны? Почему отсутствует необходимый комплект настроек и при этом на медиа-агентах значатся лишние роли? Мыслительный процесс осложнялся тем, что организм разбирался со своими проблемами и не думал о том, что у нас тут вообще-то важная работа — как бы сроки не сорвать!
Дедлайн был всё ближе. Я очень нервничал, единственный выход — идти к коллегам. Обратился за помощью к старшим коллегам — в первую очередь, к непосредственному руководителю. Джет своих в беде не бросает: командировка была продлена, обратный рейс переоформлен, более опытный коллега подключился для поддержки. Как оказалось, всё было не так уж и плохо — клиенты на источниках данных заказчик уже поставил, после переустановки медиаагентов всё будто само друг с другом соединялось. «Стоп, а почему библиотека криво отображается?» — подумал инженер вовремя и начал снова искать решение.
Оказалось, Windows решил, что он умнее всех, и сам откуда-то вытащил свои драйверы для стримеров. Решение было элементарным: удалить девайс и переустановить правильные драйверы вручную на сервер. На этот раз система корректно связывалась с библиотекой, на кассеты пошла запись. Что дальше по плану? Странно, как-то в инсталляционном профиле маловато данных…
Немного саморефлексии
Очередная зарубка на носу: обязательно тормоши всех причастных к проекту, если не хватает хотя бы капельки понимания задачи! Под конец второй недели у нас наконец-то на руках оказался полный набор: ТЗ, полный профиль инсталляции, программа и методика испытаний. Почти все настройки были внесены, клиенты и шары добавлены (как оказалось, настройка NDMP заключается в двух кликах левой кнопкой мыши), осталось всего ничего. С понедельника будем идти по ПМИ, в среду у меня ночной рейс домой.
Успех! Я не мог в это поверить! Все испытания пройдены, все резервные копии бэкапируются, восстанавливаются, переносятся — блеск! На выходе с площадки пожал руку сопровождавшему работы инженеру со стороны заказчика (передаю привет А., ты крутой), мне пожелали приятного полета и мягкой посадки. Казалось бы, конец?..
На следующий день я выехал из гостиницы. Сибирская весна — странная штука: неделю назад я обматывался в несколько слоев, а теперь жалею, что не взял чего-то полегче. Сообщение от заказчика: «Бэкап не идет». Наш маленький инженер обнаружил у себя несколько седых волос. Как оказалось, возникла проблема с диском СХД, на которые мы писали тестовые бэкапы. Совместно с заказчиком переместили хранилище в интерфейсе Commvault на другой диск – бэкапы снова заработали. Запустили chkdsk на больном диске – ошибки скорректировались, СХД снова позеленела. Я утёр пот со лба и вознаградил себя стаканчиком пенного разливного в честь успешного траблшутинга (напоминаем, чрезмерное употребление алкоголя вредит вашему здоровью, автору объявлен строгий выговор – прим.ред.).
Еще пара часов, и наконец-то маленький инженер оказался в самолете. Шасси самолета коснулись столичной ВПП, и я невольно издал облегчённый вздох – проект успешно завершён, путешествие закончилось, Бильбо вернулся в Шир, а я – в Чертаново.
Несколько житейских советов
Это была история о маленьком инженере, который смог. Чему же нас учит этот успех вопреки?
1. Безвыходных ситуаций, похоже, в самом деле не бывает. Главное — вовремя обнаружить, что ты на пути в тупик, и обратиться к коллегам.
2. Из п. 1 следует, что нужно обзавестись коллегами, к которым можно обратиться.
3. ВСЕГДА перед тем, как браться за задачу, нужно убедиться, что ты ТОЧНО понял эту самую задачу.
4. Если при постановке задачи опущены какие-то подробности, сразу же закидывай вопросами всех причастных (в первую очередь, непосредственного автора проекта, уж он-то наверняка должен знать все ответы).
5. Если есть такая возможность — надо смоделировать весь планируемый процесс на стенде, чтобы выявить как можно больше особенностей и подводных камней.
6. READ THE F#%KING MANUAL.
7. Не верь сибирской весне, ее тепло обманчиво — держи в тепле и голову, и ноги, не пей холодные напитки прямиком из холодильника.
За себя могу сказать, что первый проект вышел не так плохо, как мог бы. Везение это было или же инженерное искусство вашего покорного слуги? Если не предаваться чрезмерному самоуничижению – мне удалось благополучно побороть парочку черных лебедей благодаря стремлению сделать по-инженерски красиво, внимательности к деталям, умению работать во время паники (и такое было) и команде, на которую маленький инженер может положиться. Остаётся сказать только одно — надеюсь, в следующий раз удастся попасть в более теплые края.
А как прошел ваш первый проект?