Привет, Хабр! Меня зовут Жора, я старший инженер по серверам и СХД в КРОК. Работа нашей команды такова, что большую часть времени мы проводим в поездках по объектам заказчиков. Это дата-центры и всевозможные серверные, раскиданные по России от Калининграда до Камчатки. Чаще всего они располагаются в крупных городах, но оборудование может стоять и в рабочем поселке далеко за Полярным кругом, куда на дорогу в одну сторону уходит до пяти дней.
Под катом немного впечатлений от поездок по дальним уголкам России и нашей работе.
Правильнее сказать — группа hardware-инженеров. В наши задачи входит диагностика и ремонт вычислительного оборудования заказчика: чаще всего это серверы и системы хранения.
Заказчики разные. У кого-то пара серверов стоит в небольшой комнате, у других несколько стоек в ЦОД, а есть такие, у кого в активе свои дата-центры. У одной части заказчиков мы поддерживаем оборудование, которое сами внедряли (история про гарантийное обслуживание). Вторая часть — это заказчики, которые обратились к нам за поддержкой собственного. В основном мы занимаемся только «железом», но можем и операционку залить, и свичи настроить. Самая распространенная задача — это приехать и заменить неисправный компонент. Например, диск или системную плату. Тут не нужно иметь какой-то сверхъестественной квалификации. Многие наши стажеры — студенты, у которых горят глаза при виде любой компьютерной техники. До прихода в КРОК они занимались сборкой ПК, подбирали компоненты друзьям, а тут перед ними может появиться целая стойка с новым, но вполне понятным «железом». И в этом есть своя романтика.
Еще одна регулярная задача — удаленная диагностика возникшей проблемы. В основном это изучение логов и документации производителя. Если проблема не требует замены компонентов, то мы консультируем заказчика по тому, как это можно исправить самостоятельно, или подключаемся к оборудованию и решаем все в удаленном режиме.
Если проблема не совсем очевидна, мы воспроизводим её на нашем лабораторном оборудовании — так можно исключить потенциальные риски и проверить все теории по ремонту без вреда для заказчика.
Обычно ремонт сервера занимает от 30 до 90 минут. Зато дорога до оборудования может занимать и пять дней. Был один такой случай — о нем ниже.
Начало
Сам я, кстати, пришел в КРОК стажером, и до этого с серверами особо не сталкивался. В первый день стажировки мне выдали личный сервер — о таком я даже не мог и мечтать. Спустя пару недель стажировки я отправился в ЦОД для замены диска в сервере — это произвело на меня яркое впечатление. Я увидел, насколько все круто там организовано: система кондиционирования, пожаротушения, пропускные системы, внешний вид стоек и то, как скоммутированы железки. Но на практике судьба чаще сталкивает с маленькими серверными комнатами.
Когда ты только начал стажироваться, никто не ждет, что ты будешь решать сложные задачи по конфигурации оборудования и долго траблшутить проблему у заказчика. Поэтому в командировках обычно есть личное время, когда можно пойти погулять по городу или куда-то съездить неподалеку. Главное — к старту работ быть на месте и не потеряться по пути. Пример такой поездки – замена CMOS батарейки на Камчатке в ноябре.
Байки и фотозарисовки. Камчатка
Пока ехал из аэропорта Петропавловск-Камчатского, разглядывал сопки вокруг города. А таксист возьми и скажи, что вон на ту можно запросто подняться пешком минут за 20 и насладиться чудесным видом города из Авачинской бухты.
Заселяться было рано, я бросил в отеле чемодан и поплелся с рюкзаком по городу в сторону сопки. Ну а дальше наступил на типичные грабли пользователя навигатора. Все ярко прочерченные на карте тропинки, ведущие к вершине сопки, оказались под полуметровым слоем снега. Впрочем, следы на снегу указывали, что теоретически тут можно пройти, и даже кто-то прошел, поэтому я минут пять стоял и думал: «Наверное, не стоит». Но в итоге пошел.
В какой-то момент заснеженная тропа вывела на оледенелый склон. Тут я сразу вспомнил, что в рюкзаке у меня дорогой ноутбук и еще несколько гаджетов. Любое, даже легкое падение могло стать слишком запоминающимся для кошелька. В итоге подъем вместо планируемых 15 минут занял 50.
И, как водится, едва ты успел почувствовать себя героем, забравшимся в непроходимые места, как меня кто-то окликает: «О, привет! Смотри, какие там вулканы!». Вулканы и правда были шикарные, но из-за того, что подъем занял сильно больше времени, чем ожидалось, я не заметил, как наступило время заселения в отель. До отеля решил добраться на местном такси, чтобы заодно посмотреть городские пейзажи.
Петропавловск-Камчатский — город достаточно компактный. По официальной статистике, в нем проживает 160 тыс. человек, но с сопки казалось, что статистика завышена. Большая часть домов — пятиэтажки разных годов постройки. Высотные здания тут не возводят ввиду высокой сейсмической активности.
После того как я хорошо выспался, внезапно понял, что нужно обязательно посмотреть на Тихий океан. В отеле я узнал, что для этого нужно ехать на юго-восток от города примерно час. Иногда таксисты соглашаются тебя туда отвезти. И мне удалось найти такого таксиста буквально с первого раза. Главное — не забыть попросить его подождать тебя, поскольку связи там нет и просто так уехать не получится. Зато есть черный песок на пляже.
Это Халактырский пляж. Черный вулканический песок представляет собой залежи минералов. В нем много железа, титана, ванадия, кварца и полевого шпата.
Океан же производит совершенно иное впечатление на человека, чем море. Ты стоишь и чувствуешь его масштаб, если так можно выразиться. Хоть картинка вроде та же, но ощущения иные. Завораживающее зрелище.
И тут у меня появилась гениальная идея — почему бы в конце ноября не пройтись по берегу босиком? Это я и сделал — ноги свело за 40 минут, меня накрыло волной, и я очень замерз. После этого поехал в отель — повезло, что в номере был фен, иначе отправился бы к заказчику мокрым.
У заказчика, кстати, вопрос решился за 10 минут. Нужно было просто поменять батарейку CR2032 на серверной плате. На этом мои работы на Камчатке закончились, и весь мой багаж заняла свежая красная икра.
Чукотка
Это самый северо-восток России. Население региона — всего 47 тыс. На востоке он граничит со Штатами. Интересный факт: сама граница проходит между двумя центральными островами в Беринговом проливе (Острова Диомида). Западный остров наш, а восточный, что в четырех километрах, принадлежит штату Аляска. Хорошо, что мне надо было не туда, а поближе — на материковую часть.
Добираться туда было отдельное удовольствие. Первый перелет — в Магадан. На выходе из аэропорта тебя встречают черные сопки. Поздняя зима — картина мрачная. И дополняет ее драматичная надпись рядом с аэропортом: «Добро пожаловать на Колыму — золотое сердце России».
Однако внешняя зимняя мрачность буквально за неделю сменилась летом. За несколько дней сошел снег, потом на пару дней пришла весна с потеплением до +10°С. На, казалось бы, мертвых лиственницах появились почки. На следующий день уже были листья. Еще через день полетели бабочки. А уезжали мы, по сути, чукотским летом — на улице было +18°С. И это все случилось за неделю. Это, в целом, единственное время, когда в Магадане случается лето.
Из Магадана вылетели в самый дорогой город — Билибино. Он находится ближе к центру Чукотки. Дорог туда нет. Есть зимник, по которому в сезон проезжает по одной машине в месяц. Основной транспорт — вертолеты и самолеты.
Разумеется, с продуктами и прочим там беда. Страшненькие помидоры по тысяче рублей за килограмм — это еще нормально. За три дня, что мы там пробыли, спустили все командировочные, выделенные на две недели. Иначе остались бы голодными.
В Билибино ждали вертолет, который должен был довезти нас до заказчика в небольшой поселок на 2 тыс. человек на каком-то месторождении, где, кроме прочего, геологи собирают какие-то данные.
Вахтовики живут в вагончиках. Местная аппаратная комнатка — прям настоящая серверная, как и по всей России. Стойка, в ней серверы, есть кондиционер. По слухам, на объекте планировали сделать удаленное управление грузовиками. Но история не выстрелила.
С учетом непредвиденных обстоятельств и дополнительных проверок на работы мне выделили неделю. Однако я сделал все за полтора дня. Моей задачей было установить новую систему хранения для нужд месторождения, подключить ее и ввести в работу. Местные ребята-айтишники, которые там занимаются всем, каждый час подходили и успокаивали: «Ты не торопись. Потихоньку. Все успеешь, все в порядке».
Надо было их послушать, поскольку потом меня ждала неделя смертной скуки: интернета нет, ходить никуда нельзя. С одной стороны золотоискатели могут застрелить по ошибке, с другой — уже дежурят голодные медведи.
Жили мы с водителями-вахтовиками, которые меняются каждые три месяца. Интернета у них тоже нет, поэтому у вновь приехавших сразу спрашивают флэшки с фильмами. Флэшки тут же разлетаются по всему блоку, где каждый копирует себе что-то новенькое.
Впрочем, у айтишников был спутниковый интернет, с которым они работали, но с остальными делились неохотно, поскольку пара любителей онлайн-кино могли положить весь канал.
В целом, ощущение от поселка как от необитаемого острова. На десятки километров вокруг нет вообще ничего. Идти просто некуда и незачем. Заполярье — это тайга с невысокими деревцами, которая постепенно переходит в тундру. Природа везде борется за жизнь, и это очень хорошо видно.
Якутск и -50°С
Это была моя самая первая командировка. Задача — починить вышедшее из строя оборудование заказчика. Февраль, разгар зимы, все как положено. По прилете я сразу пошел на улицу, чтобы выяснить, что же такое -50°С. Выбежал, и первое, что тебя встречает за дверью аэропорта — удар холода в лицо. Дыхание перехватывает практически сразу. Пару секунд вообще не понимаешь, где ты и что происходит.
Стою, глаза начинают слезиться, слезы на щеках сразу же замерзают. Любой выдох — и ты прямо как паровоз. Только достал телефон и через минуту почувствовал, что пальцы в перчатках практически отморозились. На этом моменте я понял, что все, наигрался, тему с морозами можно закрывать.
Ну, а дальше начался квест с вызовом такси. В такой мороз — это проблема, тем более в 4 утра. Несмотря на то, что сам аэропорт находится в черте города, и ехать мне надо было примерно пять километров, на поиск такси ушло 40 минут.
Все остальные мои перемещения по городу были также на такси. Площадка заказчика, а это был объект крупного ритейлера, находился в 10 минутах ходьбы от гостиницы, но дойти туда пешком было практически нереально. Приходилось по 30 минут ждать такси и те же 10 минут тратить на поездку.
Практически во всех машинах двойные стекла. В бюджетном варианте это закрепленный по центру стеклянный прямоугольник. Он еще более-менее прозрачный, а все, что вокруг него — затянуто толстенным слоем инея.
Тут еще стоит отметить, что в спешке я поехал в одних джинсах и пуховике с рекомендованной температурой до -15°С. И это была фатальная ошибка.
А вот местные морозов не особо боятся. Некоторые ходят в обычной одежде, есть еще колоритные товарищи — в роскошных шубах. Из машины могут выйти полурасстегнутые. В общем, мороз их не берет.
Лед Байкала
Это тоже зимняя командировка, но уже в Иркутск, на инсталляцию оборудования. Ночной вылет и прилет рано утром. Времени полно, я сел на маршрутку за 200 рублей и поехал на Байкал. Ехать минут сорок. Дорога идет вдоль незамерзающей в этом месте Ангары, вытекающей из Байкала. Вода чистейшая, прозрачная. Ближе к истоку река постепенно переходит в озеро с невероятно толстым льдом. Статистика уверяет, что в феврале его толщина в среднем по озеру достигает 2,5 м.
Благодаря ветрам, сдувающим снег со льда, озеро напоминало бескрайний каток, но местами не очень хорошо почищенный. Умные люди разместили около остановки маршрутки прокат коньков, за что я и многие туристы им очень благодарны.
Как оказалось, у байкальских конькобежных прогулок есть одна особенность — огромные трещины и разломы во льду, которые приходилось перепрыгивать.
Для Байкала это типичная история. Из-за перепадов температур и течений лед на озере подвижен. Наиболее яркий пример был в прошлом году, когда одна из ледовых переправ на остров Ольхон так и не открылась за весь сезон из-за образовавшегося разлома. Объехать его было достаточно проблематично. В одной из чьих-то попыток машина частично провалилась под лед. Все остались живы, но сотрудникам МЧС было чем заняться. А потом, наверное, и ремонтникам в автомастерской.
Но самое неожиданное — лед на всю свою глубину чист и прозрачен. Как будто ты стоишь на стеклянном полу, а под тобой темная бездна глубиной полтора километра, причем начинающаяся практически от берега. Жителям средней полосы России с многочисленными реками и прудами такое в диковинку.
Про аэропорты маленьких городов
Отдельная история — поездки по малым городам и рабочим поселкам. Жители мегаполисов привыкли, что аэропорт — это гигантская территория. Как минимум одно огромное здание со стеклянными стенами, взлетные полосы, ангары, тысячи людей вокруг, дьюти-фри и все блага цивилизации. Когда ты начинаешь ездить по различным городам и заказчикам, обнаруживаешь, что это не аксиома. Есть тысячи мест, куда совершается всего несколько рейсов в неделю, и аэропорт нужно открывать буквально на час. В остальное время он закрыт. Ты это видишь, понимаешь, но автоматически применяешь регламенты больших аэровокзалов.
Как-то был у меня утренний вылет из Пензы. Я в спешке собирался, чтобы успеть приехать за час-полтора до вылета (типичное московское мышление). И вот, подъезжаю за час к аэропорту, дергаю за ручку двери, а она закрыта. Вокруг никого, объявлений никаких нет, спросить не у кого.
Стою, пытаюсь осмыслить происходящее. Вдруг подходит женщина: «А что вы тут стоите?». Я говорю: «У меня вылет». Она: «Так мы сейчас только открываем, приходите через полчасика». Затем достает большой ключ и открывает им навесной замок, который я до этого почему-то не заметил. Вот такой контраст…
Те самые медведи из названия статьи
Ну, и как же без медведей… Эта история произошла не со мной, а с моим коллегой. Он тогда тоже был стажером. Клиент, которому нужна была помощь, находился в небольшом городке где-то в тайге. По окончании работ коллега направился в аэропорт, чтобы спокойно ждать своего вылета. Вышел из такси и пошел по территории аэропорта в сторону основного здания, как метрах в 30 от него вдруг выскочил медвежонок.
Опасность состояла в том, что, как правило, медвежата без мамы не ходят. Мама-медведица может повести себя агрессивно и не станет утруждаться раздумьями на тему, инженер ты с ноутбуком или браконьер с 308-й «Сайгой».
Коллеге повезло, что медвежонок тоже немного испугался и решил, что ему в лесу будет спокойнее. В общем, в его копилке личного опыта появилась новая комбинация: аэровокзал, самолет и медведи. А всего лишь за минуту до этого человек спокойно шел и думал про эксперименты с восстановлением старых жестких дисков, которые заменил заказчику пару часов назад…
Напоследок
Конечно, не все наши поездки связаны с заполярьем и медведями. Чаще это большие и средние города, где присутствуют офисы или объекты заказчиков. Если задачка несложная, то командировка переходит к группе стажеров или младших инженеров, которых у нас в команде не так уж и мало. Это происходит потому, что инженеры из нашего подразделения со временем переходят в другие, а у нас тут получается своеобразный конвейер кадров.
Кстати, стажеров мы ищем не только через вакансии. У нас проходит много образовательных мероприятий, после которых ребята могут получить оффер к нам в команду. Например, сейчас у нас идет отбор на Летнюю ИТ-школу, где мы две недели будем обучать студентов, которые хотят работать с железом.
Если вернуться к поездкам, то кроме экзотических мест много всего интересного находится в городах. В свое время мне очень понравился Екатеринбург с открытыми и отзывчивыми людьми, Ставрополь, где приятно просто прогуляться и Казань со своей национальной кухней. Но пусть про них расскажут мои коллеги в следующих постах.
