Романтика дальних инженерных выездов (а наша крыса выжила)


    "— Да ладно тебе, чё, правда нельзя так? Удобно же, кабель многожильный, мягкий. В одножильный так не завернёшь..."

    Заказчик — большая компания — объявляет тендер на ИБП и кондиционирование для инфраструктуры своих дата-центров по всей стране. Объектов чуть меньше 30 штук, причём включая города, где нет железной дороги. В основном. В августе стартует конкурс, в ноябре только-только заканчивается оформление всей документации. Соответственно, наши инженеры приезжают уже в тот момент, когда «снаружи» от -30 до -40 наружного воздуха. А по условиям контракта нужно мыть наружный блок кондиционера.

    Кто не знает, сообщаю — делается это водкой. Желательно — палёной, она хуже обмерзает. Процедура такая: покупается ящик или два в ближайшем магазине, оцинкованное ведро. В этот момент прохожие уже начинают крайне болезненно реагировать, наблюдая за сливом водки в ведро. Водка, кстати, во многих удалённых городах — до сих пор альтернативная валюта покрепче рубля. Затем на лицах окружающих проступает неподдельная печаль и вся мировая боль, когда блок кондиционера начинает промываться.

    В такие выезды мы всегда отправляем хотя бы одного инженера с опытом подобных работ, потому что подводных камней много. Начиная от того, что за святотатство могут банально побить, и заканчивая тем, что ящик водки потом «дома» надо как-то провести по бухгалтерии. А вопросы будут. Ещё одна опасность — при распрыскивании на внешний блок кондиционера можно крайне быстро надышаться парами спирта. Как шутят бывалые — в инструментальном наборе обязательно нужно иметь отсек для огурчиков, чтобы снимать последствия ингаляций такого типа. Следующая проблема — всё надо делать быстро, потому что при -35 и ниже с учётом температуры конденсатора около 60 градусов в плюсе — запах водки стремительно распространяется по району в направлении ветра. Или всенаправленно, если ветра нет. Местные жители реально начинают очень странно себя вести и искать источник беспокойства.

    Заходите, буду делиться другими историями.

    Командировки у нас каждую неделю. Частые, но короткие. За 10 лет в отделе мы уже побывали по всей стране. А ещё в Казахстане, на Украине, на обучении в Голландии, Китае, Германии.

    Вдали от обычных маршрутов цивилизации есть ряд мест, куда можно попасть только по зимнику — дороге, которая раскатывается по снегу и льду, по озёрам и холмам. Зимник в Сибири, например, вообще единственное средство добираться до ряда населённых пунктов. Как только зимник тает, город буквально отрезается от цивилизации до следующих холодов. Весной или осенью в принципе невозможно попасть на инженерные объекты, только разве что вертолет на крайние случаи. Расстояния довольно большие — надо на 700 километров через горы, например.

    На зимних выездах экипировка берётся достаточно странная для «перворазников». Три запасных колеса, ружья, топоры, запчасти. Если машина сломается в тайге, сначала можно вообще никого не встретить пару дней. А потом на приятный запах бензина и матюки придёт мишка интересоваться, кто это тут такой вкусный. Последний раз водитель вообще размахивал новенькой «Сайгой» со словами «от местных отстреливаться» — говорит, места безлюдные, балуют. Природа там очень красивая — но через час уже надоедает смотреть в окно, одно и то же примерно.


    Мой коллега ловит себе ужин выездного сисадмина

    Ездить нужно довольно регулярно, потому что всё то, что нельзя сделать удалённо (установка и монтаж) лучше делать самим, чем объяснять местным. Как правило, они хороши на мелких ремонтах, но не обладают нужной квалификацией, поэтому в удалённый ремонт мы идём только в крайних случаях. Так вот, поскольку квалифицированный инженер — человек редкий, отправлять больше одного смысла не имеет. В итоге на таких выездах водитель становится самым родным человеком. А ещё с какого-то момента связь не берет, поэтому перед поездкой надо запасаться анекдотами и сервис-мануалами. Последний раз двигались из Нерюнгри в Теплый ключ (это до Якутска 500 километров и ещё 500 в сторону Магадана), река без мостов, — нужно ждать зимника. Водитель решил, что проскочит, когда официального зимника ещё не было. Водителя оштрафовали на 300 тысяч за перевозку людей.

    Холода, кроме особенностей омывания наружных блоков кодинционеров, приносят довольно много сюрпризов. Например, в Хабаровске нам рассказывали такую историю: на месте решили покрасить и теплоизолировать расширительный бак гидравлической системы. Как положено, запланировали 2 часа на простой. Но не учли переходный период. В 11 утра в мае было 10 градусов. Через 2 часа было уже 30 градусов. Началось термическое расширение жидкости. Ёмкость в две с половиной тонны просто разорвало по швам. Заварили, начали запускать — свистит. В итоге мы узнали всю эту предысторию, когда монтировали новый расширительный бак.

    Очень много косяков вскрывается на местах на выездах по новым монтажам. Как правило, приезжаешь, смотришь в проект — там одно, а по факту — несколько другое. Вот буквально недалеко совсем, в Москве аж сербский субподрядчик заказчика сдавал инженерку. Подходим к розетке, проверяем — напряжения нет. Заказчик вскрывает — провод есть, всё аккуратно смонтировано. Дёргает — он выпадает. Там хвост на 30 сантиметров, и больше этот хвост никуда не идет. Видимо, секрет Теслы подрядчику не дался. Или вот на другом объекте субподрядчики подключали наш датчик давления жидкости. У него два жидкостных входа и электрический вход чтобы снимать показания. Инженер подрядчика не понял. Одна жидкостная линия подключена правильно, вторая — в электрический вход (вставлена гидравлическая трубка), а потом фаза — во второй жидкостный вход.

    Как-то нужно было подключить небольшой ИБП. Кабель должен быть по нормативу около 16 квадратных миллиметров. А туда идёт кабельная линия 3х2,5 мм. Потом стоит автоматический выключатель. Оттуда в сторону потребителя растет до 3х10 мм. Мы:
    — А это… вам тут всё нравится?
    — Делай по чертежу. Так утверждено.

    В Ханты-Мансийск в прошлом году ездил. Попросили посмотреть оборудование, что-то слишком быстро выходили из строя компрессоры. Выходим на площадку, вокруг дядьки с галстуками, явно не последние начальники. Ходят, смотрят. Диалог получился примерно такой:
    — Посмотришь? Тут компрессора часто горят. Мы их меняем. Всё остальное работает, вроде. И так с 2007 года. Мистика.
    Я присматриваюсь и аккуратно так сообщаю:
    — Господа, а вас не насторожило, что надписи вверх ногами?
    Они:
    — Да как так? Не может быть!
    Переглядываются
    — Вась ты глянь… На самом деле!

    Все внешние блоки систем кондиционирования стоят вверх ногами. Компрессор страдает под нерасчётной нагрузкой.

    Хабаровск — там кто-то реализовал схему включения циркуляционных насосов на 15 КВт напрямую с выключателя без пусковых элементов. Сожгли в течение месяца 4 насоса. «Включаю, его сразу выбивает, я опять включаю».

    Или вот идёт пусконаладка ИБП, причём монтаж делала местная подрядная организация. Я проверял. Смотрю — кабельные линии сделаны не по стандарту: заземляющая должна быть желто-зеленая, а она другая. Фазный проводник на месте нулевого. Открыл батарейные кабинеты — всего было 124 АКБ на 4 линейки батарей. Обычный нормальный человек поделил бы на 4 — получилось бы по 31 на шкаф. Но нет. В одном 24, потом 28, потом 36 — потом остальное. Логику пытаюсь понять до сих пор. На этом же объекте был маленький пункт с ИБП на другом этаже. Монтажник говорит: «Лишние перемычки остались». А в комплект вендор ничего лишнего не кладёт, это важно. Решили перешерстить. В итоге выяснилось, что если бы подали питание при его сборке — мы бы остались без ИБП.


    Достаточно частое зрелище на объекте

    Расскажу ещё про обычные дорожные приключения. На югах тоже своя специфика. Делали инфраструктуру для заказчика в Дагестане. Едем обратно — на перекрестках стоят дяди в камуфле с армейскими автоматами. В новостях потом — только наш инженер ушел с объекта, там прямо в 15 метрах рядом началась перестрелка.

    В ещё одном жарком городе оставили на дороге тяжеленный снятый трансформатор до утра, утром надо было его убрать и перемонтировать. Утром приходим — нет его. Зато дорога новая, асфальт положен, где он лежал. А унести было нереально без спецтехники. Начали расспрашивать. Выяснилось следующее: по этой дороге должен был проехать чиновник по плану. Поэтому около часа ночи пришли рабочие и выкопали яму под трансформатор, «уровняли» его в дорогу и положили сверху асфальт.

    В Петербурге произошла история, достойная культурной столицы. Заказчик располагался на территории электростанции 1901-го года постройки. Мы проходили инструктаж 2 дня (ДВА ДНЯ) чтобы просто допуститься к работам. Дама очень любила электростанцию и поэтому нам рассказала сначала историю объекта, потом района, потом всего Петербурга. Дошла аж до Петра. После допуска мы выдохнули и пошли, но это оказалось не всё — можно было ходить только по внутренней зоне. А вот на улицу где опасная зона — ещё 3 часа техники безопасности вперемежку с историей.

    Там же в Петербурге нам нужно было на объекте получить кабель 5х95 примерно 6 метров. А притащили стометровую тоннажную катушку. Говорят: «Может пригодится. Не пригодится — ну, мы обрезки заберём».

    Один раз ремонтировали ДГУ, которые просто не вставали на сервис годами. Заказчик поставку подписал, а сервис согласовывал больше двух лет. Обслуживать установки никто и не думал. Когда они встали, мы застали стертые до мяса вращающиеся элементы.

    Видели ЦОД по охлаждению реализованый задом наперед. Холодный воздух поступал на выходы из серверов. Предполагался «обратный» монтаж стоек, но охлаждение делала одна команда, а железо ставила другая. Мы комментируем:
    — У вас плохо тут будет.
    — Вы не понимаете, производитель сам проектировал.
    Через 3 месяца, конечно, аукнулось.

    В Серпухове приезжаю на площадку. На половине будущего объекта нет крыши, внутри лужи. Подходим к месту монтажа серверной — там готовятся заливать полы, лежит цемент. Говорю: «В таких условиях железо долго не проработает», а мне: «Монтируй, у нас график. Нам по сроку нужно запустить ИБП. У тебя договор, делай!». В итоге сделали, как потребовали, а потом несколько раз непланово катались.

    Коллега рассказывает о самом коротком пуске:
    — Не трогай, сейчас сгорит!
    — Запускай, у нас график!

    Или часто бывает так: «Сдайте объект, только не включайте»: например, на большом количестве объектов с газовым пожаротушением инициирующие устройства не подключены к газу. Потому что вдруг будет сработка. Как минимум один сгоревший по такой причине ЦОД я знаю.

    Но давайте о хорошем. В целом, бывают предусмотрительные представители заказчиков, точно знающие, зачем нужен фальшпол. У них там в серверных внизу лежит водочка, охлаждается. У одного из производителей вентиляции видели маленькую серверную с правильно оборудованным горячим выводом. Они решили не только греть окружающую среду, но и правильно использовать тепло для своей пользы. Поставили маленький пивоваренный агрегат, радовались своему домашнему.

    Один раз инженерам заказчика нужно было срочно решить задачу, которую поставил руководитель в 8 утра 2 января. «Я не вижу, тепло на объектах работать или нет. Поставьте метеостанции и выводите их в мониторинг в Москву». Через 4 часа мы увидели волшебную картину — молодые весёлые парни развешивали термометры около охранных камер. Включаешь видеопоток — температуру видно.

    У нас в офисе висит турник. Дело в том, что нам нужно не только от медведя убегать, но иногда и много чего таскать. Поэтому играем в «лесенку» постоянно. Из случаев таскания самый запомнившийся — ДГУ на крыше одного из дальних ЦОДов, туда надо было 3 машины по 200 литров натаскать вёдрами. Изначально хотели сделать гидроплатформу туда, а потом просто зарубили вторую часть финансирования и решили, что ногами лучше. Мы-то один раз в этом цирке участвовали, а команда обслуживания там регулярно веселится. Бесплатный фитнес.

    Один раз заказчик (большой чин) лично поехал смотреть переключение на ИБП/ДГУ. Открывает, там реле.
    — Аааа, дуга!
    И отпрыгивает. Ему:
    — Спокойно, нормальная рабочая ситуация.

    Большой начальник подумал и экскурсию прервал. Попросил дальше в бумагах.

    В Воронеже ремонтирую щиты и ИБП. Говорю: отключите датчики пожарки, пыль может подняться, датчик сработает. Они ничего не отключили. Беру воздуходувку, дую в вентилятор. Поднимается огромный стол пыли ровно вверх — а там датчик. Срабатывает пожарка по всему объекту— я бегу на охрану говорить что по пыли. «Ничего не знаю, полная эвакуация». Прибежал главный инженер распекать матом: «А я же тебе говорил». Но в итоге заказчик всех похвалил. Говорит, пока вы тут цирк устроили, у нас по торговой части полковник МЧС ходил. Увидел, говорит, что всё работает как часы — считай, в этом полугодии не придут.

    Один раз наши иностранные коллеги бурили стену по нашему проекту в помещение для топливных баков. А надо сказать, что на схеме было характерное «облачко» выноски с увеличением масштаба, чтобы было видно, какое именно отверстие нужно. Так эти товарищи ровно по контуру облачка и выпилили в натуральный размер.

    И напоследок про крысу. У коллег она на линейке батарей взорвалась от нахлынувших чувств и напряжения, а наша вот, красавица:



    Наша выжила.

    КРОК

    387,00

    №1 по ИТ-услугам в России

    Поделиться публикацией
    Комментарии 56
      +20
      AVorobev, спасибо за понедельник!
        0
        Спасибо. По тегу про крысу есть ещё пара понедельников коллег.
          +2
          Спасибо, оставлю на пятницу :)
        +1
        Спасибо, это феерично!
          +3
          Кто не знает, сообщаю — делается это водкой.


          А цена вопроса никого не интересует? :) Технический спирт в разы дешевле по идее.
            +11
            Есть подозрение что дело как раз в цене вопроса — «в полях» технический спирт найти еще нужно, а иногда и привезти с собой, тогда как самой дешевой водкой можно затариться в ближайшей подходящей точке (доставка «включена»).
              +4
              Да, именно так, спасибо.
                +1
                Нет, если ВНЕЗАПНО потребовалось промыть кондиционер, то оно конечно. Но в плановой-то работе… Впрочем, из полей, наверное, виднее.
              +2
              По заголовку знал, какой тэг будет в конце :).

              Весело всё это рассказывать, да. Вот проживать такие ситуации — куда менее весело обычно.
                0
                Всё нужно воспринимать с юмором. И просто продолжать делать сложную работу. Вот это кайф.
                +6
                О-(парапарам!)-фи-(парапарам!)-ген-(парапарам!)-но! avorobiev, спасибо. Как проводят водку по бухгалтерии?
                  +4
                  Кстати да. У меня жена главбух, прочитал ей параграф… Она не смогла ответить, какое бы обоснование её удовлетворило.
                    +8
                    Как обычно — протирка главной оптической оси.
                      0
                      У нас так литров 10 на протирку микроскопа лежит)
                    +6
                    «Представительские расходы»
                    0
                    Отличные истории, про Теслу поржал от души!
                    пришли рабочие и выкопали яму под трансформатор, «уровняли» его в дорогу и положили сверху асфальт

                    Прямо на байку смахивает… не верится
                      0
                      Можете приехать и покопать — должен быть на месте. По крайней мере мы его оттуда не доставали. При личной встрече могу назвать адрес
                        +1
                        Я готов поверить и на слово, просто уж больно на анекдот похоже. А так у нас все что угодно может быть )
                          +2
                          Не верю. Нет, в то что экстренно закопали — верю. А вот в то, что на следующую ночь не выкопали и не пустили на медь — не верю, извините. Есть опыт.
                            0
                            мы его оттуда не доставали

                            А вы проверяли, лежит ли он вообще там? Может быть, это вам рассказали, что его в землю закопали — пойди его проверь — а на самом деле утилизировали, как предположил ниже ufm.
                            0
                            Это же Россия
                              +1
                              Угу Россия, адова страна. В Западной Африке трасформатор оставьте так. Или на Кубе. Или на Гаити.
                            0
                            По поводу животных. Видел как-то труп мыши в принтере. А недавно показывали мне как мыши оптику перегрызают на объектах в степи. Кабели им мешают ползать и они их перегрызают.
                              +4
                              Нет, они зубы точат. У грызунов они всю жизнь растут. Им надо обязательно их стачивать хоть об бетон.
                                0
                                Там бетона более чем. А лазят они по кабелепроводам, по вводам в стойки т.к. места там немного, они пробивают себе путь перерезая кабели. Сказали, что одна неудачно перегрызла изоляцию силового провода.
                                  +4
                                  Одна… Вам ещё хорошо, отец, когда в автономке был, у них по этой причине аварийная ситуация на лодке была. Разобрались, но, говорит, седых волос что у командира, что у операторов реактора прибавилось.
                                +9
                                У меня на военной кафедре случай был. Крысы под фальшполом сожрали все кабели, которые через стену проходили (толстый пучок, весь в ошметки), кроме одного — который вёл к компьютеру начальника кафедры. Знают мерзавки субординацию!
                                0
                                А с крысой что? Достали и они убежала что ли?
                                  +5
                                  Теперь её зовут Мастер Сплинтер.
                                    0
                                    Оказали первую помощь при поражении электрическим током, напоили чаем, угостили сыром и проводили домой.
                                    0
                                    Я не совсем совсем не понял, за что водителя то оштрафовали в третьей истории?
                                      +1
                                      Потому что рисковал жизнью пассажира.
                                        0
                                        все равно не понял… водитель что ли взял инженера и повез его вброд? Самовольно? Как вообще принимаются такие решения о выезде на удаленный объект?
                                          +5
                                          Даже если инженер сказал «поезжай, а то уволю», за его безопасность отвечает водила, и должен был отказаться там ехать, а потенциальное увольнение оспорить в суде.
                                            0
                                            Не поймите меня превратно, но такая практика во всех странах (многих)?
                                      +15
                                      Отвалилась связь с комплектом для удаленного мониторинга бурения, на Ямале. На попутном вертолете (Ми-26) отправили бригаду починить. Починили, отрапортовали, восстановление связи подтверждено. Через 15 минут связь опять отваливается. Причина — во время взлета ветром развернуло спутниковую антенну. %)
                                        +18
                                        Это всё, что вы хотели знать о рекурсии.
                                        0
                                        Про самый короткий пуск порадовало. Там таки сгорело же, да?
                                          +3
                                          А дуга на реле — что, действительно рабочая ситуация?
                                            +4
                                            Вполне себе.
                                            Почитайте про дугогашение в сильноточных реле и контакторах

                                            Например это контактор на 630А
                                            image

                                            Под этими белыми хреньками скрываются внушительные дугогасительные камеры

                                            даже в автоматическом выключателе на 10А есть вот такие элементы, которые помогают рвать дугу
                                            дугогасительная камера автоматического выключателя
                                            image


                                            Все что выше 5А требует дугогашения. Ибо выше 5А начинают обгорать контакты, а выше 20А дугу на малых рабочих зазорах уже просто не разорвать
                                              0
                                              А как то, что изображено на второй картинке работает? По фото не очень понятно.
                                                +1
                                                На википедии есть целая статья по этому поводу.
                                                  +1
                                                  На воздушных выключателя 750 киловольт интереснее :)
                                                    0
                                                    Подобные эпичные вещи я только на youtube видел :)
                                                      0
                                                      Даже обучаясь на профильной специальности, не довелось такое видеть воочию. В смысле выключение воздушника, тем более на >=500кВ. В маслянных и элегазовых ничего уже не увидеть. А вот последствия размыкания разъединителей без снятия нагрузки — видел. Пичаль :)
                                                        0
                                                        Воздушник нужно не смотреть а слушать. Я в институте на экскурсии на 750 слышал. А вот разъеденитель разведенный без выключателя не в видел.
                                                          0
                                                          Ну слушать у нас возможность была на лабах по ТВН :) Я просто под «воочию» более широкий смысл вкладывал, нежели просто смотреть.
                                                            0
                                                            Нам на соотв. курсе говорили, что мол вживую вы с ними врядли будете работать, поэтому особо изучать не будем, просто знайте, что существует и вот такое, а если занесет вас на объект с ними — то обучат на месте.
                                                    +1
                                                    Собственно по ссылке в вики в соседнем комментарии есть подробное описание. Если коротко — то данная камера образует множество воздушных промежутков. При этом на каждом воздушном промежутке происходит падение напряжения вольт эдак в 30. Итого у нас зазоры выглядят следующим образом:
                                                    30В между контактом и камерой х2 + 30В х число промежутков камеры > 300В.
                                                    В итоге дуге просто не хватает напряжения для поддержания себя на всех промежутках и после перехода тока через ноль она уже не может загореться.
                                                –3
                                                Заголовок «У нас завелась крыса», был бы тоже неплох.
                                                  0
                                                  , но не взлетела.
                                                  0
                                                  — А это… вам тут всё нравится?
                                                  — Делай по чертежу. Так утверждено.


                                                  И что таки сделали?
                                                    +2
                                                    Бонус-пак:
                                                    Байки инженера-автоматчика fixik-papus.livejournal.com
                                                      0
                                                      Спасибо, закинул себе в RSS-читалку.
                                                      +1
                                                      … и больше этот хвост никуда не идет

                                                      … блоки систем кондиционирования стоят вверх ногами

                                                      … нет крыши, внутри лужи

                                                      это еще что…
                                                      в 2011 я был на КС «Портовая», той самой что газ в Германию по дну залива пихает… при мне делали пробный пуск одного ГПА (с ограждением, пожарной машиной, сиреной… всё как полагается...) — через 2 дня возвращаюсь в Питер и вижу в новостях как Медведев и Меркель крутят прозрачный кран «пуская» газ в Европу…
                                                      никакого газа там быть не могло еще месяц минимум!… даже несмотря на ребят из Ролс-Ройс… даже если инопланетяне прилетят помогать…

                                                      то что у нас так это понятно и привычно… но вот что и у них тоже… кто бы мог подумать…

                                                      тот самый кран
                                                      image

                                                        0
                                                        Скажите, пожалуйста, а встречались в вашей практике ЦОДы с охлаждением водой из природных водоемов? В Финляндии таких несколько, у нас не нашел.

                                                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                        Самое читаемое