«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах



    Анды, высота 1564 метра, чистейший горный воздух, остро пахнущий соляркой. Голая каменистая площадка, четыре купола и три контейнера — купола для телескопов, а контейнеры поменьше — жилой для сторожа или инженеров, санузел, мастерская размером с санузел, плюс купол для стойки Циски и линейки аккумуляторов ИБП. Вокруг — забор из металлической сетки.

    По площадке ходит Карлос, местный житель, и красочно ругается по-испански с индейским акцентом. Карлос сейчас находится в режиме энергосбережения, работы у него нет. Поэтому на автопилоте он собирает все камни в радиусе 30 метров и закладывает ими щели. Например, под забором, чтобы мелкая живность не пролезла.

    Судя по тому, что такими же камнями плотно и очень заботливо заложены все колодцы нашей будущей кабельной трассы от энергоблока к куполам, работа предстояла интересная. Как мы уже знали из вводной, протяжку они в гофру положить забыли, и предстоит всё раскапывать.

    Простая работа, говорили они. Нужен сисадмин, говорили они. Карлос увидел нас, поздоровался и сразу предупредил на своём ломаном испанском:
    — Видишь облака — беги. Если начнётся дождь, всё, совсем конец!

    Но акцент мы не разобрали, поэтому его не поняли.

    Откуда взялись телескопы и почему нужно было ехать к ним из России


    Один из наших российских заказчиков решил построить чудо-девайс, чтобы помочь астрономическому сообществу, где сам и состоит. В буклете, который нам дали, было написано примерно следующее: «Крутая точка для сообщества, качественные наблюдения, хорошая техника, «Astronomy on demand» всем в чате!»

    Самое удачное расположение для таких конструкций — там, где звезды видно лучше всего, то есть в горах и с чистым небом, так, чтобы по минимуму пасмурных дней. В Андах есть участки, где облака бывают всего 3-4 дня в году, воздух чистый, небо хорошее. Поэтому так далеко. Место на южной границе пустыни Атакама. Полностью ясных ночей (подходящих для занятий астрономией и наблюдения за очень слабо заметными объектами) от 280 до 310.





    Почва каменистая, мелкие фракции гораздо крупнее песка, поэтому нет пыли. Купола наверху этой фотографии — наша позиция:



    Проект сделали до нас.

    Если описывать упрощённо, работает это так:
    • Есть подсистема питания, которая умеет сама запускать дизель-генератор, управляет зарядкой батарей и периодически проверяет исправность дизеля методом пуска двигателя. Есть солнечные батареи, которые работают весь день, питают всю систему и заряжают линейку аккумуляторов, так как основная работа происходит ночью. Есть стойка, где стоит железо, которое всё это правильно коммутирует и контролирует. В этой же подсистеме есть куча датчиков, передающих разную телеметрию. Вход — привезённый дизель (редко) и солнечная энергия. Выход — автономное питание на все остальные системы площадки и телеметрия в блок контроля. Система делает всё автоматически, но умеет принимать и ручные команды из консоли управления.
    • Система управления и GUI к ней. На площадке только собственно интеграционный сервер, который принимает команды и разбрасывает их на подсистемы, плюс умеет отдавать консоли конкретных узлов, если надо. Основной элемент — удалённое управление телескопом и планирование его задач, чтобы люди далеко-далеко могли навести его на нужный объект и рассмотреть, не забираясь на нашу площадку ногами.
    • Связь. В будущем на объект планируется завести радиорелейную линию. Ответный конец радиомоста будет стоять на узле оптоволокна в предгорьях. Пока же —специальная направленная антенна LTE с модемной спаркой, которая смотрит на базовую станцию в нескольких десятках километров по прямой. К счастью, здесь, в горах, БС переключена в режим «покрытие», а не «множество абонентов», и абонентов нет. Поэтому почти вся полоса, без соканальных помех, наша.
    • Телеметрия. Это охранные камеры, камера перед стойкой с оборудованием, различные датчики и детекторы проникновения, данные о статусах оборудования. Всё собирается с периметра и заводится в сервер, который и отправляет их на удалённую машину для контроля.
    • Коммутация — километр кабелей питания ВВГ-НГ-LS 3х2,5 и километр витой пары. Соединяют купола друг с другом и с энергоблоком. Всё спрятано под землю и дополнительно экранировано.

    Местный подрядчик смонтировал купола, поставил солнечные батареи (стационарные — мы рассчитали наклон на местную зиму) и проложил кабель-каналы. И сразу же благополучно их засыпал, чтобы не лазили грызуны и мы не смогли просунуть кабель. Ещё раньше до места проложили грейдером дорогу, подходящую для внедорожника.

    Вот купола:







    Поскольку заказчику приходилось прыгать сразу через два языковых барьера, финальную сборку и пусконаладку решили поручить тем, кто хотя бы может объяснить, какой шайтанама раскривушка не хватает. Нас вчетвером спросили, хотим ли мы с интересом провести 3 недели в феврале в Чили за простенькой работёнкой, просто каблу повтыкать. Мы подозревали, что не всё так просто, но Чили упускать было нельзя.

    Так мы вчетвером оказались в горах, в двух с половиной часах езды от гордого городка Авайо.

    Вот что застали мы, когда приехали:





    Мастерская, где стол пришлось делать из транспортной тары:



    На фото уже счастливый момент, когда мы развернули ноутбуки и подключились к питанию. Для начала надо было добраться до места.

    Поездка


    Начали как обычно, в уже ставшем родным Шереметьево. По 30 килограммов хрупкого оборудования и инструмента с каждым, дичайший перевес, доплата за багаж (всё крупное полетело палетами транспортной компанией за неделю).

    Пересадка в Париже, гуляли по аэропорту целых полтора часа, пополняли базу знаний о халявных розетках — всё пригодится. Следующие 14 часов — трансатлантический перелёт на задних креслах у туалетов, попытки убить нас круглосуточной непрекращающейся едой. Привет, Сантьяго.


    Поля у них круглые, чтобы было удобнее орошать автоматикой

    У нас язык знал только Алексей, на уровне азов школьной программы («Меня зовут Алексей», «Как тебя зовут», «Давай, работай!»). И ещё Google Translate (но интернета не было). Предполагалось, что на объекте нам нужен будет только русский и русский мат с жестами для управления командой разнорабочих. Но до объекта ещё надо было добраться.

    В самолёте познакомились с русскоговорящей женщиной Татьяной, живущей 20 лет в Аргентине. Она помогла с арендой машины и немного поработала переводчикам. Нас должен был встречать специально обученный человек, но им оказался водитель подрядчика, который, увы, знал только испанский.

    Водитель сразу вручил нам местные симки, чтобы мы не потерялись. Но предупредил, что работать они начнут только к вечеру — долгая активация после первой установки в телефон. В компании по аренде машин нас сразу обрадовали, что заказанный пикап отсутствует, из того, во что влезет наш багаж, есть только тойота. Учитывая косяк автосервиса, на машину небольшая скидка, но стоит она всё равно почти в два раза дороже. Вот такая:



    Взяли автомобиль, закупились едой и поехали в местный хозмаг на окраине города по типу наших «Леруа» — покупать ещё примерно 50 килограммов всякой всячины, очень нужной на объекте, которую можно достать. Где обналичить деньги, не нашли (банкомат наши карточки не видел), поэтому рассчитывались карточкой (в хозмаге получилось). Позже это сыграло с нами нехорошую шутку: автотрассы платные, стоят рублей 50–100 по-нашему, но пункты взимания платы каждые 50 километров. Строго наличка. Поэтому в первый раз Лёха сделал глаза как у кота из «Шрека» и сказал что-то вроде: «Американо долларс, пор фавор!». Полицейский с омерзением на лице принял портрет президента чужой страны и вместо сдачи показал: «Езжайте!»

    Сразу же взяли тент для машины, много воды, крем от солнца (в Чили в горах опасно — нужно сразу пятидесятку, иначе станешь красный как рак уже вечером). После первого ПВП, поняв свою ошибку с валютой, начали стучать в домики какой-то деревушки. Нам не открывали. В итоге поменяли деньги только уже на заправке. Кстати, местный увидел канистры сзади, сразу запрыгнул в кузов и начал лить и в них. Тоже на уровне рефлексов. Бака бы не хватило, заправки в горах нет.

    Права, кстати, при аренде приняли русские, а больше мы их никому не показывали. Вели по очереди. На крупных дорогах просто пристраивались за кем-то, едущем в нужном направлении, и повторяли все манёвры. Нас предупредили, что лихачить нельзя, гайцы прячутся по кустам.

    Несколько часов мы ехали по дороге мимо океана и любовались всем подряд. Мы были в 600 километрах на север от Сантьяго, близ города Овалья. Въехали в долину реки Уртадо, начался горный серпантин и активная работа рулём. Дорога местами асфальтированная, местами — нет. Где нет асфальта, там смачивают поверхность, потом грейдер ковшом разравнивает, получается каток не хуже асфальта. Судя по тому, что про гостиницу предупреждают за 75 километров, кое-кто уже терялся:



    Сам городок Авайо стал точкой, где мы докупали мелочи из хозмага. Из необычного — там довольно много полиции: по 4 человека на каждом углу, и машины их обрамлены сетками от добрых сограждан.



    Гостиница нас порадовала тем, что она предлагает экологический отдых высокого класса. В переводе на человеческий это означало:
    • интернета нет;
    • телевизора нет;
    • телефон не ловит;
    • но есть тормозной Wi-Fi на скорости 2G в холле;
    • воду сюда возят тягачи в цистернах;
    • есть целебные кактусы.




    От гостиницы до позиции в первый день рулили полтора часа, потом научились и добирались за час.


    Когда куда-то лезешь — главное, не схватиться за кактус. Кактусы очень прочные — можно со всего размаху бросить камень в 10 килограммов, и он отскочит.

    Каждое утро мы вставали за час до завтрака, ходили по горам, потому что потом ехали на объект и возвращались уже по темноте. Видели, как спят козы. Просто лежали в шезлонгах и смотрели в небо по вечерам.



    Гостиница исправно заворачивала нам еду с собой, но её было мало, в основном — невкусные бутерброды и странные батончики. Бутерброды приманивали орлов. Точнее, сначала на запах выходили грызуны, а потом на грызунов прилетали орлы. Батончики же мы отдали детям целым пакетом потом.


    Массив солнечных панелей, тут всё было сделано правильно и на твёрдую пятёрку — технологии региону очень знакомые. Производитель LG.

    На месте нас встретил Карлос, местный разнорабочий. Он привозил воду, хорошо делал сварку, таскал разные вещи. В режиме пониженного энергосбережения Карлос строил кучи из камней.

    Надо было сделать ТО ДГУ: она проработала больше 500 часов, заменить масло и фильтры, чтобы и дальше работала. Пришлось выгрести кучу масла оттуда, где его не должно быть. В результате первую неделю в горах мы дышали дизелем.


    На второй день с трудом взяли из гостиницы фены и обогреватели, нагрузили максимально на 13 КВт, из него полетело много всего. 500 часов почти холостой работы — вредно.

    Дерева на месте нет, поэтому столы и стулья мы делали из транспортных ящиков.

    Задач было много. Кроме упомянутой выше протяжки кабеля и обслуживания дизеля, надо было смонтировать видеонаблюдение, скоммутировать разные датчики, настроить автоматику и ещё починить купол. Большой купол местные смонтировали так, что раскрытие обеспечивалось недостаточное. Меньше, чем по проекту.


    Высота 3 метра, долезть сложно, деталей нет, поэтому варили их из того, что нашли вокруг и какой-то матери. На 70 километров вокруг нет болтов, магазинов и инструментов.

    Раскапывали закладные. В этом нам помогали местные, они вручную очень хорошо копают. Но стоит им задуматься, начинают собирать камни и складывать их в кучи. Говорят по-испански, но с ужасающим шуршащим акцентом. Четыре дня не могли приступить к прокладке. Кабель привезли свой:







    Измотали километр силового кабеля, не хватило в конце буквально пары метров. В итоге купили в долине удлинители, распотрошили их.

    До каждого купола шли по две линии витухи: вымеряли, раскладывали зигзагами, чтобы не замотались, затягивали через колодцы. Хорошо, Карлос точно помнил, где они.

    Пока укладывали — соляры ушёл целый бак.

    Аккумуляторы монтировать было тяжело физически. Один ярус — 300 килограммов, и вертикально ставить нельзя ни в коем случае. Четыре линейки, итого: тонна двести батарей в помещении 2х2 метра, где вчетвером не развернёшься. Кое-как уложили:



    На 23 февраля поехали за топливом, плюс по списку, чего не хватает, в хозмаг. Это у нас был выходной, один-единственный за три недели. Купили мяса, решили сделать шашлык.Разделывали прямо на стоянке. Но в итоге не пожарили — оказывается, можно разводить на пляже огонь только после 19:00. Съели уже в отеле. Так и не нашли USB-удлинитель — местные просто не знают, что это такое, и в продаже его не было. Не было и роутеров со внешней антенной.

    Пока обходили границу пляжа по воде, исцарапались камнями до крови — прибоем приносит мелкую острую фракцию, она реально ранит.



    Обнаружили потом, что люди тут иногда живут прямо в кемпингах: спутниковые тарелки, газовые плиты. Люди на пляже просто неделями сидят.



    Смонтировали охлаждение и камеры:



    Сделали опору:



    Местный подрядчик поставил антенну:


    Выставляли они «на глаз», мол, вооон там за горой базовая станция, но всё поднялось сразу.

    Смонтировали периметр:



    В итоге сделали мониторинг территории: въезд и охрана, подключили камеру в серверной, чтобы смотреть на стойку, свели датчики температур (уличный и в помещениях), по две штуки на бокс. Настроили систему тревог по типу Watchdog: система в зависимости от наличия интернета перезагружала роутеры, выбирала канал, отправляла SMS про разные аварии, смотрела на доступность всего железа регулярными пингами. Это же оборудование по движению на камерах отправляло тревогу на проникновение. И туда же завели аварии и события по питанию. С дизеля и со стойки питания. Настроили сборку и хранение логов на сервере. Да, для управления используется промышленный системный блок безвентиляторный.


    Стойка

    Кстати, датчики монтировались очень просто, спасибо коллегам из проектировки. Они заставили подрядчика монтировать заглушки на их месте или лепить наклейки по месту монтажа, поэтому ничего не перепутали.

    Дособирали всю электрику. Самой сложной была грозозащита. Место очень сухое и идеальное для удара, плюс молнии тут частые. Нужно было делать защиту с двух сторон, смотря куда молния ударит — чтобы в случае чего сгорела только половина.

    Связь — сейчас со всей площадки по локальной сети в локальный сервер. Уже сервер связывается с большой сетью. В будущем тут недалеко будет оптика, потом радиорелейка с оптики, но сейчас — LTE.

    Сам телескоп туда привезут уже вот-вот, прямо на днях, если ещё не привезли.


    Наша команда: Алексей Падалко, Loco conductor и мозги энергоснабжения, я — Максим Ширенин — отвечал за электричество, Игорь Дрозд, управление куполами, Кирилл Николаев, управление куполами и связь (цискарь).

    Конец


    В последний день, буквально за несколько часов до нашего выезда, приехала ещё одна железка, которую надо было смонтировать и проверить. Заканчивали уже минута в минуту. Когда надо было выезжать, вдруг закапал дождь. Мы уже знали, что это грозит селями, и выбираться будет очень опасно. Но, к счастью, он за пару минут закончился, и мы уехали нормально.

    Ссылки:

    В самолёте, ещё на взлётной полосе, попробовали уснуть. Когда выехали от гейта, пилоты начали проверять, а левый движок не заводился. Нам об этом сообщили на двух языках. Алексей в полусне принял информацию и сообщил:
    — Я движок чинить не буду, у меня допуска нет.

    КРОК

    169,64

    №1 по ИТ-услугам в России

    Поделиться публикацией
    Комментарии 35
      +8
      В рассказе как-то осталась не раскрыта тема про облака, дождь и «мы его не поняли» ;-)
        0
        Если бы дождь пошёл в первые дни, мы бы не знали, что правильно делать. После того, как разобрались, очень боялись этой истории, поэтому в последний день вода с небес нас нехило напугала.
          0
          Еще не раскрыта тема про редкие облачные дни и частые молнии.
          +1
          В самом конце есть:
          Когда надо было выезжать, вдруг закапал дождь. Мы уже знали, что это грозит селями, и выбираться будет очень опасно. Но, к счастью, он за пару минут закончился, и мы уехали нормально.
          +4
          а где же кучки камней, которые делают местные сомнамбулы?
            +2
            Кстати да, вопрос про камни тоже так и не раскрыт — зачем они делают горки из камней, как это может пригодиться и почему?
              +6
              Зато стало понятно откуда взялись пирамиды майя
                +5
                По-моему очевидно, если на участке много камней — то их убирают что бы под ногами не мешались. А если сложить в горку, то стройматериал всегда под рукой.

                В РФ если у кого каменистый участок, так же люди поступают.
                0
                Они повсюду. Увы, я не думал, что это надо снимать.
                  +1
                  Увы, полезная привычка щёлкать всё-всё подряд просто без остановки, даже тупую рутинную работу и траву и камни под ногами и вообще всё на что взгляд упал — приходит постепенно. Даже дешёвую мыльницу было дело специально под это заводил — плохой кадр, который есть — всегда лучше неснятого отличного кадра с суперзеркалки.
                +5
                Отличная история, как и всегда от Крока. Читается на одном дыхании, как художественная литература.
                  0
                  Интересный отчет, спасибо. Я, кстати, родился в Тёплом Ключе.
                    +12
                    Видели, как спят козы. Просто лежали в шезлонгах и смотрели в небо по вечерам.

                    Это козы лежали в шезлонгах? Или как они спят?
                      +1
                      Это мы лежали в шезлонгах и любовались восхитительным ночным небом. А козы спят на земле у лачуг своих хозяев, очень компактно.
                      +2
                      Все понятно, кроме того, почему Крок монтировал что-то в Андах. Ну т.е. я понимаю, там народ местный темноватый, но неужели ближе к месту работ не было людей, способных за разумные деньги «втыкать каблу», без необходимости прыгать на самолете (-лях!) через половину земного шара? )

                      Молодцы, уверен, что, спасибо вам, все у них будет работать!
                        +2
                        Задача заключалась не только в том, чтобы прокинуть каблу, это необходимое «зло», а заставить все собранное корректно работать. Русскоязычный заказчик взял тех, кому доверяет, а не аборигенов. Пусконаладку надо было делать с пониманием друг друга и уверенностью.

                        В целом, обычно все проблемы от неверного ТЗ, и страховка от непонимания в данном случае всё окупила. Плюс сроки и компетенции — не всегда просто найти в нужной точке планеты сразу 4 нужных спецов, сработанных и готовых оторваться от города на 3 недели.
                          +2
                          Судя по ссылке «заказчик» CHILESCOPE был отечественный. Соответственно разработка и наладка проще с теми для кого русский родной.
                          Предполагалось, что на объекте нам нужен будет только русский и русский мат

                          P.S. пока читал текст выше уже всё и написали…
                          +5

                          Спасибо за очень интересный рассказ, всегда с удовольствием вас читаю.


                          Один вопрос: почему на фотографии с монтажём аккумуляторов и подписью "вертикально ставить нельзя ни в коем случае" один из слоёв стоит именно вертикально?

                            +1
                            Видимо после этого и поняли что нельзя.
                              +1

                              Видимо имелось ввиду, что скручивать надо укладывая друг на друга горизонтально, широкой плоской частью.
                              Иначе после сборки — эту дуру перевернуть вертикально только краном.

                                0
                                «Один из слоев» стоит вертикально потому что у нас две параллельные линейки АКБ. На фото как раз видно что одна линейка из четырех ярусов была смонтирована, а вторая еще нет.
                                +5
                                А что там с крысой? Уже не разрывает в хлам?
                                  +1
                                  Спасибо, поставил!
                                  +1
                                  В режиме пониженного энергосбережения Карлос строил кучи из камней.

                                  "В режиме пониженного энергосбережения" — это в смысле в режиме повышенного энергопотребления? :)

                                    0
                                    В смысле когда «заняться нечем». Как выше замечено, складыванием камней занимаются и у нас. Тур
                                    В современную эпоху туры зачастую возводятся в качестве ориентиров. В древние времена они воздвигались как памятники, как могильные камни, или использовались в практических и астрономических целях.
                                    –3
                                    Не верится, что в России есть компании способные заниматься такими масштабными и дорогостоящими научно-популярными проектами. Я имею в виду CHILESCOPE.
                                      0
                                      Парни, вы крутые! Мало к то так может: и руками, и мозгами.
                                        +1
                                        А к тому же — ещё и интересно об этом рассказать! Огромное спасибо автору за прекрасную статью!
                                        0
                                        Вот поклон Вам хочется до земли, ребята. Одно слово — ПРОФИ! Мужик сказал — Мужик сделал!
                                          0
                                          Этот комплекс будет стоять месяцами без единого живой души и никто из местных не подумает залезть туда? Допустим, сработала система оповещения о проникновении, через сколько туда кто-то приедет? В лучшем случае через день. К этому моменту могут уже все вынести на цветмет.
                                          Или там нет такой проблемы?
                                            +3
                                            Комплекс полностью автономный в смысле энергообеспечения и сетевой инфраструктуры. Однако на площадке предполагается наличие одной живой души, которая будет присматривать за оборудованием, устранять мелкие неисправности и тп. Жилой контейнер как раз и предназначен для этого человека.
                                            Плюс, на другом склоне горы строится научно-исследовательский блок университета Сантьяго. Часть инженерной инфраструктуры будет использоваться совместно. Местные жители вряд ли станут выносить оборудование, т.к его скорее всего будет проблемно где-то сбыть) Местность очень малолюдная, и пунктов приема металлолома за три недели нашего путешествия не замечено ни одного.
                                              0
                                              Все понятно, спасибо!
                                                0
                                                ещё в таких малолюдных местностях часто возникает довольно специфичнй уклад жизни, выражающийся напр в отсуствии замков… Ну или класика — продукты на обочине и рядом ящик с деньгами для сдачи — типа взял сколько надо, положил деньги в ящичек, сдачу сколько надо взял сам оттуда же
                                              0
                                              Какой софт будет стоять для управления астрономическим оборудованием?
                                                0

                                                Читаетсянаодномдыхании! Спасибо, Максим (@Shirenin).

                                                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                Самое читаемое