Комментарии 20
Пользуйтесь облаками, там работают профессионалы, все пятикратно зарезервировано и геораспределено.
Взгляд изнутри облака — синяя изолента и костыли.
Ну и вообще меня немножко удивляет что инженер работающий в цоде хоть немного не в курсе топологии этого цода и закрывают таски не включая голову. Иликорпоративное взаимодействие запредельный бюрократизм виной? Ну по крайней мере если мне придет задача демонтировать 40 юнит в 5ой стойке, а я вижу что там стоит вводной кросс на всю серверную — это точно будет поводом уточнить у вышестоящих нет ли ошибки и попытаться донести до них ошибочность решения.
Взгляд изнутри облака — синяя изолента и костыли.
Ну и вообще меня немножко удивляет что инженер работающий в цоде хоть немного не в курсе топологии этого цода и закрывают таски не включая голову. Или
Вы так говорите, как будто не ошибаетесь :)
Все хотя бы раз что-то удаляли, отключали, ломали по запарке. Бывает, что уж.
Все хотя бы раз что-то удаляли, отключали, ломали по запарке. Бывает, что уж.
Конечно удалял, отключал и ломал
Буквально на этой неделе заливая конфиг из-за ошибки при копипастинге в параметр пароля ушла часть нижележащего конфига. На работоспособности это не отразилось, благо есть резерв, да и этот свич остался в нормальной конфигурации но с потерянным доступом. Но добавило седых волос ибо из-за этой пандемии физический доступ к нему был предельно затруднен, а избыточность потеряна. В результате брутил циску всеми словами из простыни конфига чтобы определить какое именно слово стало новым паролем. К счастью успешно.
Но это именно как раз описанная вами ошибка допущенная по запаре. В случае же с CF аналогия у меня возникает как заливка заведомо неверного конфига, потому что такой прислали
Но это именно как раз описанная вами ошибка допущенная по запаре. В случае же с CF аналогия у меня возникает как заливка заведомо неверного конфига, потому что такой прислали
В общем я прочитал оригинал в блоге CF и все встало на свои места
В переводе на хабре «В ходе работ инженеру»
А в оригинале «we instructed technicians»
Инженер для меня это все-таки человек который отдает отчет своим действиям, думает на шаг вперед, да и вообще по идее должен знать инфраструктуру и где именно у него находятся единые точки отказа.
А этим простительно, да.
А вот единая точка отказа — нет.
Вот этим и отличается наш инженер от ихнего… те не думают, как в армии — поставлена задача — выполняю…
Но у этого есть и оборотная сторона (побочка) — наши пытаются починить сами, когда нужно привлекать спецов…
Но у этого есть и оборотная сторона (побочка) — наши пытаются починить сами, когда нужно привлекать спецов…
Конечно инженер ДЦ может понятия не иметь про структуру сети и т.д. Его работа делать руками то, что просят. В дц может быть куча кастомеров со своей архитектурой и т.д.
Ну как я понимаю по ремарке что CF наказывать инженера не будет — это был их собственный инженер (а не сторонний сотрудник ДЦ). И значит копался он в своей инфраструктуре, а не чужих кастомеров.
Приказы должны выполняться, а не обсуждаться, ясно. Остается непонятным в чем тогда различия квалификации инженераFAANG в который берут, как известно, только лучших из лучших CF и мартышки. Насколько надо ненавидеть не интересоваться своей работой чтобы не увидеть ничего предрассудительного в выдергивании всех патчей из единственного кросса.
Его работа делать руками то, что просят.
Приказы должны выполняться, а не обсуждаться, ясно. Остается непонятным в чем тогда различия квалификации инженера
Насколько надоненавидетьне интересоваться своей работой чтобы не увидеть ничего предрассудительного в выдергивании всех патчей из единственного кросса.
Это, кстати, вполне нормальная ситуация. Достаточно часто кросс в шкафу с активным оборудованием даёт соединения именно для этого шкафа. Соответственно, если весь шкаф убирают — все соединения будут отключены. И это было бы странно ожидать, что там окажутся ещё и транзитные внешние соединения без маркировок.
В такой ситуации должен быть, скорее, отдельный набор шкафов только с пассивкой. И вот к нему уже надо ходить аккуратно.
Но, в любом случае, маркировка должна быть, особенно для глобальных соединений.
В такой ситуации должен быть, скорее, отдельный набор шкафов только с пассивкой. И вот к нему уже надо ходить аккуратно.
Ну в общем то так и есть, даже сами шкафы делятся на узкие и глубокие серверные для активного оборудования, и широкие коммутационные — где за счет ширины ставятся
вертикальные органайзеры под паутину коммутации.
В собственных цодах гуглов/фейсбуков или серверных крупных БЦ так вообще вся пассивка расшивается еще на этапе строительства и сводится в коммутационные шкафы заранее, зачастую еще и в отдельном помещении — т.к пассивку охлаждать не надо и шастать будут меньше. Потом вся эта красота гуглится по запросу cableporn.
В тех которые в аренду сдаются понятное дело все не так красиво, т.к арендаторы там свою архитектуру городят кто во что горазд.
Достаточно часто кросс в шкафу с активным оборудованием даёт соединения именно для этого шкафа.
Мы например TOR-свич ставим для коммутации в пределах стойки, но аплинк в него опять же идет с кроссовой. Такую дичь чтобы там транзитные кабеля между стойками просто были накиданы даже я себе не позволяю. А ведь я даже не инженер цода, а «сильный админ» из анекдота, которому приходится возиться и с железом.
И значит копался он в своей инфраструктуре
Когда у компании много стоек и много ДЦ, даже если инфраструктура «своя», можно даже быть не первый раз в конкретном ДЦ, но впервые видеть осмысленно конкретную стойку и совершенно не знать что в ней.
А ситуация на практике продемонстрировала (отсутствие) резервирования инфраструктуры конкретного ЦОДа CF.
Ростехнадзора на них нет!
Или Роскомнадзора?
Или Роскомнадзора?
НЛО прилетело и опубликовало эту надпись здесь
Я имел в виду что Ростехнадзор, а возможно и Роскомнадзор тоже, проверяет чтобы были соблюдены СНИПы, ПУЭ, ГОСТы и т.д., в том числе чтобы все кабели были промаркированы.
В этой новости тот самый случай, когда несоблюдение простого элементарного правила привело к аварии.
Ростехнадзора на них нет — потому что Cloudflare не в России, это же очевидно.
В этой новости тот самый случай, когда несоблюдение простого элементарного правила привело к аварии.
Исходя из текста новости к аварии привело не это, а заведемо неверные инструкции (вкупе с безразличием и/или незнанием исполнителя). А вот соблюдение этого правила очень сильно сократило бы срок устранения последствий.
Как это не наказывать инженера?
У него же была задача отключить и он прекрасно справился.
Молодец же, как не наказать?
НЛО прилетело и опубликовало эту надпись здесь
Когда монтажил на местного провайдера произошла похожая ситуация.
Непосредственный начальник дал задание найти на чердаки оптический кабель на 12 жил и обрезать его на двух домах, для последующего демонтажа. После пару часов поиска неподписанного кабеля и получасовой консультации с инженером, я все таки резанул кабель на одном чердаке.
Сказать что упал интернет в одном районе это вообще не чего не сказать. Отвалился весь центр города и пару удаленных районов.
Такого количество мата которое я услышал по телефону, я не слышал даже в фильмах девяностых.
После того как начальник немножко успокоился он дал задание ждать сварщика и сварить оптику обратно.
Но не тут то было. Я ему ответственно заявил — что запаса по кабелю нет и нужно будет делать вставку, мол пусть сварщик две муфты с собой берет и кусок кабеля на 12 жил.
Количество мата в телефоне после моего заявления увеличилось в два раза и меня пообещали распять в конце дня.
По окончанию всех работ и разбора полетов инженер сказал, что вины моей нет, но резать какие либо кабеля запретил и в случае чего отставляет за собой право применить «терморектальный криптоанализатор».
В этой всей истории вывод один — все должно быть задокументировано и подписано, а иначе проблем не избежать.
Непосредственный начальник дал задание найти на чердаки оптический кабель на 12 жил и обрезать его на двух домах, для последующего демонтажа. После пару часов поиска неподписанного кабеля и получасовой консультации с инженером, я все таки резанул кабель на одном чердаке.
Сказать что упал интернет в одном районе это вообще не чего не сказать. Отвалился весь центр города и пару удаленных районов.
Такого количество мата которое я услышал по телефону, я не слышал даже в фильмах девяностых.
После того как начальник немножко успокоился он дал задание ждать сварщика и сварить оптику обратно.
Но не тут то было. Я ему ответственно заявил — что запаса по кабелю нет и нужно будет делать вставку, мол пусть сварщик две муфты с собой берет и кусок кабеля на 12 жил.
Количество мата в телефоне после моего заявления увеличилось в два раза и меня пообещали распять в конце дня.
По окончанию всех работ и разбора полетов инженер сказал, что вины моей нет, но резать какие либо кабеля запретил и в случае чего отставляет за собой право применить «терморектальный криптоанализатор».
В этой всей истории вывод один — все должно быть задокументировано и подписано, а иначе проблем не избежать.
наверняка у каждого есть похожие истории… про не маркированный кабель… и даже есть истории про маркированный неправильно… А так в истории скорее всего ситуация когда сначала соединений немного и маркировка может смотреться даже нелепо, но потом в случае иногда быстрого развития инфраструктуры не обращается внимание на уже существующие соединения и потом повторение ситуации из статьи становиться просто вопросом времени.
Cloudflare обещает, что не будет наказывать инженераКак они ловко съехали с необходимости наказать руководство за подобный бардак.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Cloudflare признала, что часть ее сервисов упали на четыре с половиной часа из-за отключения немаркированных кабелей