Комментарии 24
Нужно срочно вводить тройное резервирование сетевых инженеров
ну или просто зарезервировать резервное резервирование в резервном дата-центре. желательно два раза. но только там всё равно баба Валя будет полы мыть...
Все уже придумано: работают двое, один читает инструкцию по пунктам, второй повторяет каждый пункт как услышал, спрашивает "делаю?" получает разрешение и докладывает что сделал. Опционально второй еще проверяет визуально.
При сборке атомных бомб такое используется (или использовалось? сейчас не знаю как там).
Трое! Трое же!
Третий стоит рядом и контролирует, что тот кто делает - во-первых, ничего не делает, когда не надо (пока читают), и делает именно то что было сказанно. Пару раз был третим (применяли такой протокол при преключении питания на серверной под нагрузкой) - реально букально ловил за руку делающего. Если б не словил - легла бы серверная как минимум.
При сборке атомных бомб такое используется (или использовалось? сейчас не знаю как там).
Это когда половинки отражающей сферы берилия вокруг атомного заряда держали отверткой что бы не схлопнулось или уже после?
На практике это превращается в то, что оба забивают на регламент через неделю и начинают косячить дуэтом
Похожее используется в электроэнергетике:
(начиная с 0:36)
классика
... а мой друг сервер уронил...он, что, такой крутой хакер? нет, он *удак, он его на пол уронил....
А он точно сетевой инженер?
Видимо, уборщица, совмещающая должность с сетевиком :)
последовательно отключил все кабели в течение 13 минут
Ваши положительные качества?
Трудолюбие, стрессоустойчивость, настойчивость в достижении цели.
однозначно, ему бумажку выдали, он сделал, он не думает о том насколько это адекватно, я помнится с сетевиками и админами воевал по этому поводу
причина там не сколько в квалификации (скорее всего это джун или миддл, а им думать не особо много положено), сколько в дырах в процессе, когда ктото комуто не сказал, а все участники процесса не пытались вникнуть в риски своих действий..
вот у меня был инцидент полгода назад, там админы обновили сервис авторизации по запросу ИБшников, и совершенно не почесались что API у сервиса может быть несовместимым с работающим продом и чтото упасть может... им сказали - они сделали. а ИБшники никому не подчиняются чтобы такие кейсы анализировать...в итоге в последнюю секунду у них шашку выдернули которой они чуть весь прод не положили
проблема в том что нет точки согласования таких изменений со всеми кого это аффектит
Если он смог уронить гугл облако в одиночку, то квалификация у него как минимум впечатляющая
Неужели свободной розетки для чайника не было ?)
У меня было такое, в подвале около серверной, было помещение где банковские карты печатали..и там две тётушки обитали. и там был эмбоссер который считался ответственным устройством который 24/7 должен быть доступен и был подключен к одной из веток питания серверной которая рядом
и тетушкам стало лень ходить чай пить наверх, они притащили чайник и воткнули его свободную розетку, которая была ...из серверной..через ИБП, со всякими ДГУ, резервированием, мониторингами и т.п.... и потом мы неделю ловили забавные баги с падением стоек, адскими алертами ИБПшки и вообще "чо у нас электричством происходит"..а тетушки чайник в кладовке со швабрами прятали между чаепитиями... по камерам их вычислили
Уронить облако.
М - Магия!
Любое тройное резервирование пасует перед человеком, у которого в руках инструкция и решимость выдернуть все кабели подряд :)
Т.е. чувак почти четверть часа дёргал провода, и никто его не остановил?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Сетевой инженер Google Cloud уронил часть облака, случайно отключив оборудование