MFCKR Apr 14 2021 at 10:01

«Сам сломаю, сам и починю» — как я эпически нажал не туда на проде

5 min

15K

КРОК corporate blogIT Infrastructure*Cisco*Project management*

+29

Comments 45

Jsty Apr 14 2021 at 10:47

У вас картинки маленькие и некликабельные. Не разобрать.
А если бы через консоль все настройки делались, ошибок бы не было, правильно?
Тут только вопрос качества проработки интерфейса?

MFCKR Apr 14 2021 at 14:15

Через консоль тоже можно ошибок навалять безусловно, но там будет другой характер и будет касаться в основном copy-paste, случайно удалить интерфейс гораздо сложнее. А вот с интерфейсом да, было бы удобнее, если бы инструменты удаления разных политик были бы разнесены подальше.

karabanov Apr 14 2021 at 20:56

Я однажды вместо switchport trunk allowed vlan add ввёл switchport trunk allowed vlan и отрубил себе управление и интернет у 5000 человек. Циска и в консоли коварная.

Levais Apr 14 2021 at 21:42

Пфф, а кто не накатывал deny all all на циске за много-много километров?

karabanov Apr 14 2021 at 22:13

Комментарий был не про "достижения", а про неоднозначный дизайн в том числе и в консоли.

ColdSUN Apr 15 2021 at 00:21

Такую ошибку совершали многие. Я в том числе.

Tamahome Apr 15 2021 at 09:04

Я думаю это делал каждый, поэтому вариант с commit конфига и автоматическим rollback если не было confirm/save ИМХО лучшее, что спасёт.

scruff Apr 15 2021 at 10:35

Гораздо фатальнее накатить кривой IOS — тогда вечер точно перестанет быть томным от слова совсем, если девайс расположен хотя бы сотне км, и превратиться в пляски с консольным кабелем на пару с уборщицей/дворником/мерчендайзером/бухгалтером.

v1000 Apr 14 2021 at 10:52

Вот что меня бесит в IT — одно неверное движение, и 2-3 часа на то, чтобы вернуть все обратно.

-1

13werwolf13 Apr 14 2021 at 11:32

А хуже того (по моему опыту) одно неверное движение и два-три часа/дня/месяца/etc на исправление. Которые ещё и могут начаться не сразу а например через год когда ты (а может и уже другой сотрудник) не помнишь (или вообще не вкурсе) где и как могла быть допущена лишняя запятая в каком нибудь конфиге/команде лет 5 назад..

krote Apr 14 2021 at 12:27

сравните это с теми профессиями, где «обратно» уже не вернуть. Ну грузчик там погрузчиком стойку задел и сложилось пару рядов… дайте волю фантазии)

+10

Stas911 Apr 15 2021 at 05:12

Да полно и более жестких профессий — хирурги, авиадиспетчеры

Aquahawk Apr 14 2021 at 12:28

Как будто болгарка, циркулярка и любой другой инструмент к этому не приводят. Одно неверное отверстие в плитке и нужны минимум сутки и много инструмента чтобы её переделать. Одно неверное вращение руля и нужно зарабатывать на новую машину в лучшем случае или хоронить родственников или сидеть годами в худшем. В нашем мире везде есть сложные и большие последствия. И IT на самом деле даёт гораздо большие уровни безопасности, у нас еть бекапы, гиты и прочие штуки. Мы привыкаем к тому что можно всё разломать и быстренько вернуть. И когда сталкиваемся с тем, что IT инфраструктура ведёт себя как реальный мир, мы удивляемся.

+15

yoda776 Apr 14 2021 at 13:01

У саперов еще хуже, одно неверное движение и все, от слова совсем.

Rive Apr 14 2021 at 16:10

Или у хирургов...

uldashev Apr 14 2021 at 13:43

Это то и прекрасно в IT, что всегда можно откатится, если что то пошло не так (пусть даже на это уйдет пара дней, бэкапы наше всё), вот бы в медицине так было.

tommyangelo27 Apr 14 2021 at 15:16

У стоматолога ещё хуже, можно и не суметь вернуть.

SmiT1 Apr 15 2021 at 14:06

Первое правило магии гласит: применяя заклинание — ты должен иметь наготове контр-заклинание — это же азбука епрст…

Keeper7 Apr 15 2021 at 14:58

И две синих маны за щекой.

Falls Apr 15 2021 at 14:06

Это, конечно, бесит, но сюда могут присоединиться многие специалисты — те же дизайнеры могут красноречиво рассказать о своей боли

Главный плюс, что эти ошибки поправимы :)

DROS Apr 14 2021 at 11:03

Никогда не трогай прод в рабочее время и в пятницу вечером.

StjarnornasFred Apr 14 2021 at 16:50

Это точно. Всё, что было сделано в пятницу вечером, будет переделано в понедельник утром.

Stas911 Apr 15 2021 at 05:13

А суббота и воскресение для чего?

krote Apr 15 2021 at 09:10

Наоборот — два выходных это «подушка безопасности» и критичные изменения очень удобно сделать в пятницу вечером, ведь при косяке есть еще два дня. У кого какой подход конечно)
Конечно, речь не идет о том чтобы каждые выходные исправлять. Лучше постараться без этого.

Falls Apr 17 2021 at 02:22

Понимаю это правило)

Я вот, например, часто стараюсь разбиться в лепешку, но сделать/додедать что-то, и чаще всего заканчивается это очень плохо)

Сейчас взял за правило, если начинают накладываться косяки один на другой, то как бы я не хотел, сворачиваю процесс

UFO just landed and posted this here

side2k Apr 14 2021 at 12:18

Вот тот же самый вопрос появился у меня.
Нынче возможности для этого крайне широкие же.

SergeyMax Apr 14 2021 at 13:02

как «Infrastructure as a code» помешает закрыть доступ самому себе?

Aquahawk Apr 14 2021 at 13:46

Причем не просто не мешает. А ещё и позволит в одно мгновение сделать это сразу на сотне тачек.

UFO just landed and posted this here

chupasaurus Apr 14 2021 at 14:53

Дык кода нет, есть конфиги, нужны функциональные тесты.

side2k Apr 14 2021 at 14:23

Никак не помешает. Но добавит, например, возможность ревью — как со стороны коллег, ктак и своего собственного.

remzalp Apr 14 2021 at 16:03

Ну как бы конфиги на цисках есть, их можно под эту идеологию подвести

UFO just landed and posted this here

iddqda Apr 14 2021 at 12:21

По сути дела, это рутинная задача, простоя сервиса на такой задаче обычно нет. По сути своей порт-группа в терминологии APIC — это VPC, который собирается из портов находящихся физически на разных коммутаторах

простите я правильно понял что можно перенести подключение хоста с одной VPC пары leaf101-102 на другую leaf103-104 без перерыва сервиса на переключаемом хосте или имелось ввиду без простоя самой фабрики?

MFCKR Apr 14 2021 at 16:17

Если хост подключен физически к обоим парам, то да, можно, если же нужно переключать кабели, то время будет потрачено только на переключения физики.

Morrigan1488 Apr 14 2021 at 14:15

Читал, а у самого ритм участился, как начал изо всех сил на свою деятельность экстраполировать Кажется, вроде мелочь — два клика, но от них зависит работа сотен людей.

Xop Apr 14 2021 at 14:47

Ха, я так как то чуть не удалил целую доменную зону вместо отдельной записи через WebUI AWS. Спасло, что есть привычка по несколько раз перечитывать названия кнопок и вдумываться в смысл прочитанного, когда такими вещами занимаюсь.

interVK Apr 15 2021 at 10:04

Все ошибаются :) Я когда то департамент скорой помощи крупного госпиталя в US потушил на пару часов. Клиент мне информацию дал не совсем верную, но я не проверил, так что вина была моя. Я вам скажу, что идея сделать из фабрики ядро — так себе. Она для этого не предназначена. Ведь сами говорите у заказчика нет опыта, а вместо отговрить — выполняете его хотелки, идущие в разрез с нормальной практикой. Что вы будете делать, например, когда количество маршрутной информации я ядре вырастет и у коммутаторов TCAM для LPM кончится?
Ну и трогать прод фабрику без согласования окна обслуживания — моветон. Да, это была рутинная работа, да простоя не предполагалось, но всегда есть человеский фактор. Жизнь меня научила ВСЕГДА заставлять клиентов делать любые работы в не бизнес время, с maintenance window, и с валидацией сервисов. Советую перенять практику, седых волос меньше будет :)