Комментарии 66
Почему у серверов используется только один блок питания из двух?
На данном этапе мы не предоставляем SLA и в случае выхода из строя одного — переключаем во второй в ручном режиме. В планах на пару месяцев задействовать и резервные тоже, но пока только в планах.
Переезд — это круто, можно с нуля сделать что-то по-другому, что на старом месте слишком сложно переделывать.
Несколько комментариев:
1. Переезжать в пятницу перед тремя выходными — идея для храбрых сердцем.
2. С ноутбуком гораздо удобнее настраивать коммутаторы/маршрутизаторы.
3. Подпишите, пожалуйста, патчкорды, будет легче определять, где какой конец. А учитывая, как неаккуратно обжата витая пара на нечётных и на 46-47-48 портах коммутатора (остальные порты плохо видно), то вероятность замены патчкорда велика.
Несколько комментариев:
1. Переезжать в пятницу перед тремя выходными — идея для храбрых сердцем.
2. С ноутбуком гораздо удобнее настраивать коммутаторы/маршрутизаторы.
3. Подпишите, пожалуйста, патчкорды, будет легче определять, где какой конец. А учитывая, как неаккуратно обжата витая пара на нечётных и на 46-47-48 портах коммутатора (остальные порты плохо видно), то вероятность замены патчкорда велика.
1. У нас не было выбора. К сожалению.
2. Да, если в нем есть ком порт.
3. Обжимали во время переезда и торопились. Сейчас там уже другие кабели идут.
А так — да, все по делу говорите. Подписать… с одной стороны можно, маркировщик есть. С другой стороны они все как на ладони, в одном шкафу.
2. Да, если в нем есть ком порт.
3. Обжимали во время переезда и торопились. Сейчас там уже другие кабели идут.
А так — да, все по делу говорите. Подписать… с одной стороны можно, маркировщик есть. С другой стороны они все как на ладони, в одном шкафу.
2) usb2com стоит копейки и нужен только первые 2 минуты, потом обычного ethernet вполне хватает
3) Стойки у вас были заранее. Обжимать (а лучше покупать) патчи тоже можно было заранее в спокойной обстановке (или даже из старого ДЦ привести). Так же не понятно зачем зажимать кабеля в не разборные стяжки и почему они одной колбасой идут, а не уходят в право (в лево), а потом возвращаются на уровне свича.
Ps кмк свич практичнее ставить в середину стойки, а не сверхку(снизу). Так провода менее кучно к нему подходят. Если хотите — сделаю завтра пару фото как это в реале выглядит.
3) Стойки у вас были заранее. Обжимать (а лучше покупать) патчи тоже можно было заранее в спокойной обстановке (или даже из старого ДЦ привести). Так же не понятно зачем зажимать кабеля в не разборные стяжки и почему они одной колбасой идут, а не уходят в право (в лево), а потом возвращаются на уровне свича.
Ps кмк свич практичнее ставить в середину стойки, а не сверхку(снизу). Так провода менее кучно к нему подходят. Если хотите — сделаю завтра пару фото как это в реале выглядит.
1. Может usb2com и стоит копейки, но не в пятницу перед праздником в 5 вечера.
2. Поясню почему делали именно так. Справа и слева мы укладывали кабели к PDU, нам так казалось и кажется удобнее.
На счет KVM свитча не соглашусь. Его ограничивает только витая пара к нему подключенная, мы его тягали даже во второй шкаф, спокойно. Кстати этот KVM уникален, к нему каскадом можно подключить сотни машин.
2. Поясню почему делали именно так. Справа и слева мы укладывали кабели к PDU, нам так казалось и кажется удобнее.
На счет KVM свитча не соглашусь. Его ограничивает только витая пара к нему подключенная, мы его тягали даже во второй шкаф, спокойно. Кстати этот KVM уникален, к нему каскадом можно подключить сотни машин.
1. Может usb2com и стоит копейки, но не в пятницу перед праздником в 5 вечера.
Так об этом и говорят вам, что нужно готовиться заранее. Особенно к таким серьезным перестановкам. Также заранее можно было протестировать линк и ipv6. Такое чувство, что если бы кто-то у вашего провайдера накосячил и линк был бы вообще неработоспособный, то вы бы потратили время на решение и этого вопроса.
Как можно подготовиться заранее если съезжать нужно было из дц через день после того как нам протянули линк. Съезд не отложить (планировалось у них тушить дц владельцами здания). Приходилось делать все «на ходу». И как мне кажется получилось очень неплохо.
Если бы мы готовились заранее мы бы на переезд час потратили.
Если бы мы готовились заранее мы бы на переезд час потратили.
Я про KVM ничего не говорил, его действительно удобнее держать сверху, при необходимости подключение серверов из соседней стойки («кмк» это сокращение фразы «как мне кажется»).
Я про обычный свич: выглядит примерно так
Я про обычный свич: выглядит примерно так
>3. Обжимали во время переезда и торопились. Сейчас там уже другие кабели идут.
по опыту, во время переезда, лучше использовать заводские патчи. сэкономит кучу времени и нервов.
по опыту, во время переезда, лучше использовать заводские патчи. сэкономит кучу времени и нервов.
Доброго дня.
А не подскажете схему (или как ее еще назвать) маркировки и если есть шаблон журнала.
Спасибо.
А не подскажете схему (или как ее еще назвать) маркировки и если есть шаблон журнала.
Спасибо.
Ниже коллеги написали :)
У нас маркировка следующим образом:
все коммутаторы имеют маркировку вида sw1-sw2-sw55
сервера маркировку R2-44, R5-11 R2-34 где цифра правее R означает номер стойки а цифра после дефис — номер нижнего юнита занимаемого сервером(на случай если сервер более чем 1 юнит)
в итоге на пачкорде со стороны сервера мы видим маркировку вида SW2-23 (sw2 номер свича, 23 номер его порта).
а со стороны свича видим маркировку R2-09 (вторая стойка, девятый юнит) (в наших шкафах юниты пронумерованы)
Я вот чего то не понимая клиентов, которые из за чуть более чем короткого даунтайма начинают покидать провайдера… Как будто у них самих никогда не возникает технических накладок…
Мужики а почему cisco 4948 10G а не комбаин ввиде cisco 65хх-E или 76хх-S
? дешевле же и универсальные намного.
иии чем вы BGP принимаете? не 4948 же надеюсь.
? дешевле же и универсальные намного.
иии чем вы BGP принимаете? не 4948 же надеюсь.
Мы взяли 4948 10GE именно для BGP для старта. Дороже чем комбайн, но при этом она была в наличии рядом с нами. Сейчас ждем джунипер на прием и арбор на фильтрацию. Но это пока спойлер :)
МХ40? а вот про арбор ОЧЕНЬ интересно. Надеюсь увидеть статью о фильтрации.
А и хотя бы примерные цифры калькуляции арбора… тема достаточно злободневная.
А и хотя бы примерные цифры калькуляции арбора… тема достаточно злободневная.
MX40?
А чем хуже MX5-T? По сути можно апргрейдить вплодь до 80го.
Ну как минимум отсутствием слотов DPC и MPC
да и 4 портовую 10G плату не воткнуть. да и MIC всего 2
да и 4 портовую 10G плату не воткнуть. да и MIC всего 2
1) А давно ли MX40 начал обладать слотами для MPC\DPC? :o
2) А давно ли линейка MX5-T, MX40, MX80, MX104 начали поддерживать 4x10G MIC? (proof)
3) А давно ли MX5-T стал визуально отличаться от того же MX80? 1x40G встроенный MIC + два разъема на фронтальной панели и один сзади (итого 4).
2) А давно ли линейка MX5-T, MX40, MX80, MX104 начали поддерживать 4x10G MIC? (proof)
3) А давно ли MX5-T стал визуально отличаться от того же MX80? 1x40G встроенный MIC + два разъема на фронтальной панели и один сзади (итого 4).
Нужно сначала все получить а потом можно и описать) ждем, надеемся. Пока нечем хвастаться.
А что за провайдеры у вас, если не секрет?
Also, да и не многие арбор дают, или сами лицензию покупаете?
Also, да и не многие арбор дают, или сами лицензию покупаете?
SFP модуль действительно не встает нормально с разными скоростями на разных сторонах, но обычно «ужимка» порта до нужной скорости помогает. У Вас даже так не встал канал?
1. у вас в серверах 2 БП, а подключен только один. подключите 2 БП в грязное питание, таким образом защитите себя от выхода из строя ИБП. Используйте кабеля питания разного цвета
2. ilo/ipmi/drac не на всех серверах подключен
3. Используйте для ilo/ipmi/drac ( и всего остального менеджмента) отдельный коммутатор и полностью отдельную сеть ( тем более, что он у вас есть в стойке). Сделайте для нее доступ через 4G, aDSL или другой дешевой технологии, которая не будет ходить через ваше bgp
4. подпишите ip-адрес каждой железки(1й адрес менджмента, 2й ilo)
5. подпишите патчики
2. ilo/ipmi/drac не на всех серверах подключен
3. Используйте для ilo/ipmi/drac ( и всего остального менеджмента) отдельный коммутатор и полностью отдельную сеть ( тем более, что он у вас есть в стойке). Сделайте для нее доступ через 4G, aDSL или другой дешевой технологии, которая не будет ходить через ваше bgp
4. подпишите ip-адрес каждой железки(1й адрес менджмента, 2й ilo)
5. подпишите патчики
1. В перспективе обязательно подключим.
2. Да, хотя есть на практически всех. Этот момент уже почти устранили, отключали от упр. розетки и подключали iLO, освободили много портов в PDU для десктопов.
3. Сделано, правда 4G у нас нет, но 3G и третий, резервный провайдер сделан.
4.,5., все подписано но в наших документах. Каждый кабель подписывать смысла пока нет. В масштабах пары шкафов это не имеет смысла, они идут достаточно прозрачно. Но когда их станет больше — обязательно подпишем.
2. Да, хотя есть на практически всех. Этот момент уже почти устранили, отключали от упр. розетки и подключали iLO, освободили много портов в PDU для десктопов.
3. Сделано, правда 4G у нас нет, но 3G и третий, резервный провайдер сделан.
4.,5., все подписано но в наших документах. Каждый кабель подписывать смысла пока нет. В масштабах пары шкафов это не имеет смысла, они идут достаточно прозрачно. Но когда их станет больше — обязательно подпишем.
по 5 пункту очень и очень с вами не согласен и прям сильно от чистого технического сердца рекомендую вам таки подписать каждый пачкорд.
Пройдет год и то что сейчас очевидно… станет совсем не очевидно…
2 шкафа это 84 юнита… это около 60-70 единиц серверного оборудования а значит 120-140 пачкордов…
подписать сейчас… это час времени.
разобратся потом… лучше даже не думать как это может быть потом…
Пройдет год и то что сейчас очевидно… станет совсем не очевидно…
2 шкафа это 84 юнита… это около 60-70 единиц серверного оборудования а значит 120-140 пачкордов…
подписать сейчас… это час времени.
разобратся потом… лучше даже не думать как это может быть потом…
Вы правы, я то разберусь, а вот кто то другой — с трудом. Будем маркировать. Тем более что маркировщик есть.
Может есть соображения как маркировать правильно? Вида S01>49 CISCO или как? Если Вы уж с этим работаете.
Может есть соображения как маркировать правильно? Вида S01>49 CISCO или как? Если Вы уж с этим работаете.
На каждый патч делается 2 разных наклейки(меняется источник->назначение местами). источник — железка рядом с которой клеится наклейка.
1 строка — порт источника -> порт назначения, как он виден в консоли.
2. строка — hostname источника -> hostname назачения
1 строка — порт источника -> порт назначения, как он виден в консоли.
2. строка — hostname источника -> hostname назачения
У нас маркировка следующим образом:
все коммутаторы имеют маркировку вида sw1-sw2-sw55
сервера маркировку R2-44, R5-11 R2-34 где цифра правее R означает номер стойки а цифра после дефис — номер нижнего юнита занимаемого сервером(на случай если сервер более чем 1 юнит)
в итоге на пачкорде со стороны сервера мы видим маркировку вида SW2-23 (sw2 номер свича, 23 номер его порта).
а со стороны свича видим маркировку R2-09 (вторая стойка, девятый юнит) (в наших шкафах юниты пронумерованы)
пока что недостатка такого подхода не заметили.
все коммутаторы имеют маркировку вида sw1-sw2-sw55
сервера маркировку R2-44, R5-11 R2-34 где цифра правее R означает номер стойки а цифра после дефис — номер нижнего юнита занимаемого сервером(на случай если сервер более чем 1 юнит)
в итоге на пачкорде со стороны сервера мы видим маркировку вида SW2-23 (sw2 номер свича, 23 номер его порта).
а со стороны свича видим маркировку R2-09 (вторая стойка, девятый юнит) (в наших шкафах юниты пронумерованы)
пока что недостатка такого подхода не заметили.
и ещё, порекомендую мониторить очереди на 4948-10G на наличие дропов, ибо у вас трафик идет в 10G->1G и размер буферов ограничен, при большом трафике, надо крутить buffer allocation.
В 4948 для конвертации порта X2 10Gb в два 1Gb нужен конвертер CVR-X2-SFP. Если вы купили этот свитч новым, то в коробке с ним по умолчанию их идёт две штуки (по количеству X2 портов). Они превращают два десятигигабитных порта в четыре гигабитных. Если покупали б/у, то обычно народ их вытаскивает, т.к. думают, что они продаются отдельно.
После установки конвертеров не забудьте в конфигурацию добавить:
hw-module module 1 port-group 1 select gigabitethernet
hw-module module 1 port-group 2 select gigabitethernet
Ну и таки да, использовать 4948 в качестве BGP маршрутизатора… Обновитесь как только будут деньги :).
После установки конвертеров не забудьте в конфигурацию добавить:
hw-module module 1 port-group 1 select gigabitethernet
hw-module module 1 port-group 2 select gigabitethernet
Ну и таки да, использовать 4948 в качестве BGP маршрутизатора… Обновитесь как только будут деньги :).
Как видите, было много мелочей о которых мы не подумали сразу
Ребят надо было покрепче брать :)
Кто был — того и взяли)
Кстати, каммент к прошлой статье. раз уж вы колхозили ИБП, то расскажу, что и мы колхозили. Но не на базе обычных наливных стартерных, а на базе гелевых MNB MNG-100-12, т.к. отдельного помещения нет, а устраивать в мелкой серверной газенваген я категорически против, да заморачиваться с обслугой АКБ нафиг. Берем обычный АРС на 24В, типа старого, но проверенного парня 1500, цепляем к нему последовательно пару батарей выше и через телнет по СОМ-порту говорим, что, у тебя, бро не 0 доп батарей, а 3. К слову, у таких АРС нет возможности цеплять доп батареи, но в прошивке такая штука заложено. Кол-во «дополнительных» блоков выбирается эмпирически с помощью измерений, т.к. ИБП, сколько его через ГУЙ не калибруй и какой бы вольтаж не был, все равно уходит в даун при почти полных батареях. Результатом довольны, при нагрузке в 70% все подопытные (1400 и 1500) держат час до 50% разряда. 2 года полет отличный, хотя отключения только для теста гены и самого ИБП. Сейчас едет еще 4 штуки каких-то AGM «Восток», по цене дешевле дельты и даже MNB, будем тестить уже на 48В.
когда будет продолжение? Читать интересно.
Касаемо сети (за остальное не скажу)
1) Про usb2com вам уже сказали — они должны быть по умолчанию у саппорта и у каждого админа, который бывает на сайте
2) Админы-сетевики у вас удаленные, как я понимаю? Иначе непонятно, как они сопровождали переезд
3) BGP-связность можно проверить заранее, как и прописать в RIPE, что у вас два(три, четыре, пять) аплинков, а не один. Насчет IPv6 — целиком и полностью косяк ваших админов, что они не проверили заранее.
4) Часть про прокладку оптики… без комментариев :) обнять и плакать.
Пишите мне в личку, могу еще чего подсказать по сетевой части.
1) Про usb2com вам уже сказали — они должны быть по умолчанию у саппорта и у каждого админа, который бывает на сайте
2) Админы-сетевики у вас удаленные, как я понимаю? Иначе непонятно, как они сопровождали переезд
3) BGP-связность можно проверить заранее, как и прописать в RIPE, что у вас два(три, четыре, пять) аплинков, а не один. Насчет IPv6 — целиком и полностью косяк ваших админов, что они не проверили заранее.
4) Часть про прокладку оптики… без комментариев :) обнять и плакать.
Пишите мне в личку, могу еще чего подсказать по сетевой части.
так так так… уже второе число к концу подходит а новой части всё еще нет!
ДОКОЛЕ ?!
ДОКОЛЕ ?!
Какой-то колхозный ДЦ. Тунелирование BGP — это что такое? Вы имеете в виду, что для поднятия BGP-пиринга не обязаельно прямое соседство? Но это не называется тунелирование. И нафига вам вообще BGP, если у вас нет PI-адресов и собственной автономки? А какая технология используется для резервирования ЦОДов, как организован DCI? Прокидываются ли L2-сегменты между ЦОДами? Если нет, как будут переезжать виртуалки между цодами или active-standby-оборудование, которое не умеет по L3?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как мы строили свой мини ЦОД. Часть 3 — Переезд