Pull to refresh

Comments 63

«Сходимость звезды будет всегда хуже, так как всегда будут петли логических путей между коммутаторами доступа, кроме случая когда в ядре два слотовых коммутатора работают как один. Сходимость топологии кольца от 50 ms (одно кольцо) до 200 ms (к основному кольцу подключаются подкольца).»

Прошу пояснить что это значит.

По теме, кроме как «это дорого» ничего не увидел.

И да, правильно строит звезды, ядро > доступ без агрегации.
Прошу пояснить что это значит.

Это значит, что при звезде примерно всегда можно заранее просчитать резервный путь и почти мгновенно, не задумываясь, переключиться на него. На L2 — при MEC (если нет чего-нибудь более прикольного вроде SPB или TRILL). На L3 — средствами IGP сразу балансировать по всем линкам, и при смерти одного из них просто убрать один маршрут.
А с кольцом дела обстоят хуже. Резервный путь почти всегда будет по тому линку, который в момент нормального функционирования сети не мог считаться годным для роутинга. Придется запускать SPF для OSPF, или заново общаться с соседями в случае STP или EIGRP (скорее всего, другой линк не будет feasible successor). И 50мс — очень оптимистично и совершенно нереально для non-deterministic сценариев вроде этого.
И да, правильно строит звезды, ядро > доступ без агрегации.

Это называется «collapsed core» — ядро + агрегация. В совсем крупных сетях имеет смысл оставить 3-уровневую иерархию.
Именно поэтому я и задал вопрос.
в тексте — «Сходимость звезды будет всегда хуже», вы пишете «при звезде примерно всегда можно заранее просчитать резервный путь и почти мгновенно, не задумываясь, переключиться на него»… т.е. сходимость лучше должна быть по логике вещей :)
Оказывается, я неправильно прочитал пост… Бывает. Показалось не «хуже», а «лучше» :)
А я уж надеялся, что это будет первый пост от HP, к которому я не смогу придраться…
Как раз вначале и описываются в статье кольцевые объекты, как пример стадионы или аэропорты, а также распределенные объекты — города и т.д… Так вот если брать крупные сети — тогда даже звежда в три уровня это раза в три дороже при том же, если не хуже функционале, чем кольцо.

Насчет использования TRILL & SPB для L2 для MEC: Вы цену когда-нибудь этого считатли? А также это могут делать только ТОПы из железа у Всех вендоров. Крмое того, SPB/PBB строит один путь и нужно их построить ровно два заранее: так что насчет балансировки автоматической и переключения — тут был бы я поаккуратнее в высказываниях. Крмое того, SPB утведили только в мае прошолго года, но в сентябре уже «протух» Deployment Guide по SPB — его никто не подписал из вендоров, а это значит, что путь реализации у него будет такой же тернистый как у H.323. У TRILL такой проблемы нет — он сразу передает по нескольким путям, но он еще в драфте: это для сведения.

Насчет мгоновенного переключения при звезде: особенно трехуровневой, да еще плюc STP — там явно будет больше нескольких секунд. А для Вашего «collapsed core» — STP это путь в никуда.

Вот тут Вы «А с кольцом дела обстоят хуже. Резервный путь почти всегда будет по тому линку, который в момент нормального функционирования сети не мог считаться годным для роутинга.Придется запускать SPF для OSPF, или заново общаться с соседями в случае STP или EIGRP (скорее всего, другой линк не будет feasible successor). » можете считать, что угодно, но RRPP (тот же EAPS) + OSPF будет сходиться ГОРАЗДО быстрее, чем MPLS TE. И не потому ОSPF, что он не запускает SPF, а потому, что есть такое чудо у OSPF по имени BFD: перестройка OSPF будет в милисекунды проходить.

Но опять же — тут ВЫ перепутали: RRPP — это L2 «растягивание/дотягивание» VLAN. Маршртузация в кольце — это больше исключение, чем практика: маршрутизация обычно проходит ВЫШЕ.

50 ms для RRPP/EAPS — это с одним кольцом, без подколец. И ЭТО РАБОТАЕТ: не зря на этом еще с 2008 живет весь город Пекин — более 20 млн. человек.
Насчет использования TRILL & SPB для L2 для MEC: Вы цену когда-нибудь этого считатли? А также это могут делать только ТОПы из железа у Всех вендоров.

TRILL — нет, есть весьма недорогие 5500-е нексусы (правда, они не совсем операторские). MEC в том или ином виде поддерживается даже на самых бюджетных свитчах.
SPB/PBB строит один путь и нужно их построить ровно два заранее: так что насчет балансировки автоматической и переключения — тут был бы я поаккуратнее в высказываниях.

Ага, тут я загнул. Балансировка-то есть, но на уровне создания разных деревьев под разные VLANы. SPBM — другой разговор.
Вы, кстати, мальчик или девочка? :) В профиле сказано «Арина Гребельская», а в посте «был бы я».
У TRILL такой проблемы нет — он сразу передает по нескольким путям, но он еще в драфте: это для сведения.

Однако, TRILL-образные реализации уже есть у c/b. Не первый год. Правда, скорее для кампусных сетей.
Насчет мгоновенного переключения при звезде: особенно трехуровневой, да еще плюч STP — там явно будет больше нескольких секунд. А для Вашего «collapsed core» — STP это путь в никуда.

В случае MEC STP даже не узнает, что что-то изменилось ;)
И не потому ОSPF, что он не запускает SPF, а потому, что есть такое чудо у OSPF по имени BFD: перестройка OSPF будет в милисекунды проходить.

Вы все-таки ради разнообразия почитайте, какие факторы влияют на скорость схождения OSPF :) Да, начинается все с обнаружения проблемы (надо быть слегка психом, чтобы выкрутить значение hold для BFD ниже чем на 50мс — тут уже ethernet heatbeat'ы начнут казаться медлительными). Есть время расхождения LSU по сети (а пока они не разошлись, будут микролупы, так что восстановление не засчитано). Есть время отработки SPF, железка не мгновенно выработает новое видение топологии.
Да и ASICи тоже вовсе не мгновенно программируются…
Собственно, RSVP-TE и FRR на базе него потому и популярен, что он не тормозит несколько сотен миллисекунд, и время восстановления будет примерно одинаковым вне зависимости от сложности топологии, количества устройств в ней и утилизации их процессоров — все ходы заранее просчитаны. То же самое и в случае отказа одного из ECMP линков. Или даже переключения STP на altn линк. Просто TE дает куда большую гибкость, чем все эти решения.
Маршртузация в кольце — это больше исключение, чем практика: маршрутизация обычно проходит ВЫШЕ.

То есть по вашему, растягивание L2 сегмента на весь город — это хорошо? Без оверлеев вроде того же MPLS. По-моему, это решение исключительно убого.
50 ms для RRPP/EAPS — это с одним кольцом, без подколец. И ЭТО РАБОТАЕТ

Ну прямо как цискин REP :) (кстати, «могут только ограниченное число производителей – HP, Huawei, Extreme» — ай-ай-ай). Какая жалость, что на самом деле им практически не пользуются (кроме совсем нищих операторов), предпочитая тот же MPLS сети в виде подложки. Более гибко это…
Что за сети то?
У меня маленький опыт, но в АСУТП я не видел ни колец, ни звезд.
В АСУТП своя специфика, тут «сеть предприятия» можно заменить на «корпоративная сеть». Промышленным эзернетом тут и не пахнет
Видать давно Вы не ходили в поля. Любая сеть предприятия «старается» строиться по кольцу: это значит, что если хватает денег всегда строят кольца жгутов оптических — иначе любой экскаватор и предпиятие стало. А по звезде построить предприятие — это сложная задача: так как много путей движения тяжелой техники и движущихся погрузчиков и многого другого, что не позволит Вам от каждого датчика тянуть звезду.

Я понимаю, что много предприятий где построено по принципу «как прибили бантик, так и держиться», но это от проблем финансирования.

Не на всяком предприятии нужен промышленный Ethernet: а если он и есть — то у всех «промышленников» есть свои варианты реализации кольцевых топологий.

«промышленный» Ethernet от Cisco не в учет — убрали вентилятор и поставили на DIN, но кольцо тот же ERP с гарантированной сходиостью 12-ти устройств в «ухе», а дальше — никто ничего не обещал.И это если стоит«промышленный» Ethernet от Cisco внутри цеха, а если это чудо поставить на «трубу» нефтяную то зимой вы его поменяете года через два и как обычно под НГ. Уже был опыт в степях наших…
Я говорю лишь о том, что АСУТП стоит немного в стороне от эзернета и статьи ТС. Там все больше ProfiBUS и рулят те же Siemens и Phoenix. И топология почти всегда смешанная — от общей шины до кольца
А какая же там топология? Боюсь оставшиеся варианты отмерли уже десяток лет как.
Магистральная топология или древовидная. Смотря что строить и какой стандрат использовать. Самый распространенный стандарт PROFIBUS.
Спасибо, не думал что шина еще реально где-то используется. Пойду почитаю подробнее в чем преимущество такой архитектуры.
Мне кажется, что мы много читаем, а практики маловато. Топология — должна быть для решения задачи, а не для учебников и не для поиграться проектировщикам.
ru.wikipedia.org/wiki/Profibus
www.bookasutp.ru/Chapter2_7.aspx

Это первое, что по поводу Profibus есть: это как раз и есть подключение датчиков к промышленным коммутаторам. Сетевик строит чуть дальше, но должен понимать и как это живет в датчиках.

Поэтому для ВСЕЙ сети есть топологии (разная трактовка бывает одного и того же): звезда, резервируемая звезда, кольцо, смешанные топологии — в центре кольцо, а по краям — звезда не резервируема: кольцо или резервируемую звезду проложить просто не возможно.
Мы вообще делаем «финт ушами». Совместно с Siemens, Phoenix и другими фирмами разрабатываем систему для нетребовательных к времени процессам: подключаем сенсоры и акторы децентрализовано через езернет к облаку. В облаке сервер обрабатывает сигналы. Называется веб ориентирования система автоматизации. Теперь не нужно покупать дорогущие контроллеры, а платить по факту за использование ресурсов облака.
Знаем мы ваши облака… а потом это в один прекрасный момент кааак грохнется (и не говорите только, что облака не падают), и все, привет
Причина уровня агрегации у звезды проста: на уровне агрегации цена за порт гораздо ниже, чем на уровне ядра у звезды,, а также для более гибкого применения различных политик.


Мне всегда казалось, что причина — разные задачи двух уровней. На аггрегации у нас применение политик, QoS, фильтрация. В ядре — никаких политик, просто высокоскоростная молотилка трафика (перегрузка недопустима).
Не ясно, чем кольцо тут лучше. Тем, что всё сразу в ядро втыкается? А оно выдержит? Да и в звезде тогда можно так же точно воткнуть.

Про сходимость выше JDima уже написал.
Если у вас L2 в доступе, то мне ещё интересно, как броадкасты со всех VLANов у вас по всему кольцу туда-сюда бегают, и какую долю в трафике (фактически, отъём полосы пропускания) они составляют.

Но у железных дорог Франции просто не было выбора после того как TR «умер».

Отличный аргумент. Поставили «костыль», чтобы использовать уже имеющуюся инфраструктуру, и теперь это преподносится как best practices.

а работать по топологии кольца на коммутаторах с распределением виртуальных сетей по всему кампусу без использования сложных и дорогостоящих технологий типа MPLS/VPLS могут только ограниченное число производителей – HP, Huawei, Extreme.

Это за счёт поддержки каких технологий, подскажите. Что не умеют C/J?
по поводу вот этого
__
Мне всегда казалось, что причина — разные задачи двух уровней. На аггрегации у нас применение политик, QoS, фильтрация. В ядре — никаких политик, просто высокоскоростная молотилка трафика (перегрузка недопустима).
Не ясно, чем кольцо тут лучше. Тем, что всё сразу в ядро втыкается? А оно выдержит? Да и в звезде тогда можно так же точно воткнуть.
___

Это Cisco mind в Вашей голове говорит, потому что Nortel (сейчас Avaya) так не строил и не рекомендовал. Extreme тоже так не делала, 3Com тоже строил по-другому. Вершина айсберга — это то что Вы писали, а реальность до ужаса проста — ЦЕНА. Выдержит и легко — вы когда-нибудь видели где-то загруженные дестяки? Это редкость. А сейчас все железо современное имеет их как минимум по две и соовтественно молотилки хватит.

Вы думаете кому-то сильно нужен 40Гб или 100Гб (кроме случая, проблем балансировки на агрегированном канале с помощью LACP)?! И кому-то особо нужна виртуализации на сетевом железе? Причина очень простая — аппаратка на сетевом железе растет гораздо быстрее, чем потребности клиентов, вот и приходится продавать «вкусные» конфеты.
насчет вот этого…

________
Отличный аргумент. Поставили «костыль», чтобы использовать уже имеющуюся инфраструктуру, и теперь это преподносится как best practices
________

Тут не стоит ерничать — на Западе и на Востоке умеют считать деньги и если их устраивал TR и проложить звезду там ФИЗИЧЕСКИ не возможно, то это и есть правильное решение поставленной задачи вне зависимости от предлагаемого железа от какого-то вендора.

Но суть этой статьи, как мне кажется, в том, что мы используем Cisco mind при проектировании, забывая, что есть другие решения, другие топологии и благодаря росту ширины каналов и мощности сетевого железа ЭТИ ДРУГИЕ решения бьют default вендора в корне. Это ровно та причина по которой я не пишу свои сертификаты и регалии за последние почти двадцать лет в подписи в почте и на визитках: так как этим я отпугиваю Заказчика. Заказчик хочет получить решение оптимальное и развиваемое, а не книжные дизаны, натянутые на реальность и на его бюджет.

Также мое мнение и моя праткика, что технический специалист, который знает (именно знает = практика) железо более одного вендора — это будущее любого спеца и РЕАЛЬНОЕ вложение любой компании.
___
Это за счёт поддержки каких технологий, подскажите. Что не умеют C/J?
___

C/J как только сталкиваются с кольцевой топологией и отсутсвием СУПЕР бюджета сразу теряют интерес, а точнее конкурентное преимущество перед теми же HP/Extreme/Huawei. У C/J нет аналогоа RRPP/EAPS и в этом уже их недоработка. Хотя теже HP/Extreme/Huawei могут при наличии СУПЕР бюджета сделать аналогичное решение типа MPLS TE — но тогда будет ровно две вещи

1. Это «вытягивание» денег из Заказчика, а не решение его задач.
2. Price Drop игра между вендорами: никому тоже это особо не интересно, кроме Заказчика, но с него уже взяли деньги в п.1, хотя Заказчик думает по-другому.

Мой опыт последних крупных проектов (более или около 1М у.е.) показывает, что в кампусе и городской сети решение кольцевое от указанных производителей оказывается минимум на входе в два раза дешевле при решении одной и то же задачи: campus wide VLAN.
У C/J нет аналогоа RRPP/EAPS и в этом уже их недоработка.

Ну ё-мое…
www.cisco.com/en/US/prod/collateral/switches/ps6568/ps6580/prod_white_paper0900aecd806ec6fa.pdf
Только этим уже много лет никто не пользуется.

Ну и какой еще супербюджет на TE? Его любой микротик поддерживает. Вы сейчас ориентируетесь на операторов, которые не могут поставить на магистрали L3 оборудование? Оно же сейчас копейки стоит.
при решении одной и то же задачи: campus wide VLAN.

Равносильно «архитекторы — идиоты».
Также нужно не забывать про то, что есть еще варианты распределенных географически стеков (IRF), которые при дизайне кольцевой топологии и по паре устройств на каждой площадке могут собрать около пяти площадок в один кампусный распределенный VLAN.

Но все же хотелось бы в комментариях реального конструктива, а не «А я уж надеялся, что это будет первый пост от HP, к которому я не смогу придраться…» Как я понимаю смысл таких обсуждений найти разные точки зрения и реальный в опыт решения определенного круга задач, а не изначально искать изъян в изложении информации определенного вендора — это уже заранее предвзятый подход. И этот опыт должен помочь партнеру/вендору — заработать, а клиенту — решить задачу и съэкономить. Понятно — что задача не простая, но, именно, обмен опытом и мнениями ведет к ее решению.
могут собрать около пяти площадок в один кампусный распределенный VLAN.

Ребята, я вас категорически не понимаю…
Весь мир давно отказывается от крупных (а тем более — территориально распределенных) L2 сегментов. А вы их наоборот проталкиваете. Вроде 90-е годы уже прошли? Сейчас на того, кто скажет «у меня один VLAN светится в пяти локациях», будут смотреть с сочувствием, умилением и легким облегчением («хорошо, что мне такой херней заниматься не приходится»). Серьезно, растягивание failure domain'а на большие площади — зло. А HP как-то странно себя позиционирует — «стройте сети отвратительно, потому что так дешевле».
Но все же хотелось бы в комментариях реального конструктива

Вот по мере сил и указываю на ошибки :)
Прежде всего, нечестно обвинять конкурента в отсутствии аналога какой-то технологии, когда на самом деле эта технология является для конкурента прошлым веком.
Насчет того, что «когда на самом деле эта технология является для конкурента прошлым веком.» Тут с Вами не соглашусь: ограниченность в реализации ERP от Cisco (Вы Data Sheet с Configuration Guide и реальностью не путайте) — это не значит, что более правильная и корректная реализация кольца, которое не может делать Cisco, является прошлым веком. Также, что это правда подтверждает отсутсвие крупных реализаций ERP у Cisco и почти не разработка этой линейки/этого функционала. И новую жизнь и конкурентноспособность кольцу дают более мощные сетевые устройства и 40Гб и 100 Гб интерфейсы.

Я понимаю, что именно по причине ограниченности в реализации ERP CIsco его почти не развивает (я про это как раз писал несколько комментариев выше — 12 в «ухе»). Мне тут недавно было интересно: пришли партнеры и спрашивают у Cisco — сколько у Вас будет восстанавливаться VSS при падении одного из шасси — ответ: ну… более 300 ms. Партнер говорит, а HP IRF восстанавливает от 10 до 30 ms. Ответ Cisco ребят — просто песня: так не может быть — потому, что Cisco лучшая!!! Но Cisco ребята забыли, что московский офис HP — все показывает на практике и дает подергать, пощупать и Закзачику и партнеру…

Заметье «Равносильно «архитекторы — идиоты».» — не я сказал. Но случай описанный мною выше говорит о заангажированности техперсонала, а моя мысль, что знание=практика: не играет роли на кого ты работаешь, главный твой критерий — правда. Мне гораздо проще, до Cisco я уже знал еще тот 3Com и Nortel, поэтому все воспринимал всегда с точки зрения практики. Поэтому, чтобы было доверие клиента/партнера любой техспециалист должен все пощупать своими руками (и даже не своего любимого default вендора — может и противно, но стоило бы), а потом уже говорить.
И если будет доверие к архитектору — будет и реальное понимание и работа с Заказчиком, а доверия на теории не построишь.

я не об операторах говорю…
___

Ну и какой еще супербюджет на TE? Его любой микротик поддерживает. Вы сейчас ориентируетесь на операторов, которые не могут поставить на магистрали L3 оборудование? Оно же сейчас копейки стоит.
____

просто всегда когда есть слово кольцо — default вендор предлагает или ONS (очень хорошая продажа) или MPLS TE (хорошая продажа). И я не видел нигде в кампусе еще микторика или чего-то очень дешевого — это слишком высокая цена риска/отказа: бизнес SP сильно отличается от Enterprise — но есть одна общая тенденция: чем дешевле — тем лучше. Но в кампусе надежность еще выше ценится, так как кампус не строит сети с поддержкой множественных отказов, как это делает оператор.

Поэтому все же, если Вы уже так защищаете Cisco — выдайте реальную альтернативу распределенному географически стеку (IRF) и RRPP(EAPS) от HP со стороны CIsco. При том хотелось бы увидеть крупные реализации практические, а не в теории. Мне лично было бы очень инетересно — может я что пропустил и возьму на вооружение в построении сетей на будущее и использовал бы эту информацию в общении с клиентами.

именно по причине ограниченности в реализации ERP CIsco его почти не развивает

Открою страшную тайну. Большинство фич Cisco развивается под требования конкретных заказчиков. Допустим, AT&T захотел зачем-то сделать магистраль L2 кольцами — не вопрос, функционал реализуют. Или гугл, или еще кто. Никому фича не нужна? Тогда зачем ее дорабатывать?
12 в «ухе»

Это, кстати, где написано?
Партнер говорит, а HP IRF восстанавливает от 10 до 30 ms.

Ну врать-то зачем? :)
realizes 30 ms fault detection and 20 ms service switchover
Это, как я понимаю, еще только в пределах шасси… Потому цискари и недоумевают — чувствуют наёб…
(и кстати — сам я никогда не любил VSS: идея «один мозг на двоих» довольно небезопасна, да и сам VSS какой-то до сих пор недопиленный)
московский офис HP — все показывает на практике и дает подергать, пощупать и Закзачику и партнеру…

Во, опять в секту завлекаете :) А дадите построить произвольную топологию из десятка устройств, а потом повызывать разные виды падения активного супервизора, посимулировать теряющий пакеты трансивер на линке между ними, ударить по свитчу лупом на 2х10гб/с? :)
Ну и независимые тесты были? А то мало ли как у вас генераторы трафика настроены…
И повторяю, что «лаба» и «практика» имеют мало общего. На практике временами случаются такие сценарии, которые невозможно предугадать в лабе. Потому больше слушайте инженеров и меньше — маркетологов.
главный твой критерий — правда

Ага. Это очень важно в том числе в маркетинге. Никогда не надо врать про конкурентов — не поймут.
И я не видел нигде в кампусе еще микторика или чего-то очень дешевого — это слишком высокая цена риска/отказа

Скрытый текст
Честно говоря, я нигде не видел в более-менее приличном кампусе 3com/HP, ну да проехали...

есть одна общая тенденция: чем дешевле — тем лучше.

Наверное, именно поэтому операторы покупают представителей не самых дешевых линеек CRS, ASR9k и т.д, и очень любят c/j, которые оба делают неимоверные наценки на железо.
Практика, опыт…
кампус не строит сети с поддержкой множественных отказов, как это делает оператор.

Это вы сейчас кольцевую топологию критикуете? Ну да, операторы стараются делать что-то вроде полу-mesh. А потом еще управлять трафиком — и чтобы равномерно прогрузить всю емкость, и чтобы число точек отказа свести к минимуму. HP, как я понимаю, как-то плохо поддерживает сложные, хаотичные топологии, раз так защищаете кольца?
если Вы уже так защищаете Cisco

Вы все неправильно понимаете. Я не защищаю Cisco. Я комментирую невежественные наезды на конкурента.
И пока вы объясняете мне, что дает IRF (я серьезно), предлагаю заодно найти в арсенале HP более жизненные решения.
1) Fabricpath (или что-то похожее на тот же TRILL) — ибо есть ЦОДы, где надо много-много свитчей с кучей линков, а east-west емкости не очень хватает…
2) FEXы — фактически линейная карта на оптическом патч-корде. Штук 20 с 40G аплинками на простой одноюнитовый свитч. Точнее, на два свитча. И чтобы подключался FEX сразу к обоим свитчам — и расположенное ниже устройство могло поднять агрегацию до двух FEXов. И чур независимые control plane на всех центральных свитчах, никаких ненадежных стеков!
3) LISP. С помощью IGP не так-то просто гибко управлять входящим трафиком. Вы же отстаиваете миграцию систем с площадки на площадку? Вот надо, чтобы трафик ходил оптимально…
Еще можете поискать у HP QFabric (сколько, говорите, максимум устройств в IRF стеке?).
Дмитрий,

и не спится Вам.

__
realizes 30 ms fault detection and 20 ms service switchover
Это, как я понимаю, еще только в пределах шасси
___

Правильно говорите — теория и в пределах одного шасси. Я то говорил о том, когда падает основное шасси и о практике.

_____
Во, опять в секту завлекаете
______

Все, что не Cisco — это секта!!! Ура, товарищи! Нравится мне ход Вашей мысли, только однобокий он какой-то? а J — это тоже секта, если это не Cisco?

___
А дадите построить произвольную топологию из десятка устройств, а потом повызывать разные виды падения активного супервизора, посимулировать теряющий пакеты трансивер на линке между ними, ударить по свитчу лупом на 2х10гб/с? :)
___

это вопрос не ко мне — у меня такого объема железа дома нет: дома я предпочитаю не работать. Сейчас в командировки с большим сдвигом часовых поясов и могу себе позволить писать: сейчас у меня уже полдень. Хотите получить это железо и «подергать» думаю, что ребята из московского HP Вам помогут: только для этого вопросы нужно задать им.

____
Ага. Это очень важно в том числе в маркетинге. Никогда не надо врать про конкурентов — не поймут.
____

Маркетинг часто пишет, что посчитает нужным или как переводчика рука дрогнет, а вот техспец — должен говорить правду. И не зависит от того — он работает в вендоре или в партнере или в заказчике. У маркетинга и техперсонала разная оценка результатов труда.

___
Наверное, именно поэтому операторы покупают представителей не самых дешевых линеек CRS, ASR9k и т.д, и очень любят c/j, которые оба делают неимоверные наценки на железо.
___

полностью согласен: HP не видит себя как построителся ядра сети крупного SP. И это они не стесняются сказать. И статья эта была про каспус…

___
чтобы равномерно прогрузить всю емкость, и чтобы число точек отказа свести к минимуму. HP, как я понимаю, как-то плохо поддерживает сложные, хаотичные топологии, раз так защищаете кольца?
___

тут немного не так. Кольцо в протоколе RRPP имеет подкольца, которые и реализуют «сложные, хаотичные топологии». Не ужели Вы думаете, что Пекин построен как одно сплошное кольцо? Или французские железные дороги?

___
Я не защищаю Cisco. Я комментирую невежественные наезды на конкурента.
___

Поймите, Дмитрий, для меня Cisco не конкурент, а один из вендоров, которые строит сети. Наездов тут никаких — есть проекты, где наш default вендор проигрывает и это правда и в большинстве случаев это кольцевыве топлогии в кампусе. А кольцо — это HP(ex3Com), Extreme, Huawei. Я и пишу в комментариях об этих топологиях и решениях: в них я принимал непосредственноуе участие с разных сторон стола по имени IT рынок и понимаю, что же они дают. Заметьте, я говорю только об одном из вариантов топологий, но считаю что развитие техники и каналов дает ему нове жизнное пространство и эта топология имеет преимущество перед звездой классической, которая забита у всех в голове за последние десятилетия полотора. Итог, за деревьями не видно леса.

На послдение абзацы (где Вам нужно рассказать, что Вам не понятно) отвечу позже. Сейчас мне тоже надо с людьми поговорить.

теория и в пределах одного шасси. Я то говорил о том, когда падает основное шасси и о практике.

Я процитировал официальный документ HP…
Вы говорите о «выдернули питание» (самый простой и наименее реалистичный сценарий)? Все равно 30мс наверняка уйдет на обнаружение аварии соседом, плюс какое-то время на решение быть главным. Реакция на выдергивание супервизора всегда будет быстрее.
Можно ли где-то почитать про независимое подтверждение полного фейловера за 30мс?
Все, что не Cisco — это секта!!!

Не… В старых топиках я уже говорил, что вы, ребята, похожи на иеговистов — пламенно проповедуете и постоянно предлагаете прийти на собрание и пообщаться с гуру :)
И статья эта была про каспус…

И вот как раз в случае кампуса кольцевые топологии давно умирают. Наиболее популярная там топология — dual hub and spoke.
в большинстве случаев это кольцевыве топлогии в кампусе. А кольцо — это HP(ex3Com), Extreme, Huawei.

Так вы говорите, что циска не годится, так как с >12 свитчей плохо работает? Но никто так не делает в кампусах! Сейчас все вообще избавляются от колец где только можно. И MPLS набрал огромную популярность — тоже в кампусе. И многие даже гоняют TE в пределах здания. А кто-то уже отказался от TE в пределах здания, так как для него это недостаточно гибко (привет, Гугл!).
Теперь отвечу Вм на сегодняший пост.

___________
Вы говорите о «выдернули питание» (самый простой и наименее реалистичный сценарий)? Все равно 30мс наверняка уйдет на обнаружение аварии соседом, плюс какое-то время на решение быть главным. Реакция на выдергивание супервизора всегда будет быстрее
__________

Мне очень нравиться слово «наверняка уйдет »… Так Вы даже не прикасались к железу HP (противно — да?)? Тогда опять же — в ответе ниже — придите в «секту» HP не верующие на одно измероприятий и там всегда показывают практику и дают подергать (можете одеть перчатки)… и станьте верующими, а не верующими. Страшно? И тогда Ваше «наверняка уйдет» — перейдет в уверенность. Только обещаете рассказать об ощущениях? Это было бы честно.

_____
В старых топиках я уже говорил, что вы, ребята, похожи на иеговистов — пламенно проповедуете и постоянно предлагаете прийти на собрание и пообщаться с гуру :)
_____

Молодой человек, когда деревья были для Вас большими и когда Cisco была на задворках, а сетью правили 3Com и Nortel, я хорошо помню ребят из Cisco (многие из которых уже покинули эту хорошую компанию. Хорошую как минимум за то, что она вложила много в образование и развитие сетевого рынка) и, Вы будете смеяться, они вели себя ровно также.

Вам же Дмитрий не нужно объяснять, я надеюсь, что для HP сетевое направление стало серьзеным бизнесом только с покупкой 3COM: это 2010 год. И по-другому евангелизация не делается: люди с опытом плюс практика, студенты это поднять не смогут.

____
И вот как раз в случае кампуса кольцевые топологии давно умирают. Наиболее популярная там топология — dual hub and spoke.
_____

Дмитрий, Вы когда-нибудь проектировали сети масштаба наших нефтяных предприятий по регионам: когда у них объектов несколько сотен, а кольцо или точенее то, что называется «кольцом», имеет не более 32 или 64-х жил. Расскажите им об «dual hub and spoke» и больше Вы туда уже не зайдете.

Дмтирий, Вы когда нибудь протягивали/варили оптику? тогда Вы поймете, что в ограниченном бюджете меньше сварок — больше качество и меньше затрат.

И многое другое — автор в статье про это писал выше.

Если бы Вы через свои руки «пропустили» бы не один десяток проектов на практике — было бы понятно, что альтернатива всегда нужна и важна: партнер и клиент считают деньги, а не читают книги и этим живут.

____
И MPLS набрал огромную популярность — тоже в кампусе. И многие даже гоняют TE в пределах здания. А кто-то уже отказался от TE в пределах здания, так как для него это недостаточно гибко (привет, Гугл!).
____

Именно, Дмитрий, с MPLS TE в предела здания Cisco и пролетает по цене как фанера над Парижем. И тут Вы правы на 100%!!! А умные люди в Cisco говорят о том, что MPLS нужен в кампусе только для того, чтобы «дотянуть» VLAN в ядро, если нет другой возможности: то есть некоторый секс для нищих за огромные деньги. И не надо, как некоторые, называть MPLS решением по безопасности: и такое встречается.

Надеюсь, Дмитрий, удовлетворил Ваше любопытсво?
Мне очень нравиться слово «наверняка уйдет »… Так Вы даже не прикасались к железу HP (противно — да?)?

Забавно — целый абзац, и при этом вообще никакого содержания в нем…
Нет, серьезно — неужели никто никогда не проверял это на практике?
придите в «секту» HP не верующие на одно измероприятий и там всегда показывают практику и дают подергать

Лень пробовать, так как вендор не заинтересован дать что-то подергать человеку, который заведомо не будет покупать решение вендора :)
а кольцо или точенее то, что называется «кольцом», имеет не более 32 или 64-х жил.

А это мало? Кто-то уже отменил WDM? Вы в курсе, сколько сейчас можно выжать из одной пары жил (или даже из одной жилы)?
Дмтирий, Вы когда нибудь протягивали/варили оптику?

Нет, я только делал заказы на прокладку оптики :) В том числе и по городу.
альтернатива всегда нужна и важна: партнер и клиент считают деньги

Конечно. И изначально человеческая архитектура сети — важнейший фактор эффективного использования финансов. Что толку от десятков жил, если часть из них пустует, а часть перегружена, притом без человеческого QoS, притом с минимальной гибкостью, притом с большим риском зараз положить все кольцо целиком?
Вы все время какие-то глупости предлагаете. Сейчас нет требований «растянуть L2 сегмент по множеству площадок», так никто не делает. Сейчас в моде роутинг.
с MPLS TE в предела здания Cisco и пролетает по цене как фанера над Парижем. И тут Вы правы на 100%!!!

Вообще-то я говорил, что та компания, которая опережает рынок по технологичности лет на пять, только отказалась от этого, а остальные как раз потихоньку к этому приходят…
некоторый секс для нищих за огромные деньги.

Вы точно умеете считать?
Берем любой современный ЦОДовый свитч. Он поддерживает RSVP-TE. Так где деньги?
Надеюсь, Дмитрий, удовлетворил Ваше любопытсво?

К сожалению, ваш пост не содержит вообще ничего, в нем нет ни единой мысли, так что — нет :(
Дмитрий,

если вы посмотрите «на в моде роутинг» — Вы поймете, что наш default вендор меняет свою ориентацию в этом деле в среднем раз в года три. И Роутинг не решает проблем ЗАказчика, А опять же «латает дыры» в решениях-продуктовой линейке определенного вендора.

Опять Вы передергиваете:«любой современный ЦОДовый свитч» Автор Вам писал про решения для Кампуса, а не отдельно для ЦОД. В ЦОД другие немного принципы.

НАсчет Вашей аппеляции к xWDM — посчитайте во сколько Вам обойдется это чудо уплотнения и на большие расстояния и на много точек.

Не валите с больной на здоровую: «Лень пробовать, так как вендор не заинтересован… » Если ВЫ пытаетесь судить в теории о том, чего не пробовали, то разницу между «обещать жениться и жениться Вы никогда не поймете».

Еще раз, Дмитирий, покрутите это (хоть теперь понятно, что Вам не противно, а просто лень) HP железо в руках и успокойте свое любопыство. Лучше один раз пощупать, чем простыни писать в блогах.
Вы поймете, что наш default вендор меняет свою ориентацию в этом деле в среднем раз в года три.

А меня это должно заботить?
Но вы — единственный вендор, кто сейчас настаивает на том, что L2 — это здорово. Cisco не настаивает. Они уже очень много лет говорят «L2 — зло, по мере сил уменьшайте размеры широковещательных доменов вплоть до по одному свитчу в каждом, но если совсем-совсем надо, вот вам решение, обладающее меньшим количеством недостатков».
И Роутинг не решает проблем ЗАказчика

Проблему не решает свитчинг. Роутинг (а точнее, то, что на нем основано) — решает. Напомню, что проблема — эффективная утилизация имеющихся ресурсов у сложных топологий, простота администрирования, надежность.
посчитайте во сколько Вам обойдется это чудо уплотнения и на большие расстояния и на много точек.

Считал. CWDM на 10G стоит копейки. Хотя смотря что считать «большими расстояниями». Вы же вроде про кампус говорите? Там полкилометра — уже много.
Если ВЫ пытаетесь судить в теории о том, чего не пробовали

Так расскажите :)
Вы ведь написали еще один пост, где вы гордо размахиваете писькой и при этом усердно игнорируете все до единого вопросы, попутно неся в массы какую-то ересь. То TE — дорого, то CWDM. Вскоре и сама по себе маршрутизация окажется слишком дорогой. Да, вы двигаетесь вперед, но только в каком-то неправильном направлении.
Лучше один раз пощупать, чем простыни писать в блогах.

Вы это, видимо, себе адресуете :) Здорово уметь по памяти цитировать маркетинговые PDFки, не понимая их сути.
Как маркетолог, попробуйте убедить меня пощупать ваше железо. Расскажите, что в нем хорошего, какую гибкость и какой функционал оно дает. Что оно неплохо может реализовывать устаревшую на 20 лет и никем кроме совсем нищих операторов не используемую архитектуру — я уже понял. Что-нибудь еще?
Когда нет решений по L2, тогда и говорят вот так
«Cisco не настаивает. Они уже очень много лет говорят «L2 — зло, по мере сил уменьшайте размеры широковещательных доменов вплоть до по одному свитчу в каждом, но если совсем-совсем надо, вот вам решение, обладающее меньшим количеством недостатков».»

Для Вас задача, которую решал и решил на HP года два назад для одного нефтеперерабатывающего завода

«Роутинг (а точнее, то, что на нем основано) — решает.»

135 сетей на Cisco любимом и люди покупают на свое счастье телефонию плюс ВКС: 20 км. кв. Как решать? Внимание не забудьте: админы хорошо живут на VLAN и не особо хотят знать про Л3, тем более MPLS какой то там: вы пропрбуйте в таких регионах специалиста хорошего найти вообще. Бизнес задача: до 10Ти кампус вайд VLAN, всего около 10К МАС адресов. Только оцените (не забудьте) стоимость решения. Подсказка, Cisco это делала и осталась за бортом старта тендера в той же манере, что и Вы глаголете: на входе цена была в четыре раза выше.

Впорос к Вам (любителю Cisco): почему так легко менять Nortel/Avaya на HP у наших нефтяников и они напрочь не хотят L3 у себя в сетях? Может стабильности нет? Простоты не хватает? А сети там — мама не горюй — и любое падение… уже шуткой не отзовется. Они видно у Вас не спросили или Вас просто на порог не пустили с L3 идеями? А админы у этих клиентов ездят везде по визитам разным и смотрят топовые последние реализации у всех производителей. Хотя туда ходит САМА Cisco — а воз ее там же.

Дмитрий, default вендор умеет хорошо продавать процентов 90% того, что никто никогда не использует. И вот это«То TE — дорого, то CWDM. Вскоре и сама по себе маршрутизация окажется слишком дорогой. » из той же оперы. Но, Дмитрий, сейчас все идет к тому, чтобы быть простым и дешевым: временя продажи воздуха уходит, благодаря кризису, в прошлое. Я еще может еще не доживу до тех времен, когда студент будет настраивать и управлять сетью предприятия «одним движением», а Вы то доживете — и тогда будет понятно: что просто и дешево (ATM лучше Ethernet до сих пор — но ATM умер) то и победит.

Поэтому, если L2 решает задачи и стоит в разы дешевле — он и победит. 2001 год — 3Com ушел, его место заняла Cisco: с тех пор идет и L2 vs L3 спор. Поэтому и суть этой статьи — кольцо это L2, это просто и эффективно и решает Ваши (ЗАказчика, а не Ваши или мои задачи, Дмитрий). Если Cisco согласится на это — придется в корзину выкинуть последние лет пять серьезных вложений: поэтому я их и понимаю. И поэтому эта статья разумна и дает альтернативу: кстати, забылось в статье тут про Nortel/Avaya — стек у них тоже хороший. Но тут не написано — ТОЛЬКО HP: тут есть и место и Exterme и Huawei.

Еще раз, Дмитирий, к моей радости я всегда не доверял маркетингу, поэтому «Как маркетолог, попробуйте убедить меня пощупать ваше железо. » — это не ко мне. Если Вам все же хочет понять как оно там — оденьте перчатки, зажмите нос и попробуйте что-то собрать из того, что в статье написано: отбросьте лень!!!

Дмитрий, Вы забыли, что «на 20 лет и никем кроме совсем нищих операторов не используемую архитектуру» используют нефтяники как раз эти 20 лет и за счет их средств ВЫ можете здесь рассуждать о ВЫСОКОМ, а не бороться за свое выживание, как страны Африки и некорорых других регионов.
Для Вас задача, которую решал и решил на HP года два назад для одного нефтеперерабатывающего завода

используют нефтяники

«Один неназванный нефтеперерабатывающий завод неизвестного размера» резко превратился в «нефтяники, кормящие страну» — как мило :) И вы со свойственным вам максимализмом сходу аппроксимируете на всю отрасль. Ну что тут сказать?
админы хорошо живут на VLAN и не особо хотят знать про Л3, тем более MPLS какой то там: вы пропрбуйте в таких регионах специалиста хорошего найти вообще.

У крупных компаний, которые и приносят деньги стране (нефтяных, газовых — неважно) «сетевые мозги» традиционно сосредоточены в дефолт-сити, и именно оттуда они управляют сетью, которая добирается до самых дальних уголков страны. На месте же достаточно того самого «админа», который более-менее знает слово «VLAN» и умеет при необходимости воткнуть консольный шнурок в железку.
Бизнес задача: до 10Ти кампус вайд VLAN, всего около 10К МАС адресов.

Это не задача. Так никто давно уже не делает, сейчас у многих и в пределах этажа найдется десяток VLANов, никуда за пределы этажа не выходящих. HP наткнулся на редкое исключение из правила? Ну что же, поздравляю.
на входе цена была в четыре раза выше.

Мне ли вам говорить, что в случае государственных компаний стоимость решения вообще не имеет значения?
временя продажи воздуха уходит, благодаря кризису, в прошлое.

Я не видел никакого кризиса. А вы видели?
И наоборот, именно сейчас сетевые технологии резко рванули вперед (облака, виртуализация, следующие из этого специфические требования к сетям как наиболее известный пример).
Я еще может еще не доживу до тех времен, когда студент будет настраивать и управлять сетью предприятия «одним движением», а Вы то доживете

А что, сейчас так нельзя? Студент берет гору управляемых L2 свитчей (ну чтобы STP был), и, даже не подключаясь к интерфейсу администрирования, абы как соединяет их между собой. Даже настраивать ничего не надо — сеть работает, задача выполнена. Возражения есть? :)
А вот если стоят более жесткие требования к производительности и надежности — тут уже потребуется задействовать мозг. Вы ведь на SDN намекали в том утверждении? В очередной раз умоляю не верить маркетинговому буллшиту. Даже в серверном ПО, работающем в standalone режиме, примерно никогда не бывает кнопки «сделать зашибись». Все равно надо понимать, как оно устроено внутри и как адаптировать его под конкретные требования. Абсолютно универсальное решение не устроит никого.
ATM лучше Ethernet до сих пор

Ух ты какое смелое заявление! Я бы с удовольствием подискутировал. Только сразу оговорим: речь про кампус, или вы снова незаметно перешли на операторские сети? Ну и что понимается под ethernet? Ну и я просто мечтаю услышать аргументы…
с тех пор идет и L2 vs L3 спор

Нет никакого спора. Любой человек, обладающий хоть капелькой опыта, предпочитает L3. Неважно, к продукции какого вендора он привык. Споры тут могут быть только когда один из участников вообще ничего не понимает в обсуждаемом вопросе и пугается слова «маршрутизация».
кольцо это L2, это просто и эффективно и решает [задачи]

Чуть выше я написал про зоопарк из свитчей, которые никто даже не будет настраивать. Тоже простое и эффективное решение задачи, не подразумевающей надежность, эффективность задействования ресурсов и гибкость. И очень дешевое. А если взять неуправляемые свитчи и постараться не наделать колец — совсем халява выходит. Можно соорудить тот самый кампус вайд вилан на 10к портов где-то навскидку за жалкие полмиллиона рублей, если не считать медь (ага, «админ» умеет обжимать и не умеет варить, но ему повезло, и обычно не надо тянуть патч больше чем метров на 100).
оденьте перчатки, зажмите нос и попробуйте что-то собрать из того, что в статье написано

А зачем?
Вот у меня нет ни намека на идиотскую задачу «разнесенные L2 сегменты», от этого все давно отказались, и мы не исключение. Но есть ворох других требований, с выполнением которых при подобной архитектуре возникнут закономерные проблемы. И в бюджете достаточно денег на человеческое оборудование с человеческими протоколами (раз HP так пиарит L2 — значит, у него не все так хорошо с L3?). Так какой мне смысл тратить время на изучение архитектуры, которая мне заведомо не пригодится? Особенно учитывая, что никто никогда не пригласит меня в HP потрогать железо на моих условиях — вдруг опозорю их? :)
Или пригодится? Тогда заинтересуйте меня.
Дмтирий, эко Вам не спится.

Аплодирую!!! То что ниже как раз и говорит Вашими устами: чем проще — тем надежнее и дешевле.
___
На месте же достаточно того самого «админа», который более-менее знает слово «VLAN» и умеет при необходимости воткнуть консольный шнурок в железку.
____

Читаю и плачу от смеха!!!

______
Любой человек, обладающий хоть капелькой опыта, предпочитает L3.
______

Горе тебе страна: все что продал Nortel (это еще не HP) и то что работает годами (я бы сказал уже более десятилетия) — это делали и проектировали люди, у которых не было опыта!!! ОНИ ждали ДИМУ!!!
Надеюсь Дмитирй Вы не будете отрицать, что до сих порт кампусная база инсталляции Nortel одна из самых больших и на нее с аппетитом посматривают HP, Extreme, Cisco (Ваша любимя третьеуровневая)… Хм, забыл Avaya считает, что это просто ее — но если она и дальше будет думать, что вотчину подрежут.

А тут Вы уже предернули карты в сторону из ЦОД (космоса) в сторону зоопарка (цветочного магазина): кстати, даже ретейловые сети, которые копейки считают не позволяют себе так падать
«Чуть выше я написал про зоопарк из свитчей, которые никто даже не будет настраивать. Тоже простое и эффективное решение задачи, не подразумевающей надежность, эффективность задействования ресурсов и гибкость. И очень дешевое. „
как пытаетесь опуститься Вы. Поэтому такой вариант в кампусе уже давно отметается.

Но даже в таком варианте сети — как прибили бантик, так и держится — RRPP/EAPS позволит без изменения структуры сети и прекладки кабеля построить нормально сеть: но для этого придется весь Ваш “гипотетический» зверинец заменить. И цена будет более чем приемлемая.

Теперь насчет — «кружите меня все семеро, я така звезда». Меня просили высказать свое мнение по статье — я его высказал, основываясь на моей лично практике.

Но вот заинтересовывать лично Вас, Дмитрий, меня особо никто не просил.
Поэтому уж, если для Вас «не стоит задача распределенных кампусных VLAN, и Вам не нужна архитектура, которая Вам заведомо не пригодится» — тогда с моей стороны любые аргументы будут выкидываться в корзину с Вашей строны, я же со своей стороны — буду зря тратить время.

Как раз мы с Вами Дмитирий и пришли к тому выводу (кстати, это не новое: 2001 год Nortel — Campus Wide VLAN, Cisco — каждому пользователю по отдельной IP сети: почти Чернобыль — мирный атом в каждый дом), что есть решение одних и тех же задач на L2 и/или L3 уровне и каждый для каждого из этих вариантов решений есть оптимальные топологии и не оптимальные. Что и когда выбирать — это уже множество факторов.

1. Постановка задачи.
2. Наличие соответствующего бюджета.
3. Понимание техперсонала ЗАказчика двух пунктов выше.
4. И наконец, для чего и писал, как я понимаю автор статью, квалификация и ШИРОКИЙ кругозор плюс практика/опыт проектировщика.

Поэтому, мне кажется, и безусловно благодаря Вам, Дмитрий, мы именно и подчеркнули смысл статьи: больше читайте и щупайте и не зацыкливайтесь на одном вендоре и на одной топологии. А что кому пригодится — это уже личное дело каждого.
чем проще — тем надежнее и дешевле.

Надежнее? Правда?
все что продал Nortel

А давайте вспомним механические арифмометры!
Нет, серьезно… Раньше были сети на коаксе и хабах. Оно иногда даже почти хорошо работало (ну тогда было не с чем сравнивать). И?
до сих порт кампусная база инсталляции Nortel одна из самых больших

Наоборот. Nortel и Avaya почти не участвуют в мире ethernet железа, даже у HP доля выше. Телефония — да, Nortel был популярен, но сейчас от него все избавляются.
даже ретейловые сети, которые копейки считают не позволяют себе так падать

А в чем недостатки практически хаотичной установки кучи управляемых свитчей?
RRPP/EAPS позволит без изменения структуры сети и прекладки кабеля построить нормально сеть

Так STP позволит вообще без изменения структуры сети и перепрокладки кабеля соединить железо как угодно и получить нормально работающую сеть…
я его высказал, основываясь на моей лично практике.

А в каком, простите, тысячелетии, если вы настолько часто припоминаете динозавров?
тогда с моей стороны любые аргументы будут выкидываться в корзину с Вашей строны

Почему же?
Вы дали три агрумента:
1) Оно может решить задачу заказчика.
2) Оно быстро сходится.
3) Оно дешево стоит.
Но ведь и сеть из паутины свитчей на классическом STP тоже соответствует всем трем требованиям (ага, когда-то «минута» считалось «быстро»).
Cisco — каждому пользователю по отдельной IP сети

Ну-ну.
Хотя сейчас операторы, выдающие клиентам ethernet, так и делают — на разном оборудовании…
благодаря Вам, Дмитрий, мы именно и подчеркнули смысл статьи

На самом деле смысл статьи — «выбирайте плохую топологию под неправильно поставленную задачу» :)
Нет никакого спора. Любой человек, обладающий хоть капелькой опыта, предпочитает L3. Неважно, к продукции какого вендора он привык. Споры тут могут быть только когда один из участников вообще ничего не понимает в обсуждаемом вопросе и пугается слова «маршрутизация».

Дмитрий, вот тут Вы слишком смело обобщаете :) Далеко не все. Говорю это, как человек потративший много времени на убеждение своих заказчиков не растягивать L2. В моей практике, за редким исключением, убедить не получалось и заказчик останавливался на L2, вполне себе осознавая риски. Ну пойдите, объясните, скажем, Банку России что L2 на межрегиональном уровне, да еще на каналах 256К это зло, а я на Вас посмотрю — будет интересно, ибо я пробовал это делать :) Или сходите в Сбер и убедите не растягивать VLAN по кампусной сети в 6000 портов. Только я прошу, не делайте резких заявлений на предмет квалификации ИТС указанных организаций — люди там работают более чем квалифицированные. Давайте не будем спрашивать зачем это им надо, а просто поверим на слово — надо, значит надо.
И вот тут наступает момен истины — есть у вендора решение или нет. Есть у HP RRPP — это ведь здорово, потому как позволяет строить отказоустойчивые кольцевые топологии, причем получается недорого и довольно просто, я бы сказал красиво получается.
И вы неправильно понимаете ситуацию — HP не пропагандирует L2 решения, а отвечает на запросы рынка. У HP само собой есть и L3 решения и инженеры HP, я вас уверяю прекрасно понимают плюсы и минусы L2. Причем MPLS оборудование HP поддерживает давно, а вот новое решение (EVI) вышло как раз в так критикуемой вами области — L2 DCI. Нравится нам с вами или нет, но этот факт лишь подтверждает мой тезис о том, что спрос на решения такого класса есть.
Да и упоманаемая здесь Cisco вполне себе это признает. Позволю себе цитату из книги «I/O Consolidation in the Data Center — Cisco Press», глава 1:
«Virtualization, Cluster, and HPC often require extremely good Layer 2 connectivity. Virtual
Machines are typically moved inside the same IP subnet ( Layer 2 domain), often using a Layer 2
mechanism like gratuitous ARP. Cluster members exchange large volumes of data among themselves
and often use protocols that are not IP-based for membership, ping, keep-alive, and
so on.»

P.S. Так что с момента нашей последней дискуссии ничего не изменилось — жизнь по прежнему цветная и радует глаз многообразием технических решений, что само по себе замечательно.
я пробовал это делать

Хочется спросить — в каком веке? :)
не делайте резких заявлений на предмет квалификации ИТС указанных организаций

Почему же? Сейчас не знаю, но пару лет назад там был полный мрак. Собственно, за те деньги, которые там платили — ничего удивительного.
Есть у HP RRPP — это ведь здорово, потому как позволяет строить отказоустойчивые кольцевые топологии

Правда, ходят слухи, что иногда мастер клинит, и сеть разваливается :)
Ну да, никто не идеален, вот только на L2 последствия будут куда печальнее…
HP не пропагандирует L2 решения

А почему примерно все посты HP на Хабр как раз рекламируют L2?
спрос на решения такого класса есть.

L2 DCI? Есть. Некомпетентные серверные администраторы приставляют сетевикам нож к горлу и требуют реализовать архитектуру, которая снизит надежность сервисов тех самых серверных администраторов. Маркетинг, промывание мозгов…
Machines are typically moved inside the same IP subnet

Кто ж спорит? VMotion в пределах стойки или машзала — безусловное добро. И? Никто ни разу за всю историю человечества не смог объяснить, на кой черт таскать виртуалки с площадки на площадку, тем более не останавливая их.
жизнь по прежнему цветная и радует глаз многообразием технических решений

… многие из которых, будучи убогими, все равно внедряются теми, кто не привык оценивать все факторы.
Помните легендарную картинку? www.projectcartoon.com/cartoon/2. Особое внимание на «business consultant».
Хочется спросить — в каком веке? :)

Хотите — спрашивайте :) Дело было в 2008 году.

Сейчас не знаю, но пару лет назад там был полный мрак.

Никогда «полного мрака» небыло. В каждом ГУ найдете одного-двух адекватных в ИТ людей. Да и на уровне руководства ИТ, при соответствующем объяснении, всегда находил понимание. Да вот беда — одного понимания мало.

Правда, ходят слухи, что иногда мастер клинит, и сеть разваливается :)

Сплетни мы, с негодованием, отвергаем и оперируем исключительно фактами :)

А почему примерно все посты HP на Хабр как раз рекламируют L2?

Так EVI решение новое, вполне логично про нее и написать. RRPP тоже понятно почему — есть рынок для технологии и конкуретные позиции на нем крепкие.

Никто ни разу за всю историю человечества не смог объяснить, на кой черт таскать виртуалки с площадки на площадку, тем более не останавливая их.

«С какой целью интересуетесь? Кто вас попросил об этом узнать?»(с) Мне, конечно, тоже интересно зачем, но если есть такое требование у заказчика, что ж я по-вашему должен обозвать его невеждой?! :)))) Уж куда логичнее дать что просят.

… многие из которых, будучи убогими, все равно внедряются теми, кто не привык оценивать все факторы

Вы на все смотрите с одной точки зрения. Когда я так рассуждал, мне мой начальник говорил «специалист однобок как флюс» :) Исполнитель не делит заказчика на «того кто привык» и «того кто не привык», а для каждого старается предложить наилучшее решение в заданных заказчиком рамках.

если есть такое требование у заказчика, что ж я по-вашему должен обозвать его невеждой?!

Хорошая статья в тему:
blog.ioshints.info/2013/01/long-distance-vmotion-stretched-ha.html
Конечно, вендор хочет впарить свое решение, но хороший вендор придет на встречу, поинтересуется, откуда взялись требования, и предложит альтернативные архитектуры… За это клиент будет ему куда более благодарен, чем за составление спецификации на закупку железок по списку требований.
И я тоже не раз и не два объяснял коллегам, что логичная на самый первый взгляд идея разнести ноды одного кластера по двум ЦОДам (катастрофоустойчивость как бы) приведет лишь к увеличению риска положить кластер целиком.
Исполнитель не делит заказчика на «того кто привык» и «того кто не привык», а для каждого старается предложить наилучшее решение в заданных заказчиком рамках.

Если кособокая архитектура навернется, заказчик может винить исполнителя. Даже если тот лишь следовал указаниям заказчика.
… хороший вендор придет на встречу...
Вы хотите сказать, что в тот же ЦБ «хорошие вендоры» не ходят?! :)
И интеграторы ходят. И я, как инженер интегратора, ходил. Толку? А между тем такого заказчика игнорировать невозможно. И это лишь один пример. На мой взгляд даже одного его достаточно чтобы что-то делать.
Если кособокая архитектура навернется, заказчик может винить исполнителя. Даже если тот лишь следовал указаниям заказчика.
Это святое. Все понимают что случись что — прикрывать заказчика будет исполнитель.

Вы хотите сказать, что в тот же ЦБ «хорошие вендоры» не ходят?!

Вы до конца дочитайте предложение :)
Я ответил, дочитав весь пост, :) а не только предложение.
Дмитрий,

добрался снова до сети. И отвечу на Ваши вчерашние вопросы-любопытки.

___________
И пока вы объясняете мне, что дает IRF (я серьезно), предлагаю заодно найти в арсенале HP более жизненные решения.
1) Fabricpath (или что-то похожее на тот же TRILL) — ибо есть ЦОДы, где надо много-много свитчей с кучей линков, а east-west емкости не очень хватает…
2) FEXы — фактически линейная карта на оптическом патч-корде. Штук 20 с 40G аплинками на простой одноюнитовый свитч. Точнее, на два свитча. И чтобы подключался FEX сразу к обоим свитчам — и расположенное ниже устройство могло поднять агрегацию до двух FEXов. И чур независимые control plane на всех центральных свитчах, никаких ненадежных стеков!
3) LISP. С помощью IGP не так-то просто гибко управлять входящим трафиком. Вы же отстаиваете миграцию систем с площадки на площадку? Вот надо, чтобы трафик ходил оптимально…
Еще можете поискать у HP QFabric (сколько, говорите, максимум устройств в IRF стеке?).
___________

Во-первых, эта статья была про High Level Design сетей кампуса, а не о построении ЦОД, Это уже другая ветка и Вы предлагаете мне вместо автора написать Вам ответ на эти вопросы?

Во-вторых, мне кажется, что ребята из HP, если не будут сильно заняты работой, напишут Вам полные разъяснения, но в отдельной статье: просто мы начинаем «сползать» с «не жизненных решений» (которые к Вашему сожалению Дмитрий продаются и живут на рынке) HP для кампуса/города в область решений вообще для ЦОД.

В-третьих, я не поленился — потратил пять минут и немного погуглил для ответа на Ваши вопросы и нашел следующее: там есть большинство ответов. Только вот ребята из HP не критиковали никого, а писали о своих преимуществах — это корректно. Прилагаю то, что нашел.

не далеко собираясь есть вот такое краткое описание на Харабре
Построение распределенного ЦОД (DC Interconnect, DCI)
habrahabr.ru/company/hp/blog/150725/

пройдя немного дальше
журнал LAN
Технологии HP для объединения географически распределенных ЦОД
parkreader.ru/pressa/issue/3D7FA471-AE5B-4440-ACA3-E7743819F595

Современные сетевые технологии НР: будущее уже сегодня» в журнале PCWEEK.
www.pcweek.ru/themes/detail.php?ID=145377

В журнале Network World статья «Пять шагов HP Networking, которые гарантируют непрерывность вашего бизнеса».
www.osp.ru/nets/2012/05/13019252/

В журнале LAN статья «Сетевые решения HP для облаков».
parkreader.ru/pressa/issue/24610629-3C34-40F5-B011-EC32DEAD2F18

К сожалению, Дмитрий эти люди, когда писали они не думали о том, что нужно объяснить Вам разницу решений Cisco, Juniper & HP. Не думаю, что это было бы корректно в статье любого вендора вообще.

Поэтому, судя по всему Вы у нас спец по Cisco и по Juniper (по крайней мене это Ваша «секта») и сможете после чтения этих статей найти разницу и отличие в решениях разных вендоров.

Если это Вам не поможет, тогда придется придти как-нибудь в «секту» HP на партенрское или клиентское мероприятие по сетевым решениям (они там их проводят в среднем раз в квартал и делают рассылку по своей базе) и задать эти вопросы. И я не помню, чтобы какие-либо вопросы были не отвечены: а вот воспринимать ответы или нет — это уже теория веры.
я не поленился — потратил пять минут

Зря потратили — ответа нет…
Вы обратили внимание, как я описал FP, FEX и LISP? Вот давайте так же. В одном-двух предложениях — в чем суть технологии. Откуда я знаю, аналоги чего искать?
И с какой стати вы объявляете FP и FEX исключительно ЦОДовыми решениями? «L2 роутинг» в том или ином виде в ближайшем будущем выйдет на очень широком спектра железа в качестве замены STP. FEX, насколько мне известно, в этом году выйдет под cat6500. Разве это не удобно, когда можно растащить линейные карты одного свитча по разным этажам здания, или даже в разные здания, при этом подцепив эти линейные карты сразу к двум настоящим свитчам без единой точки отказа в виде общего control plane?
Только вот ребята из HP не критиковали никого

Ну вот не надо говорить, что вы не работаете в HP — человек, пишущий из-под аккаунта менеджера по маркетингу, которого пригласил сотрудник HP (написавший статью) :)
Есть, кстати, у многих вендоров technical marketing подразделения. Это люди, более-менее умеющие оперировать умными словами и отвечать на шаблонные вопросы по разным технологиям (но по более сложным моментам им приходится запрашивать технарей), но обладающие недостаточным опытом для реального проектирования или сопровождения систем. Собственно, потому у тех, кто слушает их вдохновенные песни, уши в трубочку сворачиваются. Они не уникальны для HP, у любого вендора такие есть.
Очень жаль, что сотрудники этого самого technical marketing посылают потенциальных клиентов в гугл вместо того, чтобы кратко ответить на простейшие вопросы. Неужели вы настолько плохо знаете решение, которое пытаетесь впаривать?

Серьезно — побольше конкретики и поменьше балаболства. Вы умудрились за 20 минут написать два поста, не содержащие ничего кроме пустоты. Пожалуйста, не заставляйте меня тратить свое время на чтение третьего, где вы снова попытаетесь достать письку и хвастаться ей. Сотрудник вендора не должен себя так вести.
Дмитрий,

у настоящего мужичины всегда есть, что сказать и слово его что-то значит. У Вас с этим явно сложности и сложности с психикой (явно что-то не так — культура общения еще не отменялась: ведь Вы когда регистрировались, что то там заполняли — не помните?). Этот Ваш пост похож больше на истерику, что не свойственно мужчине.

Вы совершенно правы — пишу я из под «аккаунта менеджера по маркетингу», так как у меня доступа нет соотвествующего на Харбре для того, чтобы оставлять комментарии: пришлось попросить мне его дать. Дмитрий, Ваша логика мне больше напоминает логику моих младших детей (им, кстати, годик и три) — если бы я был автор, то мне бы, поверьте, «карму» подняли, чтобы Вам ответить. Поэтому все Ваши домыслы — оставьте для девиц.

Дмитрий, если FEX работает на кольцевых толопогиях для кампусных решений- то я китайский летчик. И если Вы хотите в общении по этой статье найти ответы на все Ваши жизненные проблемы и вопросы — Вы явно выбрали не то место и я не Ваш лечащий доктор.

Дмитрий, к моему глубокому сожалению, я еще не потерял своего воспитания (Вы я вижу лет на 15-ть меня моложе и терять Вам нечего), поэтому все Вашы посты с «меряниями чем-то, впариванием чего-то» я буду просто игнорировать. Это мое право.

Вот, наконец-то настоящий переход на личности, венец бессодержательного спора :)
у настоящего мужичины всегда есть, что сказать и слово его что-то значит.

Ну то есть вы причисляете себя к настоящим мужчинам — похвально. Одна проблема: с точки зрения формальной логики вы не соответствуете собственному критерию «настоящего мужчины». Так как прямо сейчас я читаю еще один пост без всякого содержания :(
Этот Ваш пост похож больше на истерику

Просто посчитайте число допущенных вами опечаток с начала комментария до этой фразы… А между прочим, предыдущие ваши комментарии были куда грамотнее написаны. Это говорит о сильном нервном напряжении, из-за которого дрожат руки и теряется внимательность.
у меня доступа нет соотвествующего на Харбре для того, чтобы оставлять комментарии

Так кто мешает вам получить аккаунт через песочницу? Если человеку есть что сказать, то это проще простого. Проверено лично.
если FEX работает на кольцевых толопогиях для кампусных решений

К сожалению, кольцевые топологии сам по себе не работают в кампусных сетях. Ваша аргументация «дорого» противоречит действительности (если, конечно, делать по-человечески и не сводить сотни единиц оборудования, раскиданного по гектару площади, в одну точку).
FEX — пример того, как один свитч можно растащить по частям одновременно по разным стойкам, этажам, зданиям — с единой точкой конфигурирования и при этом с полным резервированием как железа, так и control plane (чего нет при задействовании любого вида стеков). Вы просили аналоги каких-то технологий? Вот и я прошу. Разве нельзя?
Дмитрий, к моему глубокому сожалению, я еще не потерял своего воспитания

К не меньшему сожалению, вы потеряли самооценку, раз мои совершенно невинные и написанные без малейшего желания обидеть кого-либо комментарии настолько вас травмировали. В принципе, эти довольно типично для людей в вашем возрасте.

Я проигнорирую следующий написанный вами бессодержательный комментарий. Как-то скучно стало. Если у вас будет что сказать — продолжим дискуссию. Я много вопросов назадавал…
Во-первых, эта статья была про High Level Design сетей кампуса, а не о построении ЦОД, Это уже другая ветка и Вы предлагаете мне вместо автора написать Вам ответ на эти вопросы?

А было бы очень интересно почитать, честное слово. Больше статей по сетям, хороших и разных!

… они не думали о том, что нужно объяснить Вам разницу решений Cisco, Juniper & HP. Не думаю, что это было бы корректно в статье любого вендора вообще.

А можно ли где-нибудь найти подобное сравнение? Или единственный способ — самому штудировать вендорские проспекты? Так там ведь сплошной маркетинг и bullshit bingo, фиг разберёт, кто лучше и чем.

/offtop: Ответьте, пожалуйста, на личное сообщение. :)
А можно ли где-нибудь найти подобное сравнение?

А что сравнивать?
Есть куча документов вроде JunOS для цискаря (шикарный материал кстати). Есть куча поддерживаемых везде протоколов, с некоторыми различиями в реализации у разных вендоров. А есть проприетарщина, и вот тут идет война, так как примерно любая проприетарщина — это одновременно и очень интересная для клиента технология, и мощный vendor lock-in. Скажем, тот же Juniper активно критикует TRILL и ему подобное, причина понятна: надо проталкивать свой QFabric и доказывать его превосходство над решением главного конкурента, а также новичка на ниве Ethernet.
Скрытый текст
Вот тут я апплодирую:
The problem that TRILL sets out to solve was relevant in the days of “switch when you can, route when you must”—a time when routing was so much more expensive than switching that ethernet networks had to be made as large as possible. Today, forwarding technology has advanced to the point where Ip packets can be forwarded as easily and efficiently as ethernet packets, so there is no need to maximize the scale of Layer 2 networks.

И у HP были доки по поводу «как цисководу общаться с нашим железом», тоже весьма высокого уровня.

Обычно вендоры в своих проспектах не врут, а недоговаривают. Потому да, тяжело понять основные недостатки. Так что имеет смысл изучать каждую из технологий в первоисточнике, а потом изучить мнение по этому вопросу как конкурента, так и всяких разной степени независимости блоггеров. А если удается самому поработать с конкурирующими технологиями в боевых условиях — вообще зашибись.
И речь даже не про технологии, а про архитектуры, реализуемые технологиями.
Скажем, HP явно считает, что один L2 сегмент, растянутый на сотню локаций, это круто, так как позволяет зачем-то гонять туда-сюда виртуалки почти без простоя. Допустим, у них есть развитые протоколы под это дело. Но это не отменяет того факта, что растянутые L2 сегменты — это что-то из лихих 90-х, и в современном мире так делать не принято. Но само собой, они найдут своего покупателя.
Cisco, поскрипывая зубами, выкатывает OTV и LISP, позволяющие устранить некоторую часть проблем, связанных с крупными широковещательными доменами между площадками (хотя у последнего куда больший потенциал в глобальных масштабах), а также FP — для L2 внутри площадок. Своего покупателя на эти технологии они тоже находят.
Juniper говорит «L3 — наше всё» (и этот подход мне наиболее близок).

Что вам больше нравится? Выбирайте.
Все же несколько разные вещи — L2 сегменты, растянутые между ЦОД-ами, сильно удаленными сайтами (помню этот пост HP про DCI) и L2, растянутый между соседними зданиями.

blog.ioshints.info/2011/10/l2-or-l3-switching-in-campus-networks.html

Obviously the MultiVRF-based path separation doesn’t scale, so it might be easier to go with the L2 design: terminate VLANs on the Cat6500, where you can use centralized packet filters, VRFs and even MPLS/VPN if you need to retain the path separation across the network core

Когда есть задача изоляции и нет бюджета, написанное выше вполне компромиссный вариант. А делать влан на свич для устранения риска петель и необходимости L2 линка между полуядрами (вариант без стека) не всегда удобно и возможно. Сколько угодно примеров, когда от пары до десятка пользовательских влан-ов растягивают по относительно незначительной территории. Это конечно не L2 через Wan.
Without MPLS/VPN you’re left with the Multi-VRF kludge (assuming your access layer switch support VRFs – not all do), where you have to create numerous P2P L3 interfaces (using VLANs) between access and core switches.

Иван забыл про существование новомодного EVN, который решает эту проблему (или тогда его еще не было?). И это не является проблемой, когда периметров два-три.
Кроме того, при звезде можно ограничиться дефолтным маршрутом на каждый из access-ов в каждом VRF.
И в любом случае, Иван рассматривал сценарий «в здании в любом случае стоит ядра, от них сеть расходится звездой до аксессов». Тут — да, есть отдельные случаи, когда растягивание одного VLANа на два коммутатора (доступа и соединенного с ним ядра) является оптимальным решением.
Нет не забыл, была :) Смотрите комментарии:

Ivan Pepelnjak01 November, 2011 20:10
EVN is just a configuration sugarcoat on top of the Multi-VRF kludge. You still have to run a separate VLAN and a separate routing protocol for each VRF.
И кстать, что касается колец. Тут уже писали про промышленные предприятия и их сети. Сама циска в своих лучших практиках для этого типа сетей на доступе (по крайней мере для производственных зон) рисовала кольца с STP.

Ethernet-to-the-Factory 1.2 Design and Implementation Guide

www.cisco.com/en/US/docs/solutions/Verticals/EttF/EttF_bk.pdf

с. 194 например. Да и вообще колец на схемках там хватает.

Вы конечно скажете, что это 2008 год. Но.

1. Это просто что попало под руку. Не удивлюсь, если этот документ есть существенно новее и там будет почти тоже самое. Или его нет и циска для данных сетей считает актуальным его же.

2. Сети такого уровня не переделываются каждый год. И даже каждые 5 лет. Вы вот тут хабы вспоминали. В одной сети промышленной, к которой я имею отношение, последний хаб убрали меньше месяца назад. И это при том, что так вообще оборудование более-менее современное (циска в том числе). Специфика. Коаксиал лежит, работает надежно, паре-тройке хостов нужный сервис обеспечивает. Класть через цех с кучей опасных факторов новый кабель (хоть какой) никто не будет, если работает старое. Сгорел хаб? Поменяли. На производстве как правило запасаются зип-ом надолго. Сегодня внедрят, то, что вы называете модно и трендом? Пройдет 5 лет и это будет вчерашний день, но там это никто менять не станет без особых серьезных причин. И опять будут «арифмометры»?

Нортел же был в свое вермя знатной вещью. И даже для метроезернет у него были свои, имхо весьма интересные решения. Опять же знаю сети, где это работает до сих пор. А зачем менять, если оно работает и обеспечивает нужные показатели?

Эта же дока, 24-я страница.
Ну и:
The Cisco EttF 1.1 solution is designed for small (less than 50 Ethernet endpoints or nodes) to medium (less than 200 Ethernet nodes) manufacturing environments.

STP там лишь как один из вариантов рассматривается.
А зачем менять, если оно работает и обеспечивает нужные показатели?

С тех пор многое изменилось. В случае кампусных сетей — есть решения, позволяющие сети не вставать раком, если Баба Зина нечаянно выдернула железку из розетки. В случае операторских сетей — растет трафик, растет количество предоставляемых сервисов (тот же IP VPN — золотая жила), растут требования…
Тот, кого устраивают показатели отстроенной 10 лет назад инфраструктуры, не претендует на лидерство в современном мире. Его инфраструктура неэффективна с точки зрения современных задач.
Опять же знаю сети, где это работает до сих пор.

Ну у нас на одном из важных каналов последние пару недель ближе к вечеру начинаются жестокие потери. Провайдер винит ОПМ в захолустье. ОПМ подозревает перегрузку какого-то из своих каналов. Именно так — подозревает, так как, похоже, у него нет средств для мгновенного подтверждения данной гипотезы. Через несколько дней будут выезжать на место и смотреть…
Вот он, метроезернет во всей красе :) Ни средств мониторинга, ни механизмов приоритезации трафика для ну очень назойливого и нервного клиента…
ответил Вам лично.
Ответ не пришёл. В диалогах пусто.
Традиционно холиварная тема кольцо против звезды

forum.nag.ru/forum/index.php?showtopic=67382&st=0

«Без флуда — кто-то может знает сокровенную тайну, почему крупные федеральные игроки на доступе используют кольца (RSTP и т.п.)? Вроде денег достаточно, чтобы нормально положить волокно до дома и запуститься по звезде. „

И дальше флейм на 14 страниц.

Ответ прост — всем плевать на стабильность сети у хомячков :) Там не будет проблемой гигабитное кольцо из десятка домов с тем же гигабитным подключением каждого дома, и аварии раз в пару недель.
Не думаю, что вы правы и «на стабильность сети у хомячков» всем наплевать. Конкуренция на рынке жесткая и если вы сделали плохую сеть или продали плохой сервис, к вам больше не придут — потеряете деньги, а на это продавцам точно не наплевать :)

Как правило, все упирается в бюджет: вот есть (или «можем достать») столько денег, их надо потратить и сделать за эти деньги best. В маленьких масштабах убедить добавить еще чуть денег и построить по-другому можно. В больших — не реально, совсем другие факторы играть начинают…
Итого, STP с его вариациями рано на свалку. Технология рабочая и своя ниша у нее есть.
По крайней мере — пока. Я кстать дома — обычный хомячок обычного провайдера. Раз в пару недель у меня аварий нет. Есть пару раз в год.
STP, как написал автор, не единственный и не лучший сегодня вариант для кольца. У меня дома тоже лежит витая пара от кольца домовых свичей. За три года чтобы не было доступа в Инет не замечал ни разу. Иногда есть проблемы, некоторые сайты буржуйские не всегдя работают, но это уже проблемы другого рода…
Ответ, на мой взгляд, очень прост — деньги. Кейс на новую сеть должен сходиться за пять лет. Если длиннее — денег, скороее всего, никто не даст. А в нашей стране и на пятилетний кейс денег найти трудно, инвестороы желают, чтобы кейсы сходились за 3- максимум 4 года. Километр оптики стоит дорого положить и еще дороже обслуживать. Особенно, если ты не являешься владельцем канализации. Поэтому и считают на доступ кольца — в реальной жизни OPEX существенно меньше и есть резервирование. Учитывая, что в больших сетях от 60 до 90 % денег в доступе, такое техническое рещение вытягивает кейс.
Only those users with full accounts are able to leave comments. Log in, please.