Comments 11
Спасибо за статью, до этого не видел статью Марата, тоже ознакомился.
Спасибо за статью, подача материала супер, прям читается легко
Все отлично, даже почти понятно) но ...
Не раскрыт вопрос че делать-то если все эти tcp flow /flowlet обернуты в UDP/VxLAN :) (а вдруг MPLSoverGRE?) ну или что там в оверлейной сети нахуевертили :)
Привет, я хз на самом деле. Так глубоко не копал. Anyway ответ будет скорее всего зависеть от конкретного набора вендор\железка\тип overlay... если пофантазировать то, кажется что для "простого" VXLAN/UDP - современные свичи (типа Arista 7280CR3 или Juniper QFX) умеют заглядывать внутрь инкапсуляции и хешировать по внутреннему 5-tuple. Но если твой оверлей завёрнут в MPLS-over-GRE-over-VXLAN (кто тебя так обидел?) - тут уже надо смотреть на DPI или flow-steering (https://docs.nvidia.com/networking/display/mlnxofedv583070lts/flow+steering) .
В идеальном мире - можно было бы использовать что-то вроде Geneve с метаданными о flowlet'ах прямо в заголовке. Но мы же живём не в идеальном мире :(
(P.S. Если у тебя есть реальный кейс - расскажи, вместе посмеёмся/поплачем)
Как правило, энтропия из inner пакета отражается в outer UDP source port (как минимум, для VXLAN и GENEVE) об этом соответственно должен позаботиться отправитель в момент, когда делает encap. Таким образом, андерлей может применять стандартные техники с ECMP и хешированием по 5-tuple. Условно говоря один поток overlay получит один хеш и пойдет по одному пути, а другой поток в другой путь.
Во-первых реального кейса нет, есть лаба и она на букву х но не «хорошая»
MPLS-over-GRE кто тебя так обидел?
это так tangent fabric делает больно но я не умею его готовит что б он так не делал (VxLAN нормально не умеет edge router - asr1091x , на нх денег нет)
Так то я только учусь, пробую всякое
В меру способностей и доступности железа на ebay
Насколько я понял ECMP балансировка происходит на Leaf коммутаторе соединенным с интернетом
Вопрос, а где в этой схеме находятся балансировщики L3/L4 и далее ALB?
Это какая-то отдельная стойка на входе в датацентр?
Привет. Да ну не, отдельная стойка принципиально не нужна (но я не могу запретить)
В целом не важно где именно находятся NLB\ALB хоть на отдельных стойках, хоть прямо на тех же Leaf-свичах, хоть в другом городе (не рекомендую). Главное, чтобы фабрика могла до них дотянуться по тем же принципам, что мы обсуждали: Anycast, BGP или другие "джентельменские соглашения" между железками.
Ну а дальше ты начинаешь смотреть конкретно для своего кейса. Важно ли тебе чтобы латенси от точки входа в фабрику до NLB был маленький? А есть ли физическая возможность NLB поставить "поближе" к Интернету? Если это железные балансировщики - это одно. Если речь про какие-то облачные решения, где NLB - это какой-то сервис который динамически размещается в тенанте клиента - цэ другое.
Ну а лиф-коммутаторы, конечно, здесь приведены для "упрощения" схемы. Когда стоит вопрос балансинга трафика между DC по каким-то "умным" алгоритмам (когда условный simple run bgp не справляется) лучше и юзать что-то поумнее коммутаторов (ну типа роутеры) - будем считать что это у меня заложено вот тут:
Вообще, главный посыл статьи - "серебряной пули нет" и "надо думать"
Положим, привычно человеку сквернословие, что ж "у всех свои недостатки".
Но здесь-то не "богатый внутренний мир" автора, в рамках его черепной коробки или страниц личного дневника, а предполагаются и читатели. Взялся статью написать - можно было и некоторые усилия приложить для очистки от словесной грязи. Неприятно.
ну вот нахуя столько мата в статье?
Как в датацентре доставить трафик до сервиса?