Из жизни провайдеров: история одного факапа

[JDJ]

Попавшие под подозрение были немедленно отключены, на DNS сервере сброшен кеш (а то мало ли — может уже отравлен), полисер перезапущен. Загрузка канала пошла вверх, пинги на 8.8.8.8 стабилизировались на обычных 18.5 мс - вот оно счатье!

то есть вы региональный провайдер, у вас канал 80Гбит+, который могли положить десяток ваших абонентов, вы же так рассуждали в моменте?

[verwolfian]

Не совсем понял вашу мысль.
В статье упоминается, что ложился один из серверов, а не канал упирался в потолок.
Так-то и один абонент может сложить канал, если у него есть T-Rex (но у нас не сложит :) )

[JDJ]

я понял, вы нагрузку на железо называете, сложить канал и всплеск трафика, ясно.

к вашему посту отношения не имеет, просто вспомнил как в столичном провайдере инцидент решали два топ инженера, сидящие друг перед другом буквально, столи сдвинуты были и на одной и той же циске, одновременно меняли её настройки. минут 15 кряхтели пока тот что помоложе не увидел в логах что циску настраивает не только он. орали долго друг на друга xD

[MEGA_Nexus]

Но по итогу вышла крайне ненадежная вещь, и никакими обновлениями драйверов в Intel за столько лет ничего сделать так и не смогли. 

Но ведь вы сами написали, что проблема не в карте, а в значении размера кольцевого буфера.

На одном из портов одной из карт значение размера кольцевого буфера отличалось от соседних, и явно было не то, что настроено изначально.

Касательно же самой карты.

Просто похоронили x710, выпустив на замену линейку E810.

Есть 3 модели этой карты.

Ethernet Controller X710-TM4

Ethernet Controller X710-AT2

Ethernet Controller X710-BM2

Launch Date X710-BM2 - Q4’15, а двух других - Q3’19.

А Launch Date для E810 - Q3'20, т.е. всё выглядит как плановая смена линейки. Предыдущая линейка карт X710 отработала 5 лет и имела max speed 10 Gb\s, а на смену ей пришла линейка E810, где max speed 100 Gb\s, т.е. в 10 раз быстрее.

5 лет вполне нормальный маркетинговый жизненный цикл для линейки сетевых карт.

[verwolfian]

Но ведь вы сами написали, что проблема не в карте, а в значении размера кольцевого буфера.

Нет. Проблема именно в карте. Значение буфера слетело в ходе работы, никто его не менял. При попытке вернуть на нужное значение - система стала колом.

Как впоследствии выяснилось, такие глюки на x710 ловили и раньше, но было не так критично.

Что касается x520, то они на рынке уже 15 лет, и к ним как-то нареканий нет, в отличие от x710

[Gansterito]

А что за ПО на серверах? Голый Linux или какой-то специфичный linux-based дистрибутив? Функционал на серверах BRAS или что-то большее?

[verwolfian]

Голый линукс. Debian. bird, nftables.
Функционал border+NAT+BRAS, другой функционал на других серверах.

[naim]

а сколько pps в пике ? и nftables насколько производительней NAT делает чем классический iptables masquerade ?

[verwolfian]

а сколько pps в пике ?

5M

и nftables насколько производительней NAT делает чем классический iptables masquerade ?

Не знаю.
У нас давно CG-NAT используется, поэтому специально не меряли.
Те кто мерял - говорят, nftables выигрывает. Причем сильно.

[naim]

Спасибо огромное . А что то типа libreqos www.opennet.ru/opennews/art.shtml?num=65075 смотрели или не актуально ?

[verwolfian]

Смотрели, но не ставили.
CAKE и fq_codel можно и в голом линуксе прописать (прописывали, на первый взгляд ничего хорошего). Ну и питон с JS на бордере так себе... (Наверное :) )
А красивые картинки на таких скоростях неактуальны. Даже nfdump пришлось выкинуть.