Все мы знаем, что в сети постоянно происходит какая-то дичь чертовщина. Этот случай как раз про то. Есть одинаковые виндовые сервера, подключенные к коммутаторам Cisco и Huawei. Есть хранилище данных, куда надо хорошенечко так что-нибудь залить. И вот ведь какая незадача. Сервер, подключенный к Cisco, делает это быстро и как два пальца об асфальт. А сервер, подключенный в Huawei, начинает что-то там копировать (причем медленно), проходит несколько минут, и копирование вываливается в ошибку. Досадно. Дело за малым: узнать кто виноват и что делать?

Из исходных данных есть доступ к телу сервера, коммутаторам, но нет к хранилищу. Где и в чем проблема совершенно не ясно. Пакеты ведь ходят, копирование идет, сеть значит работает исправно. Понятно, что сначала была проверена коммутация, CRC, дропы, всякие вланы, маршрутизация, балансировки, трассировки и вся прочая банальщина. Везде все красиво. По результатам диагностики дело было переквалифицировано из разряда «щас быстренько починим» в «неведомую хрень». Поэтому дальше действует правило: в любой непонятной ситуации – снимай штаны и бегай дамп.

Самым логичным шагом будет сравнить, как выглядят процессы копирования на здоровом и проблемном серверах. Благо доступ на сервера есть, можно удампиться по самое не хочу.

Смотрим дамп процесса проверки доступа к хранилищу в нормальной ситуации (я его немного подзапорол, поэтому есть черные строчки, по факту там все хорошо).

В адресации 10.х – сервер. 192.168 – хранилище.

Никаких аномалий, быстренько прошлись по классике TCP.

Сервер инициализирует подключение. Идут SYN, SYN-ACK, ACK

Потом сделали TLS-ные дела.

И разошлись миром, сервер заканчивает сессию: идут FIN, FIN-ACK, ACK.  

 

А теперь смотрим на проблемном. Выглядит как полное очко немного плохо.

Все проблемки начинаются в момент посылки сервером завершающего TCP-сессию пакета с флагом FYN (12 пакет). После чего в течение почти 30 секунд летит веселый разноцветный фарш и все как-то неуклюже завершается через аварийную процедуру RST.

Из самого очевидного - абсолютно не понятно поведение хранилища, почему это оно не отвечает на FIN своим FIN-ACK, молчит несколько секунд, а потом в 16 пакете вообще делает переповтор 11 пакета.

Дальше было изнурительное деланье ума, результатом которого стало гениальное, не меньше: так хранилище не получило FIN-пакет номер 12! Он, выходит, не дошел, потерялся, испарился.

И в этот момент со словами «ага, я так и знал», можно было бы пуститься вскачь проверять счетчики CRC и output drops на портах коммутаторов. Явно где-то у нас недостача образовалась. Но, увы, это уже было сделано в предыдущие пару дней и никаких хищений выявлено не было. Пакеты где-то отбрасываются, но где?

 

Если до ночи смотреть на дамп, то можно заметить, что пакеты с FIN от сервера вылетают длиной 54 байта. Т.е. ооочень маленькие. Прям меньше меньшего.

Для передачи по Ethernet положен минимальный размер 64 байта, в которые входят 4 байта FCS. Для этого сетевая карта добивает кадр кошачьим заполнителем (padding). По немолодому RFC 948 от 1985 года, заполнитель должен (should be, но не must) быть представлен в виде нулей.

Где-то там же пишут, что контрольная сумма считается по всему кадру, включая заполнитель. И, что еще важно, заполнитель в пути уже не модифицируется, если длина кадра не меняется.

Идем теперь дампить на ближайший к серверу коммутатер, что он там видит и делает.

А происходит следующее. Т.к. сервер подключен тегированным портом, то он дополнительно навешивает заголовок 802.1q, который занимает 4 байта. Т.о. для того, чтобы добить кадр до минимальной длины остается добавить 2 байт заполнителя. Все хорошо.

Далее пакет улетает на коммутатор. Аплинк на коммутаторе нетегированный, поэтому для пересылки кадра дальше он изымает из него 4 байта заголовка 802.1q (там где влан живет). Но теперь пакет снова меньше минимально допустимой длины. Коммутатор берет и добавляет свой padding. Только вот он у него состоит не из нулей, а забит какими-то циферками.

 

Вот ровно в этом месте родилась теория, что при попадании такого пакета, который условно не соответствует RFC, происходит сброс пакета по полю контрольной суммы на одном из линков. В целом, на этот момент мало кто реагирует. Но есть, видимо, уникальные снежинки, которым это важно.

 

Как исправить заполнитель на хуавее я, конечно же, не знаю. А когда не знаешь, что делать, переводи порт из транка в аксесс (на сетевушке сервера, естественно, тоже). В этом случае мы весь заполнитель формируем уже на сетевой карте, которая дампом ранее показала свою благонадежность в этом вопросе.

И получаем новую клиническую картинку

Весь заполнитель теперь формируется на сетевой карте и соответствует букве RFC. Хранилище довольно и трафик бежит.

Вот и вся магия.

Кстати, ровно этот же факт объясняет низкую скорость передачи. Пакеты с одними только ACK имеют маленькую длину, из-за чего имеют свойство теряться. Рассинхронизация и закрытие сессии через RST того же поля ягода. Сервер слал все сигнальные сообщения короткими пакетами по 54 байта, из-за этого ни одно не дошло до хранилища.

 

Собственно, не имея доступа к хранилищу и сети на том конце провода, можно только гадать о произошедшем. Но по собранным уликам можно со 100% вероятностью сделать вывод. Пакеты пропадали из-за неверного подсчета контрольной суммы FCS кадра на одном из узлов. И скорее всего этот узел – сетевая карта хранилища.

Контрольная сумма считается по битам, представленным в пакете. Из головы ничего не берется. Но в случае, когда заполнитель в кадре отличается от нулей, могут происходить такие эксцессы. Казалось бы, коммутатор хуавей виноват, что в качестве заполнителя пихает какие-то рандомные биты. Но в RFC-то написано should, а не must. Так что виновником назначаем сетевую карту, которая считает FCS по неверному алгоритму.

А почему же сервер, подключенный к Cisco работает нормально?  Вероятно, потому что циска эту фичу по многочисленным заявкам в своих софтах устранила. Вот бородатая статья, где исследуется подобная проблема.

https://www.cisco.com/c/en/us/support/docs/ios-nx-os-software/nx-os-software/200692-Troubleshoot-the-Corrupted-Ethernet-Pack.html

Чем руководствовались разработчики ASIC’ов циски и хуавея, почему им оказалось проще вместо нулей забивать кадр тарабарщиной – выяснить пока не удалось. Но причины явно веские. Скорее всего, это как-то связано с режимом коммутации на лету.

А какие еще решения могут быть у проблемы?

Самое банальное и надежное – обновить драйвер сетевой карты (той, что не видит короткие пакеты с кривым заполнителем). Например, для сетевушки HiSilicon Hi1822 такой фокус точно проворачивали, после чего FCS считается верно. Такая же проблема есть с сетевушкой Mellanox (но про нее мне достоверно ничего неизвестно).

 

А если доступа к сетевушке хранилища нет, и поменять дизайн сети, отказавшись от тегированных пакетов, тоже нельзя? В случае с TCP есть возможность докинуть в заголовок опций. Для Windows, например:

netsh interface tcp set global timestamps=enabled

Команда включает поддержку временных меток TCP (RFC 1323). Нам от этих меток ни тепло ни холодно. Нам балласт нужен.

Смотрим. До включения функции размер TCP-заголовка 20 байт

После включения приросло аж на 10 байт (точнее на 12). С лихвой перекрывает все потребности. Теперь минимальный пакет не 54 байта, а целых 66.

В линуксе эта опция вроде по умолчанию идет.

Но починить какой-нибудь ARP таким образом не удастся, там надо другие фокусы придумывать. Хотя опять-таки – чинить надо сетевую карту, все остальное подорожник разной степени убогости.

 

В общем, такие дела. Сети раз за разом находят новые места, где сломаться, а нам все пища для кропотливого обдумывания)