Не забывайте, что irq affinity можно навешивать не только на сетевухи, но и на storage девайсы
Новые сетевухи умеют `adaptive-rx`/`adaptive-tx`, совсем новые `rx-usecs-high`
NUMA лучше не interleave'ить, а использовать по назначению. Запустите N инстансов приложения. Каждое на своей ноде. Каждой свой CPU и память, а так же сетевуху (NUMA ноду для irq affinity через можно определить от /sys/class/net/eth*/device/numa_node) и свой набор IP'шников. Далее на вышестоящем балансере (я так пологаю IPVS) считать каждую NUMA-ноду за отдельный хост
Для файлсерверов очень опасна/proc/sys/vm/zone_reclaim_mode — важно, чтобы оно было выставленно в ноль
Уже не совсем в тему оптимизации производительности, а скорее ускореения пользователей — стоит поиграться с TCP congestion алгоритмами (Netflix написали свой оптимизированый для видео и их склиентов: cc_netflix) — щас говорят ещё модно CDG (упаковать его в dkms и проверить на паре фронтэндов займёт пол дня)
Если бы у вас были интерактивные штуки, а не видео, то было бы интересно поиграться с buffer bloat (sch_fq, tsq, bql, etc).
Ага. Скроллю, скроллю - думаю, может какие-то неожиданные тентакли у LXC выросли, или утилиту какую крутую написали отечественные сумрачные гении... ан нет. Тогда, собственно, зачем?
система легла от нескольких десятков тысяч заказов в день?! и над ней трудились пол-сотни человек? у нас пять человек разработчиков занимались системой с сотнями тысяч заказов в день. в каждом заказе — десятки позиций. и да, склад, кол-центр, доставка — всё было.
/sys/class/net/eth*/device/numa_node
) и свой набор IP'шников. Далее на вышестоящем балансере (я так пологаю IPVS) считать каждую NUMA-ноду за отдельный хост/proc/sys/vm/zone_reclaim_mode
— важно, чтобы оно было выставленно в нольethtool -k
(tso, lro,[rt]xcsum, etc) и почти всегда надо задирать ring buffer'а вethtool -g
lspci -t -vvv
(особо важно для 40G+)cc_netflix
) — щас говорят ещё модно CDG (упаковать его в dkms и проверить на паре фронтэндов займёт пол дня)Ага. Скроллю, скроллю - думаю, может какие-то неожиданные тентакли у LXC выросли, или утилиту какую крутую написали отечественные сумрачные гении... ан нет. Тогда, собственно, зачем?
всё ещё считаете себя профи?