Проблемы с DNS в Kubernetes. Публичный постмортем

Судя по описанию проблему, вы спокойно можете воспроизвести ее:

• Запустить в кластере под с dnsperf: https://github.com/guessi/docker-dnsperf (или любым другим подобным ПО)
• Скейлить coredns/kube-dns в кластере вверх и вниз
• Смотреть логи kube-proxy
• Смотреть состояние conntrack: conntrack -L на машинах фильтруя по адресам подов dns и dnsperf

Данный способ будет корректным, так как в conntrack будет минимальное количество записей связанных с данным подов dnsperf'а, так как src и sport будет один и тот же, при этом в качестве dst будут поды dns.

Ну и на тестовом сетапе вы сможете разобраться более глубоко в проблеме и решить первопричину.

Тут в диагностике не сильно поможет какой-нибудь while true; do host test.com <DNS_POD_IP>, так как в этом случае с большой вероятностью наплодится большое количество записей в conntrack и отдебажить будет куда сложнее.