K3s集群中Pod网络连接问题的分析与解决

问题背景

在使用K3s搭建Kubernetes集群时，用户经常遇到Pod无法访问外部网络的问题。具体表现为Pod内部无法解析域名、无法ping通外部地址或无法通过curl/wget访问互联网资源。这类问题通常与集群的网络配置、DNS解析或防火墙设置有关。

典型症状

1. Pod内部无法解析域名：执行ping google.com返回"bad address"错误
2. 无法访问CoreDNS服务：无法ping通集群DNS服务IP(如10.43.0.10)
3. CoreDNS日志显示大量连接Kubernetes API失败的记录
4. 手动指定DNS服务器后网络访问恢复正常

根本原因分析

1. CoreDNS配置问题

默认情况下，K3s会为Pod配置搜索域(search domain)，包括：

• default.svc.cluster.local
• svc.cluster.local
• cluster.local

当Pod尝试访问"google.com"时，CoreDNS会依次尝试解析：

1. google.com.default.svc.cluster.local
2. google.com.svc.cluster.local
3. google.com.cluster.local
4. 最后才是google.com

这种设计虽然对集群内部服务发现很有帮助，但会影响外部域名的解析效率。

2. iptables规则冲突

K3s安装时会自动配置大量iptables规则来管理Pod网络。如果用户之前手动修改过iptables规则，或者系统中有残留的旧规则，可能会导致网络流量被错误地拦截或转发。

3. 网络插件问题

K3s默认使用Flannel作为网络插件，如果CNI配置不正确或网络插件未能正常初始化，会导致Pod网络功能异常。

解决方案

方案一：完全重新安装K3s

对于严重配置错误的情况，最彻底的解决方法是完全卸载后重新安装：

1. 使用官方卸载脚本清理K3s
2. 检查并清理残留的iptables规则
3. 重新安装K3s

这种方法可以确保所有网络配置恢复到初始状态。

方案二：调整CoreDNS配置

通过修改CoreDNS的Corefile配置可以优化域名解析行为：

.:53 {
    log
    errors
    health
    ready
    kubernetes cluster.local in-addr.arpa ip6.arpa {
      pods insecure
      fallthrough in-addr.arpa ip6.arpa
      fallthrough
    }
    forward . /etc/resolv.conf
    rewrite name regex (.*)\.cluster\.local\.$ {1}.
    cache 30
    loop
    reload
    loadbalance
}

关键修改点：

1. 添加fallthrough指令确保解析失败后继续尝试下一级
2. 使用rewrite指令优化.cluster.local域名的解析
3. 明确指定使用主机resolv.conf中的上游DNS服务器

方案三：Pod级别DNS配置

对于特定Pod，可以绕过集群DNS直接使用公共DNS：

apiVersion: v1
kind: Pod
metadata:
  name: my-pod
spec:
  dnsPolicy: None
  dnsConfig:
    nameservers:
      - 8.8.8.8
      - 1.1.1.1

最佳实践建议

1. 安装K3s前确保系统网络环境干净，没有冲突的防火墙规则
2. 定期检查CoreDNS日志，监控域名解析情况
3. 对于生产环境，考虑使用更精细的DNS策略而非完全依赖默认配置
4. 在Ubuntu系统上特别注意UFW防火墙与K3s的兼容性问题

总结

K3s集群中Pod网络连接问题通常源于DNS配置或网络规则冲突。通过系统性地检查CoreDNS配置、清理网络规则或完全重新安装集群，可以有效解决这类问题。理解Kubernetes网络模型和DNS解析机制对于诊断和解决此类问题至关重要。