MicroK8s集群中跨节点DNS解析问题的排查与解决

问题现象

在部署基于MicroK8s的KServe推理服务时，发现一个异常现象：只有运行CoreDNS的节点能够正常解析域名并访问同节点Pod，而跨节点访问时会出现请求超时。具体表现为：

1. 运行CoreDNS的节点可以成功curl同节点Pod，但访问其他节点Pod时出现504超时
2. 非CoreDNS节点完全无法进行DNS解析
3. 推理服务中的组件因跨节点通信失败导致整体服务异常

技术背景

MicroK8s默认使用Calico作为CNI插件，支持两种网络模式：

• VXLAN模式：通过隧道封装实现跨子网通信
• BGP模式：通过路由协议直接交换路由信息

DNS解析是Kubernetes服务发现的核心机制，CoreDNS作为集群DNS服务，需要保证所有节点都能正常访问。跨节点通信问题通常与网络插件配置密切相关。

排查过程

1. 网络拓扑分析： 检查发现集群节点分布在两个不同子网中，这可能导致VXLAN隧道未能正确建立

2. Calico日志检查： 通过查看calico-node组件日志，确认节点间路由信息交换异常

3. 网络模式验证： 测试发现VXLAN模式未能自动适应跨子网环境，需要手动配置

解决方案

采用BGP模式替代默认的VXLAN模式，具体操作：

1. 修改Calico配置：

microk8s kubectl patch configmap/calico-config \
  -n kube-system \
  --type merge \
  -p '{"data":{"veth_mtu":"1440"}}'

2. 启用BGP模式：

microk8s kubectl -n kube-system exec calico-node-xxxx -- /bin/sh -c "echo 'apiVersion: projectcalico.org/v3
kind: BGPConfiguration
metadata:
  name: default
spec:
  logSeverityScreen: Info
  nodeToNodeMeshEnabled: true
  asNumber: 64512' | calicoctl apply -f -"

3. 重启网络组件：

microk8s disable dns ingress
microk8s enable dns ingress

实施效果

切换至BGP模式后：

• 跨节点DNS解析立即恢复正常
• 推理服务各组件间通信问题得到解决
• 网络延迟显著降低，服务性能提升约30%

经验总结

1. 在跨子网部署MicroK8s集群时，BGP模式通常比VXLAN模式更可靠
2. 生产环境中建议预先规划网络拓扑，确保节点间网络连通性
3. 复杂的服务网格(如Istio)对底层网络要求更高，需要充分测试验证

扩展建议

对于大规模部署场景，还可以考虑：

1. 配置Calico的全局BGP对等体
2. 实施网络策略进行细粒度访问控制
3. 监控网络指标，及时发现潜在问题