Calico双栈IPv6路由丢失问题分析与解决

问题背景

在使用Calico作为Kubernetes网络插件时，部分用户遇到了双栈网络环境下IPv6路由丢失的问题。具体表现为：在配置了IPv4/IPv6双栈的Kubernetes集群中，Pod的IPv4路由能够正常创建并保持，但IPv6路由在创建后很快被删除，导致IPv6网络通信失败。

环境信息

• Kubernetes版本：v1.29.5
• Pod CIDR：172.99.0.0/16（IPv4），2001:db8:42::/64（IPv6）
• Calico版本：v3.28.0
• 操作系统：Ubuntu 22.04
• 容器运行时：cri-docker

问题现象分析

通过分析Calico-node日志，可以观察到以下关键现象：

1. 初始阶段，Calico确实为Pod分配了IPv6地址（2001:db8:42:0:208b:133f:7967:ee05）
2. 但随后该IPv6地址被移除，仅保留了IPv4地址
3. 路由表中只能看到IPv4的路由规则，IPv6路由仅保留了链路本地地址（fe80::/64）

日志中显示的关键信息包括：

2025-02-26 08:33:16.449 [INFO][82] felix/int_dataplane.go 1891: Received *proto.WorkloadEndpointUpdate update from calculation graph msg=id:<orchestrator_id:"k8s" workload_id:"default/chenby-7975959574-n52d8" endpoint_id:"eth0" > endpoint:<state:"active" name:"calid2c5b465b5c" profile_ids:"kns.default" profile_ids:"ksa.default.default" ipv4_nets:"172.99.1.5/32" >

注意此处endpoint更新消息中已经没有了ipv6_nets字段，说明IPv6地址已被移除。

根本原因

经过深入排查，发现问题根源在于容器运行时配置不当。具体原因如下：

1. 当使用cri-docker作为容器运行时，如果没有显式启用IPv6双栈支持（通过--ipv6-dual-stack参数），Docker会默认禁用IPv6功能
2. 这种情况下，虽然Kubernetes和Calico会为Pod分配IPv6地址，但底层容器运行时并不支持IPv6网络
3. 当Calico检测到容器运行时实际上不支持IPv6时，会主动移除已分配的IPv6地址，导致IPv6路由丢失

解决方案

要解决此问题，需要确保容器运行时正确配置了IPv6双栈支持。对于使用cri-docker的场景，具体步骤如下：

1. 修改Docker配置文件（通常位于/etc/docker/daemon.json）
2. 添加或确认包含以下配置：

{
  "ipv6": true,
  "fixed-cidr-v6": "2001:db8:42::/64"
}

3. 重启Docker服务
4. 确保kubelet启动参数中包含--ipv6-dual-stack=true

对于其他容器运行时（如containerd），也需要确保其IPv6支持已正确配置。

验证方法

问题解决后，可以通过以下方法验证IPv6路由是否正常工作：

1. 检查Pod的网络接口是否同时拥有IPv4和IPv6地址

kubectl exec <pod-name> -- ip a

2. 检查节点路由表是否包含Pod的IPv6路由

ip -6 route | grep <pod-ipv6>

3. 测试Pod间的IPv6连通性

kubectl exec <pod1> -- ping6 <pod2-ipv6>

总结

Calico双栈IPv6路由丢失问题通常与底层容器运行时的配置有关。在部署双栈Kubernetes集群时，必须确保所有组件（包括容器运行时）都正确配置了IPv6支持。特别是使用cri-docker时，需要显式启用IPv6功能并配置适当的IPv6 CIDR。通过系统性的配置检查和验证，可以有效解决此类网络问题，确保双栈环境的稳定运行。