K3s双栈网络配置中节点IP地址设置问题解析

在Kubernetes集群部署中，双栈网络配置是一个常见的需求，特别是在K3s轻量级Kubernetes发行版中。近期有用户反馈在K3s v1.31.4+k3s1版本中遇到了双栈网络配置问题，具体表现为节点状态中无法正确显示IPv4和IPv6双地址。本文将深入分析这一问题的原因及解决方案。

问题现象

当用户尝试在K3s中配置双栈网络时，通过配置文件指定了IPv4和IPv6地址：

node-ip: 192.168.2.129,fd9d:7a72:44eb:a:a236:9fff:fe18:55fb

然而，节点状态中仅显示了IPv4地址，IPv6地址未被正确识别和显示。这直接影响了依赖节点IP地址的网络组件（如Cilium）的正常工作。

根本原因分析

经过深入调查，发现问题根源在于K3s内置的Cloud Controller Manager（CCM）功能被禁用。K3s提供了一个嵌入式的CCM存根实现，负责以下关键功能：

1. 根据--node-ip和--node-external-ip参数设置节点的InternalIP和ExternalIP地址字段
2. 管理节点相关的网络配置

当用户禁用了内置CCM（通过disable-cloud-controller: true配置）且没有部署替代的外部CCM时，节点IP地址的自动设置功能将失效。这是K3s设计上的预期行为，而非软件缺陷。

解决方案

针对这一问题，有以下两种解决方案：

方案一：启用K3s内置CCM

最简单的解决方案是不要禁用内置CCM。移除配置中的disable-cloud-controller: true选项，让K3s自动管理节点IP地址。

方案二：部署外部CCM

如果确实需要禁用内置CCM（例如在生产环境中需要使用特定云提供商的CCM），则需要：

1. 部署与基础设施匹配的外部CCM
2. 确保外部CCM正确配置了节点IP地址管理功能
3. 验证节点状态中的IP地址是否正确显示

配置建议

对于双栈网络配置，建议遵循以下最佳实践：

1. 确保所有IP地址都配置在同一网络接口上
2. 验证IPv6地址在系统层面已正确配置并可路由
3. 在K3s配置中明确指定双栈CIDR：

   cluster-cidr: 10.40.0.0/16,fd94:9bde:1ebb::/48
   service-cidr: 10.41.0.0/16,2001::1:0/112
   

4. 为TLS SAN配置添加所有可能的IP地址和DNS名称

故障排查步骤

当遇到节点IP地址显示问题时，可以按以下步骤排查：

1. 检查节点状态详细信息：

   kubectl get nodes <node-name> -o go-template --template='{{range .status.addresses}}{{printf "%s: %s\n" .type .address}}{{end}}'
   

2. 验证K3s服务日志中是否有相关错误：

   journalctl -u k3s -f
   

3. 确认网络接口配置：

   ip addr show
   

4. 检查CCM是否正常运行：

   kubectl get pods -n kube-system | grep cloud-controller
   

总结

K3s的双栈网络配置需要特别注意CCM的角色和功能。内置CCM负责关键的节点IP地址管理功能，禁用时必须提供替代方案。通过理解这一机制，用户可以避免常见的双栈网络配置问题，确保集群网络功能正常运行。对于生产环境，建议在修改关键配置前充分测试，并参考官方文档了解各组件间的依赖关系。