K3s节点Internal-IP变更问题分析与解决方案

问题背景

在K3s 1.27及更高版本中，用户报告了一个关于节点Internal-IP地址变更的问题。具体表现为，当从K3s 1.24.6升级到1.27或更高版本后，节点的Internal-IP不再遵循配置文件中指定的IP地址，而是自动选择了其他IP地址（IPv6地址被优先用于工作节点，IPv4地址用于控制平面节点）。

问题现象

在K3s 1.24.6版本中，节点的Internal-IP能够正确显示为配置文件中指定的192.168.x.x地址范围。然而，在升级到1.28.12等更高版本后，工作节点的Internal-IP变成了IPv6地址（如2a00:da8:ffef:1301::），而控制平面节点则使用了46.29.103.x这样的公网IP地址。

根本原因分析

经过深入调查，发现这个问题与K3s的云控制器管理器（Cloud Controller Manager）配置有关。在用户配置中，使用了--disable-cloud-controller参数禁用了内置的云控制器。这个组件在K3s中负责根据--node-ip和--node-external-ip参数设置节点的IP地址。

在K3s 1.27及更高版本中，云控制器管理器的行为发生了变化。当禁用内置云控制器时，系统无法正确设置节点IP地址，导致节点IP自动选择机制优先选择了IPv6地址（对于工作节点）或其他可用IP地址（对于控制平面节点）。

解决方案

针对这个问题，有两种可行的解决方案：

方案一：重新启用内置云控制器

移除--disable-cloud-controller参数，让K3s使用内置的云控制器来管理节点IP地址。这是最推荐的解决方案，除非有特殊原因需要禁用内置云控制器。

方案二：显式指定kubelet节点IP

如果确实需要禁用内置云控制器，可以通过kubelet参数显式指定节点IP：

--kubelet-arg="node-ip=192.168.x.x"

这个参数需要同时应用于服务器（server）和代理（agent）节点。通过这种方式可以强制kubelet使用指定的IP地址，而不会自动选择其他IP地址。

最佳实践建议

1. 除非有特殊需求，否则不建议禁用内置云控制器
2. 在双栈环境中，确保正确配置IPv4和IPv6地址
3. 升级前充分测试新版本的行为变化
4. 对于生产环境，建议先在测试环境中验证配置变更

总结

K3s在1.27及更高版本中对节点IP地址管理机制进行了优化，这可能导致与早期版本不同的行为。理解云控制器管理器的作用以及如何正确配置节点IP地址，对于维护稳定的K3s集群至关重要。通过本文提供的解决方案，用户可以确保节点Internal-IP按照预期工作，避免因IP地址变更导致的组件稳定性问题。