RKE2项目中Flannel网络插件带宽限制功能的修复与验证

背景介绍

在Kubernetes集群中，网络带宽限制是一个重要的资源控制功能。RKE2作为一款轻量级的Kubernetes发行版，默认使用Flannel作为容器网络接口(CNI)插件。近期在RKE2 v1.31版本中发现了一个关于Flannel网络带宽限制功能失效的问题，开发团队通过升级相关组件解决了这一问题。

问题现象

在早期版本的RKE2(v1.31.7之前)中，当用户尝试通过Pod注解设置带宽限制时：

annotations:
  kubernetes.io/ingress-bandwidth: "1M"
  kubernetes.io/egress-bandwidth: "1M"

系统无法正确应用这些带宽限制。具体表现为：

1. CNI配置文件(10-flannel.conflist)中缺少带宽插件配置
2. Linux流量控制(tc)命令输出中看不到相应的令牌桶过滤器(tbf)队列规则
3. 实际网络测试(iperf3)显示带宽远高于限制值

技术分析

这个问题源于Flannel和相关CNI插件的版本兼容性问题。带宽限制功能需要以下组件协同工作：

1. Flannel CNI插件：负责将带宽限制参数传递给底层网络配置
2. bandwidth插件：实际实现带宽限制功能的CNI插件
3. 内核流量控制机制：最终执行带宽限制的Linux内核功能

在问题版本中，虽然Pod注解正确设置了带宽限制，但由于组件版本不匹配，这些参数没有被正确传递和处理。

解决方案

RKE2团队通过升级以下组件解决了这个问题：

1. 将Flannel升级至v0.26.5-build20250306版本
2. 更新CNI插件至v1.6.2-build20250306
3. 升级Calico组件至v3.29.2-build20250306(用于Canal网络模式)

这些更新确保了带宽限制参数能够正确地从Pod注解传递到内核网络栈。

验证结果

升级后验证显示带宽限制功能正常工作：

1. CNI配置文件中正确包含了bandwidth插件：

{
  "type":"bandwidth",
  "capabilities": {
    "bandwidth": true
  }
}

2. tc命令输出中可以看到为每个veth接口创建的tbf队列规则：

qdisc tbf 1: dev vethf23ccdcd root refcnt 3 rate 1Mbit burst 21474835b lat 4.12e+03s

3. 实际带宽测试(iperf3)结果显示带宽被正确限制在1Mbps左右：

[  5]   0.00-90.00  sec  11.8 MBytes  1.10 Mbits/sec

技术细节

带宽限制在Linux系统中主要通过以下机制实现：

1. 令牌桶过滤器(tbf)：内核提供的流量整形机制，确保发送速率不超过指定值
2. veth设备对：容器网络使用的虚拟以太网设备对
3. CNI插件链：多个CNI插件协同工作，Flannel负责基础网络配置，bandwidth插件负责限制配置

当这些组件正确配合时，Kubernetes的带宽限制注解才能最终转化为有效的网络控制策略。

总结

这次更新解决了RKE2中一个重要的网络资源控制功能问题，确保了用户能够通过标准的Kubernetes注解对Pod网络带宽进行有效限制。对于需要精确控制网络资源使用的生产环境，及时升级到包含此修复的版本非常重要。

系统管理员可以通过检查CNI配置文件和tc命令输出来验证带宽限制功能是否正常工作，并使用iperf3等工具进行实际带宽测试。这一改进使得RKE2在资源隔离和控制方面更加完善，特别适合多租户和资源敏感的应用场景。