RKE项目中Calico网络组件高CPU负载问题的分析与解决

问题背景

在RKE（Rancher Kubernetes Engine）项目部署的Kubernetes集群中，用户报告了Calico网络组件导致系统CPU负载过高的问题。该问题主要出现在Ubuntu 20.04操作系统环境中，表现为Calico组件不断输出错误日志并消耗大量系统资源。

问题现象

用户观察到Calico组件持续输出以下关键错误信息：

libbpf: Error loading .BTF into kernel: -22.
Error: failed to open object file
, will proceed anyway.
2024-08-09 08:53:08.290 [WARNING][53] felix/int_dataplane.go 1747: failed to wipe the XDP state error=failed to load BPF program (/usr/lib/calico/bpf/filter.o): stat /sys/fs/bpf/calico/xdp/prefilter_v1_calico_tmp_A: no such file or directory
libbpf: Error loading BTF: Invalid argument(22)
libbpf: magic: 0xeb9f

这些错误不仅导致日志文件快速增长，更重要的是引发了Calico组件的高CPU使用率和内存泄漏问题，严重时甚至会导致整个集群出现性能问题或不可用状态。

根本原因

经过分析，这个问题源于Calico项目中一个已知的BPF（Berkeley Packet Filter）相关bug。具体来说：

1. Calico在尝试加载BPF程序时遇到了内核兼容性问题
2. 错误处理机制不完善，导致组件不断重试失败的操作
3. 资源释放不完全，最终导致内存泄漏和CPU使用率飙升

该问题在Calico项目的3.27.3和3.28.0版本中确认存在，但在后续的3.27.4和3.28.1版本中得到了修复。

影响范围

受影响的RKE版本包括：

• RKE 1.29.x系列（使用Calico 3.27.3）
• RKE 1.30.x系列（使用Calico 3.28.0）

受影响的操作系统主要是Ubuntu 20.04（内核版本5.4.0-192-generic），但其他使用相同Calico版本的环境也可能遇到类似问题。

解决方案

临时解决方案

对于需要立即解决问题的生产环境，可以采用以下临时方案：

1. 手动修改RKE配置文件中的系统镜像设置，将Calico相关组件升级到修复版本
2. 定期重启Calico DaemonSet以释放积累的资源

长期解决方案

Rancher团队已经将修复版本的Calico集成到以下RKE版本中：

• RKE 1.28.13+rke2r1
• RKE 1.29.8+rke2r1
• RKE 1.30.4+rke2r1
• RKE 1.31.0+rke2r1

这些修复版本将通过Rancher 2.8.8和2.9.2版本正式发布。建议用户在官方发布后尽快升级到这些版本。

最佳实践建议

1. 对于生产环境，建议定期检查Calico组件的资源使用情况
2. 在升级前，先在测试环境中验证新版本的稳定性
3. 考虑设置资源限制和监控告警，以便及时发现类似问题
4. 对于关键业务系统，建议建立完善的备份和回滚机制

总结

Calico网络组件的高CPU负载问题是一个典型的软件兼容性问题，通过版本升级可以得到有效解决。Rancher团队已经积极响应并提供了修复方案。建议用户根据自身业务需求选择合适的升级时机，确保集群稳定运行。