Bottlerocket OS 1.22.0版本文件描述符泄漏问题深度解析

问题现象

在Bottlerocket OS升级到1.22.0-b6684b72版本后，用户发现系统文件描述符(node_filefd_allocated)使用量急剧上升，最终导致节点进入NotReady状态。这一问题主要影响Kubernetes 1.23至1.29版本的节点，而1.30版本则表现正常。

根本原因分析

经过深入调查，发现问题的根源在于Bottlerocket 1.22.0版本将Go编译器升级到了1.23版本。Go 1.23中存在一个已知问题：当os/exec调用失败时会导致文件描述符泄漏。在Kubernetes环境中，Calico网络插件的FlexVolume功能会触发kubelet不断重试执行操作，而SELinux策略会阻止这些执行，从而形成一个紧密的错误重试循环，每次失败都会泄漏一个文件描述符。

具体来说，当Calico的FlexVolume插件尝试执行时，SELinux会拒绝kubelet运行该插件二进制文件的权限。Bottlerocket的SELinux策略设计上禁止执行未知二进制文件，这是出于安全考虑的设计选择。每次执行失败都会导致一个文件描述符泄漏，最终kubelet进程会耗尽系统的文件描述符资源。

技术细节

在受影响的节点上，通过检查/proc文件系统可以发现kubelet进程打开了异常数量的文件描述符：

423476 /proc/1984

而正常情况下，kubelet进程打开的文件描述符数量应该在几十个左右。通过日志分析可以看到如下错误信息：

FlexVolume: driver call failed: executable: /var/lib/kubelet/plugins/volume/exec/nodeagent~uds/uds
error: executable file not found in $PATH

同时SELinux的审计日志中也会记录相应的拒绝信息：

AVC avc: denied { execute } for pid=9751 comm="kubelet" name="uds"

解决方案

Bottlerocket团队已经发布了修复方案，主要包含两个层面的解决措施：

1. 短期缓解方案：

   • 对于使用Calico但未使用FlexVolume功能的用户，可以通过禁用FlexVolume来避免问题
   • 具体操作是修改Calico的Installation CRD，设置flexVolumePath为"None"
   • 然后重启calico-node DaemonSet

2. 长期修复方案：

   • Bottlerocket Core-kit v2.7.0中已将Kubernetes 1.23至1.29版本的构建工具链回退到Go 1.22.x
   • 这一修复已包含在Bottlerocket v1.23.0及后续版本中
   • 同时，Go官方也在1.23.x后续版本中修复了文件描述符泄漏问题

最佳实践建议

对于使用Bottlerocket OS的生产环境，建议采取以下措施：

1. 如果正在使用1.22.0版本，建议升级到1.23.0或更高版本
2. 如果暂时无法升级，对于使用Calico的环境，评估是否可以安全禁用FlexVolume功能
3. 监控节点的文件描述符使用情况，设置适当的告警阈值
4. 考虑将Kubernetes集群升级到1.30版本，该版本不受此问题影响

总结

这次事件展示了系统组件之间复杂的交互关系：Bottlerocket的安全增强(SELinux)、Go语言的运行时行为、Kubernetes的插件机制以及Calico的网络实现共同导致了这一问题的出现。通过社区的协作和开发团队的快速响应，问题得到了有效解决。这也提醒我们在进行系统升级时需要全面评估各组件版本间的兼容性，特别是在安全增强与功能需求之间取得平衡。