Bottlerocket项目中NFS服务器在高IO负载下的CPU软锁问题分析

问题背景

在Bottlerocket操作系统上部署基于内核的NFS服务器时，当通过本地临时存储进行大量IO操作时，系统会出现CPU软锁(soft lockup)问题。该问题表现为系统日志中出现"watchdog: BUG: soft lockup - CPU#7 stuck for 22s!"错误，同时伴随ENA网络适配器的TX未完成警告。

环境配置

该问题出现在以下环境中：

• Bottlerocket版本：bottlerocket-aws-k8s-1.25-x86_64-v1.26.1-943d9a41
• 实例类型：AWS i3en.2xlarge
• 内核版本：5.15.168
• 存储配置：使用本地NVMe闪存作为临时存储
• NFS服务器配置：基于Debian容器运行的内核NFS服务器，使用NFSv3协议

问题现象

当通过NFS共享本地临时存储并进行高负载IO测试(如使用bonnie++工具)时，系统会在1-2分钟内出现以下症状：

1. CPU软锁错误
2. ENA网络适配器TX操作未完成警告
3. 系统整体性能下降或挂起

技术分析

可能的原因

1. 内核NFS服务器与存储子系统交互问题：内核NFS服务器在处理高并发IO时可能与底层存储子系统产生资源争用。

2. ENA驱动问题：日志中出现的"TX hasn't completed"错误表明网络驱动可能在高负载下出现异常。

3. NVMe设备争用：本地NVMe存储与ENA网络适配器可能共享PCIe通道，导致资源争用。

4. 内核版本限制：5.15内核可能存在已知的NFS服务器性能问题。

解决方案探索

1. 调整NFS服务器配置：

   • 减少NFS线程数(从64降至8)
   • 禁用sync选项(适用于临时存储场景)

2. 系统参数优化：

   • 调整内核网络参数
   • 增加文件描述符限制
   • 设置适当的虚拟内存参数

3. 升级解决方案：

   • 升级到较新的Bottlerocket版本(如1.32)和较新内核(6.1+)
   • 使用Kubernetes 1.28+版本

经验总结

1. 环境差异性：该问题在某些AWS区域(如us-west-2b)出现，而在其他区域(如us-east-2)无法复现，表明可能存在硬件或底层基础设施差异。

2. 临时存储配置：Bottlerocket对临时存储挂载目录的限制可能影响性能优化，建议考虑放宽目录限制并支持更多挂载选项。

3. 监控与诊断：在高负载NFS场景下，应密切监控：

   • CPU使用情况(特别是内核线程)
   • 网络和存储IO性能
   • 系统日志中的异常警告

最佳实践建议

1. 对于高性能NFS服务器场景，建议：

   • 使用较新的Bottlerocket和内核版本
   • 考虑使用NFSv4协议
   • 合理配置NFS线程数

2. 对于临时存储优化：

   • 评估使用XFS文件系统的可能性
   • 考虑添加noatime和nodiratime挂载选项
   • 测试不同的文件系统创建参数

3. 系统级优化：

   • 合理设置网络缓冲区大小
   • 调整TCP拥塞控制算法
   • 配置适当的虚拟内存参数

该案例展示了在容器化环境中部署高性能存储服务时可能遇到的复杂问题，强调了系统级调优和版本选择的重要性。