Stress-ng在NVIDIA Jetson AGX Orin上的CPU节点离线问题分析与解决

问题背景

在NVIDIA Jetson AGX Orin开发套件（ARM64架构，Ubuntu 22.04系统）上运行stress-ng进行NVMe压力测试时，发现当系统处于节能模式（部分CPU核心离线）时，测试会出现无限挂起现象。具体表现为使用--aggressive参数时，stress-ng会尝试启动与物理CPU数量相同的stress worker（12个），而实际上只有部分核心在线（默认8个），导致测试无法正常完成。

技术分析

根本原因

1. CPU核心状态不匹配：Jetson AGX Orin默认使用nvpmodel的节能模式，该模式下只有部分CPU核心在线（如8个），而stress-ng默认会根据_SC_NPROCESSORS_CONF获取系统配置的CPU总数（12个）来创建工作线程。

2. aggressive模式下的死锁：在修复前版本中，当尝试设置离线CPU核心的频率时，代码存在一个整数下溢错误，导致陷入无限循环。这个问题在commit a7234c10fa87a98c57c62e8a0af6576a54bc7ccb中被修复。

3. 资源分配策略：stress-ng默认会尝试在所有配置的CPU上分配工作负载，而不考虑实际在线的CPU核心数，这在异构计算环境中可能导致问题。

解决方案

临时解决方案

1. 使用在线CPU核心数：通过--chmod -1参数强制stress-ng只使用当前在线的CPU核心数：

   sudo stress-ng --verify --timeout 10 --temp-path /mnt/nvme0n1p1/bg-temp/ \
   --hdd-opts dsync --readahead-bytes 16M -k --chmod -1
   

2. 切换电源模式：使用NVIDIA提供的nvpmodel工具切换到全核心模式：

   sudo nvpmodel -m 3
   

永久解决方案

项目维护者Colin King提交了两个关键修复：

1. 修复了aggressive模式下进程等待逻辑的问题
2. 修复了CPU频率设置时的整数下溢错误（commit a7234c10）

用户应更新到最新版本的stress-ng以获取这些修复。

最佳实践建议

1. 在异构计算环境中：建议总是使用-1参数来指定使用在线CPU核心数，特别是在像Jetson这样支持动态核心调度的平台上。

2. 调试技巧：当遇到类似问题时，可以组合使用以下参数进行诊断：

   • --vmstat 1：监控系统活动
   • --klog-check：检查内核日志错误
   • -v：启用详细输出模式

3. 性能测试注意事项：在Jetson平台上进行性能测试时，应注意当前的电源模式设置，不同模式会显著影响性能表现和测试结果的可重复性。

结论

这个案例展示了在异构计算平台上进行压力测试时可能遇到的典型问题。通过社区协作和及时的问题反馈，不仅解决了特定平台上的兼容性问题，也改进了stress-ng在动态CPU配置环境下的健壮性。对于嵌入式开发者和性能测试工程师而言，理解底层硬件特性和工具行为至关重要，特别是在资源受限或配置多变的嵌入式环境中。

建议所有在类似平台上使用stress-ng的用户更新到包含这些修复的最新版本，以确保测试的可靠性和准确性。