Hyperfine 工具中如何追踪失败运行的次数

在性能测试工具 Hyperfine 的使用过程中，当被测命令以非零退出码终止时，用户往往需要了解具体是哪一次运行导致了失败。本文将深入探讨这一需求的技术背景和解决方案。

问题背景

Hyperfine 是一个命令行基准测试工具，它通过多次运行被测命令来获取稳定的性能数据。在实际测试中，被测程序可能会在某些情况下返回非零退出码，这时 Hyperfine 会立即终止测试并报告错误。

一个典型场景是测试一个会随时间推移而失败的Python脚本。例如，以下脚本会在文件修改时间超过1秒后返回退出码2：

import sys
from pathlib import Path
from time import time

if time() - Path(__file__).stat().st_mtime > 1:
    sys.exit(2)

当使用 Hyperfine 进行多轮测试时，用户不仅需要知道测试失败了，还需要了解失败发生在第几次运行，这对于评估被测程序的稳定性至关重要。

现有解决方案分析

目前 Hyperfine 的标准错误输出仅会报告命令以非零退出码终止，但不会显示具体的失败运行次数。不过，通过结合以下两个参数，用户可以获取完整的运行状态信息：

1. -i/--ignore-failure：忽略失败继续执行所有测试轮次
2. --export-json：将测试结果导出为JSON格式

使用这两个参数后，用户可以通过解析JSON输出获取每次运行的退出码，从而确定失败发生的具体轮次。

技术实现细节

JSON输出中包含了一个exit_codes数组，记录了每次运行的退出状态。例如，对于上述Python脚本，输出可能如下：

{
  "results": [
    {
      "exit_codes": [0,0,0,0,0,2,2,2,...]
    }
  ]
}

通过分析这个数组，用户可以：

1. 计算成功和失败的运行次数比例
2. 确定首次失败发生的轮次
3. 分析失败模式（随机失败还是系统性失败）

未来改进方向

虽然当前可以通过JSON输出间接获取失败信息，但从用户体验角度考虑，直接在命令行输出中显示失败轮次会更为友好。可能的改进包括：

1. 在错误信息中增加失败轮次
2. 提供简化的失败统计摘要
3. 增加对间歇性失败的专门支持

总结

Hyperfine 提供了灵活的方式来追踪和分析测试过程中的失败情况。通过合理使用JSON导出和退出码分析，用户可以深入了解被测程序的稳定性表现。对于需要精确控制测试过程的场景，这些功能尤为重要。