1BRC项目中的性能测试优化：提前终止不一致的输出结果

在性能基准测试中，确保所有测试实现产生相同的输出结果是至关重要的。1BRC项目最近针对这个问题进行了优化，通过改进测试流程来提前发现并终止输出不一致的情况。

背景

1BRC项目使用Hyperfine工具进行性能基准测试，但原有的测试流程存在一个潜在问题：即使某个实现产生错误的输出结果，测试也会继续运行到完成，这不仅浪费时间，还可能误导性能比较。

原有流程的问题

原本的测试流程分为两个阶段：

1. 首先运行一次测试生成预期输出文件(out_expected.txt)
2. 然后使用Hyperfine进行多次测试，包括预热运行和正式测量

这种设计存在两个主要缺陷：

1. 输出验证与性能测试分离，无法在性能测试过程中实时验证结果
2. 即使预热运行产生错误输出，测试仍会继续

优化方案

项目维护者提出了以下改进措施：

1. 统一输出文件命名：将预期输出文件统一命名为measurements_1B.out，与测试输入文件measurements_1B.txt保持命名一致性

2. 前置验证步骤：在执行Hyperfine测试前，先运行一次完整的测试验证输出结果

3. 简化测试流程：移除Hyperfine的预热运行，改为直接使用测试脚本验证

技术实现细节

新的测试流程工作方式如下：

1. 首先运行./test.sh <fork> measurements_1B.txt生成实际输出
2. 将实际输出与measurements_1B.out进行比较
3. 只有在输出匹配的情况下，才继续使用Hyperfine进行5次正式性能测试

这种改进带来了几个显著优势：

• 更早发现实现错误，节省测试时间
• 测试流程更加简洁高效
• 减少了不必要的构建和运行次数

对开发者的影响

对于参与1BRC项目的开发者来说，这一改进意味着：

1. 更快的反馈循环：开发者能立即知道自己的实现是否正确，而不必等待完整的性能测试完成

2. 更严格的验证：现在性能测试和功能验证紧密结合，确保只有正确的实现才会参与性能比较

3. 更一致的测试环境：所有实现都使用相同的输入输出文件命名约定，减少了配置错误的可能性

总结

通过这次优化，1BRC项目建立了一个更加健壮和高效的性能测试流程。这种在性能测试前先验证功能正确性的做法，值得在其他类似项目中借鉴。它不仅提高了测试效率，也确保了性能比较的公平性和准确性。