Google Benchmark库中bytes_per_second与items_per_second指标解析

在使用Google Benchmark进行性能测试时，开发人员发现了一个关于bytes_per_second和items_per_second指标显示不一致的问题。经过深入分析，这实际上是由于单位显示方式造成的理解偏差，而非真正的功能缺陷。

问题现象

在测试Parquet列读取性能时，开发人员设置了以下基准测试代码：

state.SetBytesProcessed(state.iterations() * num_levels * sizeof(int16_t));
state.SetItemsProcessed(state.iterations() * num_levels);

理论上，bytes_per_second应该是items_per_second的两倍（因为每个项目是2字节的int16_t）。但实际输出显示：

bytes_per_second=11.5877G/s items_per_second=6.22113G/s

这两个数值的比例接近但不完全等于2:1，引发了开发者的困惑。

深入调查

开发者通过添加日志输出来追踪计算过程：

ARROW_LOG(INFO) << "iterations: " << state.iterations() << ", expected b/s " << state.iterations() * num_levels * sizeof(int16_t);
state.SetBytesProcessed(state.iterations() * num_levels * sizeof(int16_t));
ARROW_LOG(INFO) << "iterations: " << state.iterations() << ", expected i/s " << state.iterations() * num_levels;
state.SetItemsProcessed(state.iterations() * num_levels);

日志显示最终迭代次数为538976次，计算得出：

• 总字节数：8,727,099,392
• 总项目数：4,363,549,696

手动计算结果与报告值存在差异：

8727099392 / 538976 / 1301e-9 = 12.4458G/s # 不等于报告的11.5877G/s
4363549696 / 538976 / 1301e-9 = 6.2229G/s # 接近但不等于6.22113G/s

问题根源

经过核心开发者的提示，发现问题出在单位显示上：

• bytes_per_second显示的是Gibibytes/s(GiB/s，基于1024的幂)
• items_per_second显示的是Gigaitems/s(G/s，基于1000的幂)

验证计算：

(4.58916 * 1024^3)/2 / 1000^3 = 2.46379

这与报告的items_per_second值完全匹配。

解决方案

这个问题实际上已经在Google Benchmark的后续版本中通过改进单位显示方式得到解决。建议用户：

1. 升级到最新版本的Google Benchmark库
2. 注意区分二进制单位(GiB/s)和十进制单位(G/s)的差异
3. 在比较不同单位指标时进行适当的转换

性能测试最佳实践

在编写性能测试时，建议：

1. 明确理解所用指标的单位体系
2. 对于涉及数据传输的测试，同时记录bytes和items指标
3. 在文档中注明使用的单位标准
4. 考虑添加注释说明预期的比例关系
5. 对于关键性能指标，可以添加验证计算确保结果符合预期

通过这次问题分析，我们不仅解决了具体的指标显示问题，更重要的是加深了对性能测试指标的理解，为今后的测试工作提供了宝贵的经验。