Google Benchmark中bytes_per_second与items_per_second指标解析

在使用Google Benchmark进行性能测试时，开发人员发现bytes_per_second和items_per_second这两个指标之间存在不一致的现象。本文将深入分析这一问题的根源，并解释如何正确理解这些性能指标。

问题现象

在编写基准测试时，开发者通常会设置处理的字节数和项目数：

state.SetBytesProcessed(state.iterations() * num_levels * sizeof(int16_t));
state.SetItemsProcessed(state.iterations() * num_levels);

理论上，bytes_per_second应该是items_per_second的两倍（因为int16_t占2字节）。然而实际测试结果却显示：

bytes_per_second=11.5877G/s items_per_second=6.22113G/s

这两个数值的比例接近但不完全等于2:1，这引发了开发者的困惑。

深入分析

通过添加调试日志，开发者发现：

1. 最终迭代次数为538,976次
2. 预期处理的字节数为8,727,099,392字节
3. 预期处理的项目数为4,363,549,696个

手动计算得到的吞吐量与报告值不符：

8727099392 / 538976 / 1301e-9 ≈ 12.445G/s  # 不等于报告的11.5877G/s
4363549696 / 538976 / 1301e-9 ≈ 6.222G/s   # 接近但不等于6.22113G/s

关键发现

经过深入排查，发现问题的根源在于单位表示方式：

1. bytes_per_second 使用二进制单位（GiB/s）
2. items_per_second 使用十进制单位（G/s）

具体验证：

(4.58916 * 1024³)/2/1000³ ≈ 2.46379

这与报告的items_per_second值完全吻合。

单位系统说明

在计算机领域存在两种单位系统：

1. 二进制单位（IEC标准）：

   • 1 KiB = 1024字节
   • 1 MiB = 1024 KiB
   • 1 GiB = 1024 MiB

2. 十进制单位（SI标准）：

   • 1 KB = 1000字节
   • 1 MB = 1000 KB
   • 1 GB = 1000 MB

Google Benchmark在显示bytes_per_second时使用了二进制单位，而items_per_second则使用了十进制单位，这种不一致性导致了表面上的数值差异。

最佳实践建议

1. 在比较bytes_per_second和items_per_second时，注意单位差异
2. 对于存储相关指标，优先考虑二进制单位
3. 对于抽象项目计数，使用十进制单位更合适
4. 在文档中明确注明使用的单位系统

结论

这个问题并非真正的bug，而是单位系统表示方式的不同造成的误解。Google Benchmark团队已经修复了输出后缀的显示问题，使其更加清晰。开发者在使用时应注意到这一区别，避免错误解读基准测试结果。