VLC checkasm 基准测试完全指南:精准测量与对比汇编优化实现性能
VLC checkasm 基准测试完全指南:精准测量与对比汇编优化实现性能
checkasm 是 VLC 仓库中随 test/checkasm 目录携带的一套汇编代码验证与性能基准测试框架(源自 VideoLAN 的独立 checkasm 项目,随 VLC 源码树一同分发),它既能验证手写汇编/SIMD 实现与 C 参考实现的一致性,也能通过 --bench 模式精确测量、统计并对比各优化实现的性能。本文基于 benchmarking.md 展开,结合仓库源码逐层讲解 checkasm 的基准测试工作流、命令行用法、输出格式、统计方法论、最佳实践与结果解读,读完即可在 VLC 的 checkasm 测试体系中编写并运行可复现、可信赖的汇编性能基准。
基准测试工作流:在正确性测试之上加一步
checkasm 的基准测试与正确性测试共用同一套"声明函数签名 → 分配缓冲区 → 填充数据 → 调用参考/优化实现 → 比较结果"的流程,唯一的区别是额外调用一次 checkasm_bench_new()。下面的例子来自 benchmarking.md 的完整工作流,展示了一个 64×64 图像滤波函数的完整测试+基准代码:
BUF_RECT(uint8_t, src, 64, 64);
BUF_RECT(uint8_t, dst_c, 64, 64);
BUF_RECT(uint8_t, dst_a, 64, 64);
checkasm_declare(void, uint8_t *dst, ptrdiff_t dst_stride,
const uint8_t *src, ptrdiff_t src_stride,
int w, int h);
if (checkasm_check_func(dsp->filter, "filter_64x64")) {
INITIALIZE_BUF_RECT(src);
CLEAR_BUF_RECT(dst_c);
CLEAR_BUF_RECT(dst_a);
// Correctness testing
checkasm_call_ref(dst_c, dst_c_stride, src, src_stride, 64, 64);
checkasm_call_new(dst_a, dst_a_stride, src, src_stride, 64, 64);
checkasm_check_rect_padded(dst_c, dst_c_stride,
dst_a, dst_a_stride, 64, 64, "dst");
// Benchmarking
checkasm_bench_new(checkasm_alternate(dst_a, dst_c), dst_a_stride,
src, src_stride, 64, 64);
}
checkasm_report("filter");
各步骤的作用:
BUF_RECT()/INITIALIZE_BUF_RECT()/CLEAR_BUF_RECT():分配按高速缓存对齐、大小规整的矩形缓冲区,并用准随机数据填充源缓冲区、清零目标缓冲区。正确的对齐与尺寸设计是为了避免缓存冲突,详见下文"缓存对齐"小节。checkasm_check_func():注册被测试函数及其名称(支持 printf 风格格式化),返回非 0 表示该函数版本需要测试。从 test.h 的注释可以看出,checkasm_check_func()还会做栈保护、寄存器保护等 asm 验证准备工作。checkasm_call_ref()/checkasm_call_new():分别调用 C 参考实现与被测的优化实现。checkasm_check_rect_padded():逐字节比较两个输出矩形并报告差异(带 padding 的变体还会验证越界写等边界问题)。checkasm_bench_new():对当前函数执行计时测量。checkasm_alternate(dst_a, dst_c)让每次循环迭代交替写入两个目标缓冲区,防止上一次迭代留下的缓存行污染本次测量。checkasm_report("filter"):结束一个函数分组并输出报告。
在 generic.c 中可以找到同样的模式(第 75 行 checkasm_bench_new(a_dst, src, w) 出现在 checkasm_check1d/2d/rect 系列比较之后),证明"先比较正确性、再测量性能"是 checkasm 测试函数的固定节奏。正确性测试是基准测试的前提——只有结果一致、函数未被编译器优化掉的实现,其性能数据才有意义。
运行基准测试:命令行参数
基本用法
启用基准测试只需给 checkasm 可执行文件加上 --bench(或短选项 -b):
# Quick benchmark (uses default duration)
./checkasm --bench
# Longer benchmark for more accurate results (10ms per function)
./checkasm --bench --duration=10000
# Benchmark specific functions only
./checkasm --bench --function='filter_*'
# Verbose output showing all timing measurements
./checkasm --bench --verbose
--duration=<μs>:控制每个函数被测的总时长(单位微秒,默认值通常足够)。时长越长,样本越多、统计越稳定,但整体耗时也随之线性增长。源码 checkasm.c 第 832 行state.target_cycles = (uint64_t) (1e3 * cfg.bench_usec / low_estimate);展示了它的底层作用:checkasm 先用一次快速探测估算出每轮迭代的周期数low_estimate,再把--duration换算成目标总周期数target_cycles,后续测量都围绕这个目标展开;第 465 行if (current.cycles < state.target_cycles || stats.nb_samples < 30)则表明,即使目标周期数已满足,每个函数也至少会采集 30 个样本才结束。--function=<pattern>/-f:只对名称匹配模式的函数做基准(支持通配符,如filter_*),大幅缩短单次运行时间。--verbose/-v:打印每次测量的详细时序信息,以及最终的 no-op 开销等细节。- 额外的
--test=<pattern>/-t可进一步限定只跑某个测试分组;--list-functions/--list-tests可先列出可用的函数与测试名,方便构造匹配模式。
完整的命令行选项清单(与 README.md 及 getting-started.md 中的 --help 输出一致):
Usage: checkasm [options...] <random seed>
<random seed> Use fixed value to seed the PRNG
Options:
--affinity=<cpu> Run the process on CPU <cpu>
--bench -b Benchmark the tested functions
--csv, --tsv, --json, Choose output format for benchmarks
--html
--function=<pattern> -f Test only the functions matching <pattern>
--help -h Print this usage info
--list-cpu-flags List available cpu flags
--list-functions List available functions
--list-tests List available tests
--duration=<μs> Benchmark duration (per function) in μs
--repeat[=<N>] Repeat tests N times, on successive seeds
--test=<pattern> -t Test only <pattern>
--verbose -v Print verbose timing info and failure data
其中 --affinity=<cpu> 可将进程绑定到指定 CPU 核(对应源码中 HAVE_PTHREAD_SETAFFINITY_NP 的 pthread 亲和性支持),<random seed> 位置参数可固定伪随机数种子,二者都是提升测量可复现性的手段。
导出结果:CSV / JSON / HTML
基准结果可以按多种格式导出,便于进入电子表格、脚本或可视化工具:
# CSV format (suitable for spreadsheets)
./checkasm --bench --csv > results.csv # without column headers
./checkasm --bench --csv --verbose > results.csv # with column headers
# JSON format (for programmatic analysis, includes all data)
./checkasm --bench --json > results.json
# HTML format (interactive visualizations)
./checkasm --bench --html > results.html
- CSV:紧凑的表格形式,适合 Excel 等工具;配合
--verbose会在首行输出列头。 - JSON:包含全部测量数据与详细统计参数——核密度估计(kernel density estimates)、回归参数、置信区间等,适合编写脚本做自动化对比与回归检测。
- HTML:把同样的统计信息渲染成交互式图表(分布图、散点图与指标表),详见下文"HTML 报告概览"。
源码 checkasm.c 第 258 行会向 JSON 输出 targetCycles 字段,说明导出数据中保留了 --duration 换算出的目标周期数等运行时配置,便于复现实验条件。
统计方法论:为什么 checkasm 的数据可信
checkasm 并不简单地取平均,而是把性能测量当作一个统计问题来处理。核心实现位于 stats.c,其中定义了 CheckasmVar(携带 lmean 与 lvar 两个参数,即对数均值与对数方差),并对它实现了加减乘除、取幂、缩放等运算。
对数正态分布建模
checkasm 假设执行时间服从对数正态分布(log-normal distribution),理由是:
- 执行时间恒为正数;
- 性能波动往往是乘性的(例如 CPU 电源状态切换会使频率整体成比例变化),而不是加性的;
- 离群点(如缓存未命中、中断)天然落在分布的"长尾"中。
统计估计器跟踪两个参数:
- 对数均值 μ:
log(执行时间)的中位数; - 对数方差 σ²:
log(执行时间)的方差。
由此可推导出以下统计量(stats.c 中的 checkasm_stats_estimate() 正是先对每个样本求 log(sum) - log(count) 得到单次调用的对数时间,再按样本计数加权计算加权均值与方差):
| 统计量 | 公式 |
|---|---|
| 众数 Mode(最可能的执行时间) | exp(μ − σ²) |
| 中位数 Median | exp(μ) |
| 均值 Mean | exp(μ + σ²/2) |
| 标准差 Stddev | sqrt(exp(2μ + σ²) × (exp(σ²) − 1)) |
| 95% 置信区间上下界 | exp(μ ± 1.96 × σ) |
对数空间的线性回归
checkasm 对"迭代次数 vs 总执行时间"的关系做对数空间线性回归:
log(per_call_time) = log(total_time) - log(iterations)
这种做法的好处:
- 自动适配时序波动的乘性特性;
- 通过回归残差实现稳健的离群点剔除(偏离回归线的点即潜在离群点,见"原始测量图"一节);
- 把"单次调用时间"与"测量循环本身的开销"分离;
- 为估计值计算置信区间。
多次测量的几何平均
当同一函数被 checkasm_bench_new() 多次调用时(例如遍历不同块大小分别测量),最终报告值取所有测量的几何平均:
geometric_mean = (x₁ × x₂ × ... × xₙ)^(1/n)
选择几何平均是因为它:
- 不像算术平均那样容易被离群点拉偏;
- 正确处理跨越多个数量级的比率与加速比;
- 能给出跨配置的"典型"性能代表值。
源码中 CheckasmStats 结构(stats.c 通过 sum、count 加权累加)正是为了支持把多次 bench_new() 的样本合并成一次统计估计。
开销校正(Overhead Correction)
checkasm 会测量并扣除以下开销:
- 基准测试循环本身;
- 函数调用机制;
- 计时器读取操作。
具体做法是测量一个空操作(no-op)函数并把它测得的时间从所有结果中减去。启动时会输出如下信息:
- No-op overhead: 2.41 +/- 0.093 cycles per call (provisional)
为保证准确性,该开销在基准测试过程中会被周期性重新估计以吸收漂移;如果启用了 --verbose,运行结束时还会报告最终值(源码 checkasm.c 第 581 行与第 745 行分别对应"测量 nop 周期"与"打印 no-op 开销"的实现点)。
最佳实践:让基准结果真实可信
系统状态控制
无论统计手段多先进,测量都不可避免受长期系统状态变化影响。可靠的基准需要控制以下因素:
电源管理:
# Linux: set CPU governor to performance mode
sudo cpupower frequency-set --governor performance
# Or for all CPUs
for cpu in /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor; do
echo performance | sudo tee $cpu
done
禁用睿频(turbo boost)以获得一致结果:
# Intel
echo 1 | sudo tee /sys/devices/system/cpu/intel_pstate/no_turbo
# AMD
echo 0 | sudo tee /sys/devices/system/cpu/cpufreq/boost
系统负载:
- 关闭不必要的应用;
- 避免在重负载机器上跑基准;
- 用
nice提高基准进程优先级:
nice -n -20 ./checkasm --bench
热节流(Thermal Throttling):
- 确保散热充足,防止温度触发降频;
- 两次运行之间留足冷却时间;
- 长时间基准期间监控 CPU 温度。
缓存对齐与缓冲区交替
checkasm 会在正式测量前自动预热缓存,但使用者仍应警惕缓存效应:
- L1/L2 缓存:多数优化函数应能装入 L2 缓存;
- 数据工作集:
BUF_RECT()分配的缓冲区会做正确对齐与尺寸规划以避免缓存冲突;对齐不当会导致非对齐访存或缓存抖动带来的性能损失。
对工作集很大、装不进缓存的函数,基准结果会反映缓存未命中行为——这往往正是真实世界的使用情况。
使用 checkasm_alternate() 防止缓存污染:
// Good: alternates between dst_a and dst_c to prevent cache hits from
// previous iterations
checkasm_bench_new(checkasm_alternate(dst_a, dst_c), dst_a_stride,
src, src_stride, w, h);
// Acceptable: always writes to dst_a
checkasm_bench_new(dst_a, dst_a_stride, src, src_stride, w, h);
交替缓冲区能确保上一轮循环对同一数据缓冲区的访问不会让本轮测量"碰巧命中缓存"。
使用真实输入数据
输入数据会显著影响性能,原因包括:
- 实现中的数据相关分支;
- SIMD 指令效率随数据模式变化;
- 缓存行为取决于数据取值。
// For general data processing: use INITIALIZE_BUF() which includes common edge cases
INITIALIZE_BUF_RECT(src);
// For specific patterns: use domain-appropriate data
checkasm_randomize_normf(audio_buf, len); // Audio: normal distribution
// For worst-case analysis: test pathological inputs
generate_worst_case_pattern(buf, len);
如果函数性能随输入数据或配置变化显著,建议遍历所有相关配置并分别调用 checkasm_bench_new(),最终取整体平均。
选择测量配置:三种策略
对支持多种尺寸/配置的函数,checkasm 提供三种典型策略:
方案 1:测量所有配置
for (int w = 4; w <= 128; w <<= 1) {
if (checkasm_check_func(dsp->filter, "filter_w%d", w)) {
for (int h = 4; h <= 128; h <<= 1) {
// Test for correctness
// ...
// Benchmark each configuration
checkasm_bench_new(dst, dst_stride, src, src_stride, w, h);
}
// Reports geometric mean of all configurations
}
}
方案 2:分别测量代表性尺寸(每个 check_func 调用对应一份独立报告)
const int sizes[][2] = { {16, 16}, {16, 32}, {64, 16}, {64, 32} };
for (int i = 0; i < sizeof(sizes) / sizeof(sizes[0]); i++) {
int w = sizes[i][0], h = sizes[i][1];
// Separate check_func call = separate benchmark report
if (checkasm_check_func(dsp->filter, "filter_%dx%d", w, h)) {
// Test for correctness
// ...
checkasm_bench_new(dst, dst_stride, src, src_stride, w, h);
}
}
方案 3:只测量极限情况(全部配置做正确性测试,性能只测最大尺寸)
for (int w = 4; w <= 128; w <<= 1) {
if (checkasm_check_func(dsp->filter, "filter_w%d", w)) {
for (int h = 4; h <= 128; h <<= 1) {
// Test all for correctness
// ...
}
// Benchmark only the largest size
checkasm_bench_new(dst, dst_stride, src, src_stride, w, 128);
}
}
选择依据:方案 1 关注全尺寸范围的总体性能;方案 2 关注重要尺寸的具体性能;方案 3 关注最好/最坏情况。
解读结果
理解输出格式
启用 --verbose 可以看到所有时序测量。典型输出:
Benchmark results:
name cycles +/- stddev time (nanoseconds) (vs ref)
nop: 2.4 +/- 0.0 1.2 ns +/- 0.1
filter_c: 64.9 +/- 75.4 33.8 ns +/- 40.8
filter_sse2: 46.9 +/- 13.3 24.4 ns +/- 7.8 ( 1.22x)
filter_avx2: 20.6 +/- 1.2 10.7 ns +/- 1.4 ( 3.15x)
各列含义:
- name:函数名(优化版本带 ISA 后缀,如
filter_sse2、filter_avx2); - cycles:每次调用估算的 CPU 周期数(均值 ± 标准差);
- time:每次调用估算的纳秒数(均值 ± 标准差);
- (vs ref):相对参考(C)实现的加速比。
关注点: 周期数越低越好;标准差反映测量可靠性;加速比体现优化有效性。
高方差的三种成因
标准差很大(± 值很大)可能意味着:
- 系统噪声:后台进程、中断、频率调整——按"系统状态控制"小节的最佳实践处理;
- 数据相关性能:函数在不同输入上快慢不同(例如存在提前退出分支),这可能是合理行为,需评估基准输入是否有代表性;
- 缓存效应:函数装不进缓存或存在缓存冲突——对大数据集可能是真实情况,同时应确认缓冲区已正确对齐。
基准结束时汇总报告会给出平均时序误差:
- average timing error: 17.371% across 15 benchmarks (maximum 65.404%)
最大误差过高通常意味着至少存在一个非常嘈杂的测量点。
对比不同实现
绝对加速比:
filter_avx2: 20.6 cycles ( 3.15x)
表示该实现比 C 参考快 3.15 倍。
相对对比:
filter_sse2: 46.9 cycles ( 1.22x)
filter_avx2: 20.6 cycles ( 3.15x)
AVX2 比 SSE2 快 46.9 / 20.6 = 2.28 倍。
回归检测
用基准结果发现性能回归的完整流程:
# 1. 保存基线
./checkasm --bench --json > baseline.json
# 2. 代码修改后重新测量
./checkasm --bench --json > current.json
# 3. 对比,找出变慢的函数
经验阈值:变化 < 5% 通常属于噪声;> 10% 需要调查;> 20% 很可能是真实的回归或改进。--repeat[=<N>] 与固定随机种子可进一步提高对比的可信度。
高级主题
微基准测试陷阱
- 死代码消除(Dead Code Elimination):如果优化函数的结果未被使用,编译器(尤其是开启 LTO 时)可能把整个调用优化掉,表现为低得不真实的周期数;
- 常量折叠(Constant Folding):始终用
INITIALIZE_BUF()/RANDOMIZE_BUF()保证输入不是编译期常量,避免被折叠; - 分支预测:基准反复执行同一代码路径会得到"完美"的分支预测,未必反映真实场景(如混合块大小的调用)。由于各实现在相同条件下比较,这通常可接受,但可能掩盖无分支实现的真实收益;
- 内存层级:基准通常测的是 L1/L2 缓存性能而非 DRAM 性能。对工作集大的函数,真实性能可能低于基准,这也为 SIMD 优化可实现的加速比设定了上限。
平台差异与计时器分辨率
checkasm 启动时会报告计时器信息:
- Timing source: x86 (rdtsc)
- Timing resolution: 0.5976 +/- 0.057 ns/cycle (1644 +/- 156.8 MHz) (provisional)
各平台计时器:
| 平台 | 计时器 | 分辨率 |
|---|---|---|
| x86 / x86_64 | rdtsc(周期计数器) | 很高 |
| ARM / AArch64 | pmccntr(周期计数器) | 高 |
| LoongArch | rdtime(tick 计数器) | 高 |
| PowerPC 64le | mfspr(tick 计数器) | 中 |
| 其他/回退 | 操作系统计时器 | 较低 |
低分辨率计时器可能需要更长的 --duration 才能获得准确结果(--affinity 可把进程固定到某核以减少调度抖动)。README.md 的"Supported platforms"一节确认了上述平台对基准计时(除 RISC-V 外均有硬件计时器,另提供通用 OS API 回退)。
频率缩放的影响:计时器分辨率包含对时钟频率的估计。若启用 CPU 频率缩放,该估计可能不准,但这只影响纳秒换算,不影响周期计数。追求最准确结果时请禁用频率缩放,或只比较原始周期数。
跨平台比较:跨 CPU 比较周期数仅在满足以下条件时才有意义:同属一个架构家族、时钟频率相近、并考虑微架构差异。跨平台应优先比较"相对加速比(优化 vs C)"而非绝对周期数。
HTML 报告概览
HTML 报告提供详细的统计可视化:
核密度估计图(左图)
- 展示执行时间的概率分布;
- 峰值即最可能的执行时间(众数 mode);
- 分布越宽,方差越大;
- 由对数正态分布拟合导出。
原始测量图(右图)
- X 轴:一次测量中函数被调用的迭代次数;
- Y 轴:一次测量中所有迭代的总时间;
- 直线:线性回归拟合;
- 阴影区域:95% 置信区间;
- 远离直线的点:潜在离群点。
指标表
- Adjusted cycles/time:扣除开销后的值(比较时使用此列);
- Raw cycles/time:扣除开销前的值(对低于 10 周期的函数可能更可靠)。
可复现基准的实战技巧
1. 固定随机种子——确保各次运行生成相同的测试数据模式:
./checkasm --bench 12345 # Use seed 12345
2. 记录系统状态:CPU 型号与频率设置、编译器版本与参数、操作系统与内核版本、checkasm 版本/提交号。
3. 多次运行验证一致性:
for i in {1..5}; do
./checkasm --bench --function='filter_*' | tee run_$i.txt
done
在 VLC 仓库中定位与扩展
本文档位于 benchmarking.md,属于 checkasm 自带文档体系(introduction.md、getting-started.md、integration.md、writing-tests.md)的一部分。若要把 checkasm 集成进自己的 Meson 项目,可参考 getting-started.md 中通过 subprojects/checkasm.wrap 与 dependency('checkasm', fallback: ['checkasm', 'checkasm_dep']) 的接入方式,并在 meson.build 中同时注册 test('checkasm', ...) 与 benchmark('checkasm', ..., args: '--bench')。
从源码结构看,checkasm 的实现高度模块化,可作为理解本文统计方法的进一步入口:
- stats.c:对数正态分布的
CheckasmVar估计、加减乘除与缩放运算; - checkasm.c:命令行解析、
target_cycles换算(第 832 行)、no-op 开销测量(第 581、745 行)、样本采集下限(第 465 行stats.nb_samples < 30); - perf.c:硬件计时器的测量与校准;
- tests/generic.c:内建自测,展示
checkasm_bench_new()在真实测试函数中的典型用法(第 75 行); - include/checkasm/checkasm.h 与 include/checkasm/test.h:
checkasm_bench_new()、checkasm_alternate()、checkasm_check_func()等 API 的完整文档。
掌握了本文的工作流、统计原理与最佳实践,你就可以在 VLC 的 checkasm 框架中写出既能验证正确性、又能精确量化汇编/SIMD 优化收益的基准测试,并为性能回归检测建立可靠的基线。