使用 Sightglass 基准套件评估 WAMR:构建、运行与 AOT 静态 PGO 实战指南
使用 Sightglass 基准套件评估 WAMR:构建、运行与 AOT 静态 PGO 实战指南
WAMR(WebAssembly Micro Runtime)在 tests/benchmarks/sightglass 目录下提供了一套基于 Bytecode Alliance Sightglass 项目的基准测试方案,用于量化 iwasm 在原生执行(native)、解释器(interpreter)、AOT 与 AOT+Segue、AOT 静态 PGO 等不同模式下的性能表现。本文以该目录的 README.md 为骨架,结合 run_aot.sh、run_interp.sh、test_pgo.sh 等脚本源码,完整说明基准环境的构建流程、三种测试脚本的运行方式与报告解读方法,并深入剖析 AOT 静态 PGO 的底层实现路径,帮助开发者在 Linux 与 Linux-SGX 平台上快速复现可量化的 WAMR 性能数据。
Sightglass 基准测试概览
Sightglass 是 Bytecode Alliance 推出的 WebAssembly 基准测试套件与配套工具集,用于测试 WebAssembly 应用的运行性能。WAMR 仓库将其作为 benchmark 集成在 tests/benchmarks 目录下,与 coremark、dhrystone、jetstream、libsodium、polybench 等基准并列,每个基准目录下均提供独立的构建脚本与运行脚本。
在 WAMR 的 Sightglass 集成中,被测工作负载(workload)取自经典的计算机语言基准游戏(Benchmarks Game)类用例,脚本源码中统一定义为 SHOOTOUT_CASES(见 run_aot.sh):
base64 fib2 gimli heapsort matrix memmove nestedloop
nestedloop2 nestedloop3 random seqhash sieve strchr switch2
共 14 个用例,覆盖字符串处理(base64、strchr)、数值计算(fib2、sieve、matrix)、数据结构(heapsort、seqhash)、内存操作(memmove)与控制流密集(switch2、nestedloop 系列)等典型负载。每个用例都会以三种形态参与测试:
${t}_native:编译成本地可执行文件,作为性能基线;${t}.wasm:编译为 WebAssembly 字节码,供解释器模式运行;${t}.aot(以及可选的${t}_segue.aot):由 wamrc 编译生成的 AOT 文件,供 AOT 模式运行。
测试脚本通过 /usr/bin/time 的 -f "real-%e-time" 格式输出每个用例的 wall-clock 执行时间(秒),汇总写入 report.txt,从而以统一的"真实运行时间"维度对比各执行模式。
环境准备与构建
在运行任何基准之前,需要依次构建 iwasm 运行时与 wamrc AOT 编译器,并安装 WASI SDK。整个构建流程以 README.md 中的说明为准。
1. 构建 iwasm 与 wamrc
- 构建 iwasm:参照 doc/build_wamr.md 中 Linux 或 macOS 平台的构建方法。构建产物默认位于
product-mini/platforms/${PLATFORM}/build/iwasm,其中${PLATFORM}由脚本通过uname -s自动识别为linux、darwin等(见 run_aot.sh)。 - 构建 wamrc:参照仓库根目录 README.md 中"Build wamrc AOT compiler"一节,产物位于
wamr-compiler/build/wamrc。
2. 安装 WASI SDK
基准程序需要由 WASI SDK 的 clang 编译为 WebAssembly 目标文件。请从 wasi-sdk 官方 release 页面下载对应版本的归档包,并解压到默认路径 /opt/wasi-sdk。脚本在编译 workload 时会直接引用该路径下的工具链。
3. 执行 build.sh 生成产物
完成上述准备后,在 tests/benchmarks/sightglass 目录下运行:
./build.sh
脚本会在当前目录下创建 out 文件夹,并在其中生成全部 14 个用例的 native 可执行文件、.wasm 字节码文件以及(在 Linux 平台上)带 Segue 优化的 .aot 文件。out 目录同时也是后续三个运行脚本的工作目录,report.txt 报告文件则生成在脚本所在的基准目录根下。
运行 AOT 基准:run_aot.sh
运行 AOT 模式基准测试:
./run_aot.sh
脚本依次对每个 workload 执行三次计时(见 run_aot.sh):
- native:直接运行
./${t}_native; - iwasm-aot:运行
$IWASM_CMD ${t}.aot; - iwasm-aot-segue(仅 Linux 平台):运行
$IWASM_CMD ${t}_segue.aot。
报告表头会因平台而异(run_aot.sh):
- Linux:
native、iwasm-aot、iwasm-aot-segue三列; - 其他平台(如 macOS):仅
native与iwasm-aot两列。
每次计时均通过管道过滤 real-*-time 输出并用 awk 提取秒数,保证写入 report.txt 的是纯数值,便于后续直接对比或导入电子表格。
Segue 优化背景
_segue.aot 文件在 build 阶段由 wamrc --enable-segue 生成。根据 doc/perf_tune.md 的说明,Segue 是一种利用 x86 段寄存器(GS)存储 WebAssembly 线性内存基址的优化技术,可消除大部分 SFI(软件故障隔离)基址加法的开销并释放一个通用寄存器,从而:
- 提升 JIT/AOT 运行性能;
- 减小生成的 JIT/AOT 代码体积、降低 footprint;
- 缩短 JIT/AOT 编译时间。
该优化目前仅支持 Linux x86-64 平台,这正是 run_aot.sh 将 segue 列限定在 Linux 上的原因。wamrc 也支持细粒度控制,例如 wamrc --enable-segue=i32.store(对应参数解析见 wamr-compiler/main.c),在 CoreMark 等特定负载上可能优于全量开启,开发者可在基准之外按需尝试。
运行解释器基准:run_interp.sh
运行解释器模式基准测试:
./run_interp.sh
与 AOT 脚本不同,解释器脚本只比较两个维度(见 run_interp.sh):
- native:运行
./${t}_native; - iwasm-interp:运行
$IWASM_CMD ${t}.wasm,即直接由 iwasm 解释执行 WebAssembly 字节码。
报告表头固定为 native 与 iwasm-interp 两列。该脚本适合在未启用 AOT 或 LLVM JIT 的运行时配置下评估解释器本身的执行效率,也是验证 fast interpreter 与 classic interpreter 差异(参见 doc/build_wamr.md 中 WAMR_BUILD_FAST_INTERP 的说明)的便捷手段。
运行 AOT 静态 PGO 基准:test_pgo.sh
AOT 静态 PGO(Profile-Guided Optimization,基于 LLVM PGO)允许编译器根据程序真实运行特征优化代码。WAMR 在 Linux x86-64 与 x86-32 上经过验证,完整流程由 test_pgo.sh 自动化实现。
前置条件:安装 llvm-profdata
llvm-profdata 用于合并 PGO 原始 profile 数据。安装方法详见 tests/benchmarks/README.md,要点如下:
- 版本匹配:
llvm-profdata的主版本号必须与构建 wamrc 所用的 LLVM 库一致; - 方式一(apt):以 Ubuntu 20.04 为例,在
/etc/apt/source.list添加 llvm-toolchain 软件源后sudo apt update && sudo apt install llvm,再通过软链接统一命令名,例如cd /usr/bin && sudo ln -s llvm-profdata-18 llvm-profdata; - 方式二(手动编译):从 LLVM 项目源码构建
llvm-profdata,关键 cmake 参数为-DLLVM_TARGETS_TO_BUILD:STRING="X86" -DLLVM_INCLUDE_TOOLS:BOOL=ON,构建完成后工具生成于 build 目录下。
此外,必须使用静态 PGO 能力编译 iwasm,即添加编译选项:
cmake -DWAMR_BUILD_STATIC_PGO=1
该选项在 build-scripts/config_common.cmake 中被映射为编译器宏 WASM_ENABLE_STATIC_PGO=1,其含义与默认值(off)也在 doc/build_wamr.md 的编译选项表中登记。
Linux 平台运行
./test_pgo.sh
脚本为每个 workload 执行如下 PGO 闭环(见 test_pgo.sh):
- 用
wamrc -o ${t}.aot ${t}.wasm编译普通 AOT 文件; - 用
wamrc --enable-llvm-pgo -o ${t}_pgo.aot ${t}.wasm编译插桩(instrumented)AOT 文件; - 用
iwasm --gen-prof-file=${t}.profraw --dir=. ${t}_pgo.aot运行插桩文件,生成原始 profile 数据.profraw; - 用
llvm-profdata merge -output=${t}.profdata ${t}.profraw将原始数据合并为.profdata; - 用
wamrc --use-prof-file=${t}.profdata -o ${t}_opt.aot ${t}.wasm基于 profile 数据编译优化后的 AOT 文件。
随后脚本对比三种运行模式(test_pgo.sh):native、iwasm-aot(普通 AOT)与 iwasm-aot-pgo(PGO 优化 AOT),耗时同样写入 report.txt。通过 native → aot → aot-pgo 的递进对比,可以直观评估静态 PGO 相对普通 AOT 的性能增益。
Linux-SGX 平台运行
针对 SGX 环境,同样先用 cmake -DWAMR_BUILD_STATIC_PGO=1 构建 iwasm,然后在 product-mini/platforms/linux-sgx/enclave-sample 目录下执行 make 完成 enclave 构建,最后运行:
./test_pgo.sh --sgx
--sgx 参数会使脚本切换工具链路径(见 test_pgo.sh):iwasm 指向 product-mini/platforms/linux-sgx/enclave-sample/iwasm,wamrc 则附带 -sgx 标志生成 SGX 专用 AOT 文件。
静态 PGO 的底层实现路径
整个流程与 doc/perf_tune.md 描述的 AOT 静态 PGO 通用方法完全一致,其核心在于两处 wamrc 选项与一处 iwasm 选项的配合(参数均已在 wamr-compiler/main.c 中注册解析):
wamrc --enable-llvm-pgo:在 AOT 编译阶段插入 LLVM 插桩代码;iwasm --gen-prof-file=<raw_profile_file>:运行插桩 AOT 文件并输出原始 profile;wamrc --use-prof-file=<profile_file>:读取合并后的 profile 并据此进行面向真实执行路径的优化。
需要说明的是:直接将原始 profile 数据写入文件系统在某些受限环境(如部分嵌入式/SGX 场景)可能不可行,此时可改用内存缓冲方案,通过 wasm_runtime_get_pgo_prof_data_size 与 wasm_runtime_dump_pgo_prof_data_to_buf 两个运行时 API 将 profile 导出到内存,再经网络(如 uart 或 socket)传输到外部合并处理。
报告解读与结果复用
三个脚本最终都生成同名的 report.txt,采用"用例名(左对齐、20 字符宽)+ 各模式耗时"的表格布局。以 AOT 模式为例(Linux),一行记录形如:
base64 0.01 0.03 0.03
从左到右依次为 native、iwasm-aot、iwasm-aot-segue 的真实执行秒数。通过横向对比可快速定位:
- 解释器模式与 AOT 模式相对 native 的倍数关系;
- Segue 优化相对普通 AOT 的额外收益(在内存/寄存器访问密集的用例上差异通常更明显);
- PGO 优化相对普通 AOT 的提升比例。
由于时间测量基于 /usr/bin/time 的真实耗时,测试结果受宿主机负载影响,建议在空闲机器上多次运行取稳定值,并保持各模式在相同硬件与编译器版本下对比。
扩展:WAMR 基准测试家族
Sightglass 只是 WAMR 基准测试矩阵的一员。若需对单一指标做更深入的分析,可参考同级目录:
- tests/benchmarks/coremark:CoreMark 嵌入式基准,同样提供
run.sh与test_pgo.sh,并额外演示wamrc --enable-segue生成coremark_segue.aot的用法(见 build.sh); - tests/benchmarks/dhrystone:Dhrystone 整数基准;
- tests/benchmarks/jetstream、tests/benchmarks/libsodium、tests/benchmarks/polybench:JavaScript 引擎类与加密/数值类负载。
这些目录的 README 均遵循与 Sightglass 相同的"build.sh 生成产物、run_*.sh 输出 report.txt、test_pgo.sh 执行 PGO 闭环"模式,其 test_pgo.sh 可作为 PGO 流程的补充参考实现。
小结
Sightglass 基准集成让 WAMR 的性能评估从"手动造轮子"变为一条可复现的流水线:./build.sh 一键生成三形态产物,./run_aot.sh 与 ./run_interp.sh 分别量化 AOT/解释器与 native 的差距,./test_pgo.sh 则以 wamrc --enable-llvm-pgo → iwasm --gen-prof-file → llvm-profdata merge → wamrc --use-prof-file 的完整链路验证静态 PGO 的收益,并同时支持 Linux 与 Linux-SGX 两种目标环境。无论是评估 WAMR 在目标平台上的运行模式选型,还是验证 Segue、静态 PGO 等优化手段的实际效果,这套基准脚本都是最直接、最可靠的起点。