使用 JetStream 2 基准测试套件评估 WAMR 的 AOT 与静态 PGO 性能
使用 JetStream 2 基准测试套件评估 WAMR 的 AOT 与静态 PGO 性能
JetStream 2 是 Mozilla 推出的 JavaScript 与 WebAssembly 基准测试套件,专注于现代 Web 应用中"启动迅速、执行高效、运行流畅"三类能力。WAMR 仓库在 tests/benchmarks/jetstream 目录中提供了一套完整的移植与自动化脚本,可以将 JetStream 2 的多个 wasm 负载编译为原生可执行文件与 WAMR AOT 文件,并逐项对比 native、iwasm-aot、iwasm-aot-segue 以及开启静态 PGO 后的 iwasm-aot-pgo 运行耗时。读完本文,你将掌握:如何构建 iwasm 与 wamrc、如何用 emsdk 与 wasi-sdk 交叉编译 JetStream 2 负载、如何一键跑出 report.txt 性能对比报告,以及如何通过 AOT 静态 PGO 流程让 wamrc 基于真实运行 profile 生成优化 AOT 文件。
基准测试套件概述
JetStream 2 是 JavaScript 与 WebAssembly 基准测试套件,聚焦于最先进的 Web 应用场景,衡量浏览器/运行时在启动速度、代码执行速度、运行流畅度三个维度的表现。WAMR 将其中的 wasm 负载引入 tests/benchmarks/jetstream 目录,作为评估运行时性能的实测手段。
该目录包含四个关键文件:
README.md—— 构建、运行与 PGO 测试说明(本文主体);build.sh—— 一键构建原生可执行文件、wasm 文件与 AOT 文件;run_aot.sh—— 运行 native 与 iwasm AOT 模式对比测试并生成report.txt;test_pgo.sh—— 运行开启静态 PGO 后的三模式对比测试;jetstream.patch—— 对上游mozilla/perf-automation源码的移植补丁。
从 run_aot.sh 与 test_pgo.sh 中的 JETSTREAM_CASES 变量可以看到,本次基准覆盖 5 个负载:
| 负载 | 说明 | 来源(JetStream2/wasm 目录) |
|---|---|---|
| gcc-loops | 由 GCC 循环优化测试生成的一组循环计算 | gcc-loops.cpp |
| HashSet | C++ 哈希表操作负载 | HashSet.cpp |
| tsf | TSF(The Simplest Format)序列化库的 IR 生成测试 | TSF/ 子目录 |
| float-mm | 浮点矩阵乘法 | simple/float-mm.c |
| quicksort | 经典快速排序 | quicksort.c |
构建前准备
构建 iwasm 与 wamrc
JetStream 2 基准需要两个 WAMR 构建产物:运行时 iwasm 与 AOT 编译器 wamrc。构建方法参见 Build iwasm on Linux 或 Build iwasm on MacOS,以及 Build wamrc AOT compiler。简而言之,iwasm 由 product-mini/platforms/$(PLATFORM) 下的 CMake 工程生成,wamrc 由 wamr-compiler 工程生成;脚本中的默认路径分别是 product-mini/platforms/${PLATFORM}/build/iwasm 与 wamr-compiler/build/wamrc。
安装 emsdk
wasm 负载使用 Emscripten(emcc/em++)从 C/C++ 源码交叉编译。官方指引见 Emscripten 文档,仓库脚本建议安装到 /opt 并激活环境:
$ cd /opt
$ git clone https://github.com/emscripten-core/emsdk.git
$ cd emsdk
$ git pull
$ ./emsdk install latest
$ ./emsdk activate latest
$ echo "source /opt/emsdk/emsdk_env.sh" >> "${HOME}"/.bashrc
注意:build.sh 开头会执行 source /opt/emsdk/emsdk_env.sh,因此请确保 emsdk 安装在 /opt/emsdk 且环境变量已正确设置。
安装 llvm-profdata(PGO 专用)
只有当需要运行 test_pgo.sh 时才需要 llvm-profdata,其版本必须与构建 wamrc 所用的 LLVM 库主版本一致(见 tests/benchmarks/README.md)。两种安装方式:
方式一:apt 安装
在 Ubuntu 20.04 中向 /etc/apt/source.list 添加:
deb http://apt.llvm.org/focal/ llvm-toolchain-focal main
deb-src http://apt.llvm.org/focal/ llvm-toolchain-focal main
# 15
deb http://apt.llvm.org/focal/ llvm-toolchain-focal-15 main
deb-src http://apt.llvm.org/focal/ llvm-toolchain-focal-15 main
# 18
deb http://apt.llvm.org/focal/ llvm-toolchain-focal-18 main
deb-src http://apt.llvm.org/focal/ llvm-toolchain-focal-18 main
然后执行 sudo apt update、sudo apt install llvm,并建立符号链接:
cd /usr/bin
sudo ln -s llvm-profdata-18 llvm-profdata
方式二:源码构建
git clone --depth 1 --branch release/18.x https://github.com/llvm/llvm-project.git
cd llvm-project
mkdir build && cd build
cmake ../llvm \
-DCMAKE_BUILD_TYPE:STRING="Release" \
-DCMAKE_EXPORT_COMPILE_COMMANDS=ON \
-DLLVM_APPEND_VC_REV:BOOL=ON \
-DLLVM_BUILD_EXAMPLES:BOOL=OFF \
-DLLVM_BUILD_LLVM_DYLIB:BOOL=OFF \
-DLLVM_BUILD_TESTS:BOOL=OFF \
-DLLVM_CCACHE_BUILD:BOOL=ON \
-DLLVM_ENABLE_BINDINGS:BOOL=OFF \
-DLLVM_ENABLE_IDE:BOOL=OFF \
-DLLVM_ENABLE_LIBEDIT=OFF \
-DLLVM_ENABLE_TERMINFO:BOOL=OFF \
-DLLVM_ENABLE_ZLIB:BOOL=ON \
-DLLVM_INCLUDE_BENCHMARKS:BOOL=OFF \
-DLLVM_INCLUDE_DOCS:BOOL=OFF \
-DLLVM_INCLUDE_EXAMPLES:BOOL=OFF \
-DLLVM_INCLUDE_UTILS:BOOL=OFF \
-DLLVM_INCLUDE_TESTS:BOOL=OFF \
-DLLVM_OPTIMIZED_TABLEGEN:BOOL=ON \
-DLLVM_ENABLE_LIBXML2:BOOL=OFF \
-DLLVM_TARGETS_TO_BUILD:STRING="X86" \
-DLLVM_INCLUDE_TOOLS:BOOL=ON \
-G'Ninja'
ninja -j 8
# tool `llvm-profdata` 生成于当前 build 目录
构建完成后,llvm-profdata 生成于该 build 目录下,可将其加入 PATH 供 test_pgo.sh 调用。
注:示例中通过
-DLLVM_CCACHE_BUILD:BOOL=ON启用 ccache。若使用build_llvm.py脚本,ccache 默认关闭以减少 CI 存储消耗;如需启用,可用python3 build_llvm.py --use-ccache --arch X86。
一键构建:build.sh 做了什么
执行 ./build.sh(可选参数 --no-simd 关闭 SIMD)后,脚本会:
- 检查并克隆上游
mozilla/perf-automation仓库(若perf-automation目录不存在),并应用 jetstream.patch; - 在
out/目录下为每个负载生成三类产物:${case}_native—— 用本机 gcc/g++ 以-O3编译的原生可执行文件;${case}.wasm—— 用 emcc/em++(或 wasi-sdk)以-O3 -s STANDALONE_WASM=1编译的 wasm 文件;${case}.aot—— 用 wamrc 将 wasm 编译为 AOT 文件;
- 在 Linux 平台上额外生成
--enable-segue优化的${case}_segue.aot。
各负载的具体编译命令(摘自 build.sh)如下。
gcc-loops(g++ / em++)
g++ -O3 -msse2 -msse3 -msse4 -o out/gcc-loops_native gcc-loops.cpp
em++ -O3 -s STANDALONE_WASM=1 -msimd128 \
-s INITIAL_MEMORY=1048576 \
-s TOTAL_STACK=32768 \
-s "EXPORTED_FUNCTIONS=['_main']" \
-s ERROR_ON_UNDEFINED_SYMBOLS=0 \
-o out/gcc-loops.wasm gcc-loops.cpp
wamrc -o out/gcc-loops.aot out/gcc-loops.wasm
quicksort(gcc / emcc)
gcc -O3 -msse2 -msse3 -msse4 -o out/quicksort_native quicksort.c
emcc -O3 -s STANDALONE_WASM=1 -msimd128 \
-s INITIAL_MEMORY=1048576 \
-s TOTAL_STACK=32768 \
-s "EXPORTED_FUNCTIONS=['_main']" \
-o out/quicksort.wasm quicksort.c
wamrc -o out/quicksort.aot out/quicksort.wasm
HashSet(g++ / em++)
g++ -O3 -msse2 -msse3 -msse4 -o out/HashSet_native HashSet.cpp -lstdc++
em++ -O3 -s STANDALONE_WASM=1 -msimd128 \
-s INITIAL_MEMORY=1048576 \
-s TOTAL_STACK=32768 \
-s "EXPORTED_FUNCTIONS=['_main']" \
-o out/HashSet.wasm HashSet.cpp
wamrc -o out/HashSet.aot out/HashSet.wasm
float-mm(gcc / emcc)
float-mm 位于 JetStream2 的 simple 子目录,构建时脚本会先切换目录:
gcc -O3 -msse2 -msse3 -msse4 -o out/float-mm_native float-mm.c
emcc -O3 -s STANDALONE_WASM=1 -msimd128 \
-s INITIAL_MEMORY=1048576 \
-s TOTAL_STACK=32768 \
-s "EXPORTED_FUNCTIONS=['_main']" \
-o out/float-mm.wasm float-mm.c
wamrc -o out/float-mm.aot out/float-mm.wasm
tsf(gcc / wasi-sdk)
tsf 由多个 C 源文件构成(tsf_srcs 变量列出约 60 个文件),原生版本用 gcc 编译;wasm 版本则使用 wasi-sdk 的 clang 编译而非 emcc,因此除 emsdk 外还需在 /opt/wasi-sdk 安装 wasi-sdk:
gcc -o out/tsf_native -O3 -msse2 -msse3 -msse4 \
-I. -DTSF_BUILD_SYSTEM=1 ${tsf_srcs} -lm
/opt/wasi-sdk/bin/clang -O3 -msimd128 -z stack-size=1048576 \
-Wl,--initial-memory=52428800 \
-Wl,--export=main \
-Wl,--export=__heap_base,--export=__data_end \
-I. -DTSF_BUILD_SYSTEM=1 \
-Wl,--allow-undefined \
-o out/tsf.wasm ${tsf_srcs}
wamrc -o out/tsf.aot out/tsf.wasm
Linux 平台的 segue 变体
在 Linux 上,每个负载还会额外生成 _segue.aot:
wamrc --enable-segue -o out/gcc-loops_segue.aot out/gcc-loops.wasm
Segue 是 WAMR 的一项优化技术,使 AOT 编译出的机器码可以不依赖显式边界检查而直接访问内存(见 doc/perf_tune.md),用于对比更激进的性能优化效果。run_aot.sh 中,Linux 平台的报告表头会多出一列 iwasm-aot-segue。
移植补丁 jetstream.patch
上游源码不能直接编译为 wasm,需要先应用补丁(jetstream.patch),主要内容包括:
HashSet.cpp:补入<limits>、<string.h>头文件,并将std::memcpy改为memcpy,规避 wasm 环境下标准库符号解析问题;TSF/gpc_code_gen_util.c:显式声明readdir_r,处理 wasi-sdk 下 POSIX 接口的可用性问题;TSF/tsf_internal.h:为tsf_fsdb结构体的remote联合体补充uint32_t __padding,对齐结构布局;TSF/tsf_ir_speed.c:每处理 100 个 program 打印一次进度,便于观察长耗时负载的执行进度。
这些改动说明 JetStream 2 的上游代码面向浏览器与桌面环境,移植到 wasm/wasi 运行时环境时需要针对标准库与结构对齐做适配。
运行基准:run_aot.sh
构建完成后,在 tests/benchmarks/jetstream 目录执行:
./run_aot.sh
脚本将依次对 5 个负载执行三种(Linux)或两种(其他平台)模式的运行,并把耗时写入 report.txt:
- native:直接运行
${case}_native可执行文件; - iwasm-aot:
iwasm --dir=. ${case}.aot; - iwasm-aot-segue(仅 Linux):
iwasm --dir=. ${case}_segue.aot。
计时方式使用 /usr/bin/time -f "real-%e-time" 记录真实运行时间,并通过 grep/awk 提取 real 秒数写入报告。--dir=. 使 iwasm 以当前目录作为工作目录,保证 wasm 程序的文件访问行为与 native 一致。最终生成的 report.txt 中,Linux 平台的表头为:
native iwasm-aot iwasm-aot-segue
其他平台为:
native iwasm-aot
运行静态 PGO 测试:test_pgo.sh
前置条件
运行 ./test_pgo.sh 前需要满足:
- 已安装
llvm-profdata(版本与构建 wamrc 所用 LLVM 主版本一致); - iwasm 以静态 PGO 模式编译:
cmake -DWAMR_BUILD_STATIC_PGO=1; - 已先运行
./build.sh生成out/下的 wasm 文件。
其中 WAMR_BUILD_STATIC_PGO 编译开关在 doc/build_wamr.md 中被描述为 "Static PGO",默认关闭(值为 0/1);开启后,运行时支持通过 --gen-prof-file 导出 LLVM 原始 profile 数据。在 product-mini/platforms/linux-sgx/CMakeLists.txt 中也可看到该开关与 AOT 开关的联动逻辑(WAMR_BUILD_STATIC_PGO EQUAL 1 AND WAMR_BUILD_AOT EQUAL 1)。
平台与工具路径
test_pgo.sh 会根据第一个参数选择运行环境:
- 默认(Linux 或其他平台):使用
product-mini/platforms/${PLATFORM}/build/iwasm与wamr-compiler/build/wamrc; - Linux-sgx:
./test_pgo.sh --sgx,使用product-mini/platforms/linux-sgx/enclave-sample/iwasm与wamrc -sgx。
完整 PGO 流程
对每个负载,test_pgo.sh 执行如下六步(摘自 test_pgo.sh):
# 1. 常规 AOT 编译
wamrc -o ${t}.aot ${t}.wasm
# 2. 生成插桩 AOT 文件(instrumented)
wamrc --enable-llvm-pgo -o ${t}_pgo.aot ${t}.wasm
# 3. 运行插桩文件,产出原始 profile
iwasm --gen-prof-file=${t}.profraw --dir=. ${t}_pgo.aot
# 4. 合并原始 profile
llvm-profdata merge -output=${t}.profdata ${t}.profraw
# 5. 基于 profile 生成优化 AOT 文件
wamrc --use-prof-file=${t}.profdata -o ${t}_opt.aot ${t}.wasm
随后进入与 run_aot.sh 类似的计时环节,但表头变为:
native iwasm-aot iwasm-aot-pgo
其中 iwasm-aot-pgo 一列运行的是 iwasm --dir=. ${t}_opt.aot。这样在同一份报告中,你可以直观对比:原生编译、普通 AOT、基于真实运行 profile 优化后的 AOT 三种模式的实际耗时。
与通用 AOT 静态 PGO 流程的对应关系
上述脚本其实是 doc/perf_tune.md 第 5 节描述的 WAMR AOT 静态 PGO 通用流程的自动化实现:
wamrc --enable-llvm-pgo -o <aot_file_of_pgo> <wasm_file>生成插桩 AOT 文件;- 以
WAMR_BUILD_STATIC_PGO=1编译 iwasm,运行iwasm --gen-prof-file=<raw_profile_file> <aot_file_of_pgo>生成原始 profile; - 安装/编译
llvm-profdata; llvm-profdata merge -output=<profile_file> <raw_profile_file>合并 profile;wamrc --use-prof-file=<profile_file> -o <aot_file> <wasm_file>生成优化 AOT 文件;iwasm <aot_file>运行优化后的文件。
这些命令行选项在 wamr-compiler/main.c 中均有实现:--enable-llvm-pgo(第 197、611 行附近)用于开启 LLVM PGO 插桩,--use-prof-file=<file>(第 200、619 行附近)用于指定合并后的 profile 文件。
此外,perf_tune.md 还提示:若目标环境不支持将原始 profile 直接写盘,可通过运行时 API 将 profile 数据导出到内存缓冲区,再通过网络(uart/socket 等)输出:
uint32_t wasm_runtime_get_pgo_prof_data_size(wasm_module_inst_t module_inst);
uint32_t wasm_runtime_dump_pgo_prof_data_to_buf(wasm_module_inst_t module_inst, char *buf, uint32_t len);
这对嵌入式等无文件系统场景尤为关键。
Linux-sgx 下的 PGO 测试
针对 Linux-sgx 平台,文档给出额外说明:
- 以
cmake -DWAMR_BUILD_STATIC_PGO=1构建 iwasm; - 在
product-mini/platforms/linux-sgx/enclave-sample目录执行make; - 运行
./test_pgo.sh --sgx进行测试。
运行结果解读与注意事项
report.txt 中所有时间单位为秒(real 时间),数值越小代表性能越好。建议关注以下对比维度:
- native vs iwasm-aot:评估 WAMR AOT 相对原生编译的性能差距(AOT 接近原生的程度);
- iwasm-aot vs iwasm-aot-segue(Linux):评估 segue 优化带来的收益;
- iwasm-aot vs iwasm-aot-pgo:评估静态 PGO 优化带来的收益。
需要留意的前提与限制:
- 本基准主要用于 Linux 与 macOS 等有完整工具链的平台;
_segue.aot仅 Linux 生成,segue 特性当前主要在 linux x86-64 上支持(见 doc/perf_tune.md); llvm-profdata版本须与构建 wamrc 的 LLVM 主版本一致,否则 merge 可能失败;tsf负载依赖 wasi-sdk(/opt/wasi-sdk/bin/clang),其余负载依赖 emsdk;两个工具链需要同时准备;- PGO 优化效果依赖 profile 与实际运行负载的匹配程度,不同输入下收益可能不同。
小结
tests/benchmarks/jetstream 是 WAMR 性能验证体系中的一环,它把 JetStream 2 这一业界公认的 wasm 基准测试引入 WAMR 的构建与测试流程,提供了从工具链安装、一键构建、模式对比到静态 PGO 全流程的自动化脚本。通过 report.txt 中的 native / iwasm-aot / iwasm-aot-segue / iwasm-aot-pgo 四列数据,开发者可以快速定位运行时优化空间;而 test_pgo.sh 所演示的"插桩运行 → 收集 profile → 合并 → 重新编译"链路,同样适用于其他 wasm 负载(如 coremark),是 WAMR AOT 性能调优的通用范式。