使用 JetStream 2 基准测试套件评估 WAMR 的 AOT 与静态 PGO 性能

原创2026-10-09 12:24:141,733 阅读
文章标签:语言运行时WebAssembly解释器JIT编译编译器嵌入式物联网虚拟化

使用 JetStream 2 基准测试套件评估 WAMR 的 AOT 与静态 PGO 性能

JetStream 2 是 Mozilla 推出的 JavaScript 与 WebAssembly 基准测试套件,专注于现代 Web 应用中"启动迅速、执行高效、运行流畅"三类能力。WAMR 仓库在 tests/benchmarks/jetstream 目录中提供了一套完整的移植与自动化脚本,可以将 JetStream 2 的多个 wasm 负载编译为原生可执行文件与 WAMR AOT 文件,并逐项对比 native、iwasm-aot、iwasm-aot-segue 以及开启静态 PGO 后的 iwasm-aot-pgo 运行耗时。读完本文,你将掌握:如何构建 iwasm 与 wamrc、如何用 emsdk 与 wasi-sdk 交叉编译 JetStream 2 负载、如何一键跑出 report.txt 性能对比报告,以及如何通过 AOT 静态 PGO 流程让 wamrc 基于真实运行 profile 生成优化 AOT 文件。

基准测试套件概述

JetStream 2 是 JavaScript 与 WebAssembly 基准测试套件,聚焦于最先进的 Web 应用场景,衡量浏览器/运行时在启动速度、代码执行速度、运行流畅度三个维度的表现。WAMR 将其中的 wasm 负载引入 tests/benchmarks/jetstream 目录,作为评估运行时性能的实测手段。

该目录包含四个关键文件:

  • README.md —— 构建、运行与 PGO 测试说明(本文主体);
  • build.sh —— 一键构建原生可执行文件、wasm 文件与 AOT 文件;
  • run_aot.sh —— 运行 native 与 iwasm AOT 模式对比测试并生成 report.txt;
  • test_pgo.sh —— 运行开启静态 PGO 后的三模式对比测试;
  • jetstream.patch —— 对上游 mozilla/perf-automation 源码的移植补丁。

从 run_aot.sh 与 test_pgo.sh 中的 JETSTREAM_CASES 变量可以看到,本次基准覆盖 5 个负载:

负载 说明 来源(JetStream2/wasm 目录)
gcc-loops 由 GCC 循环优化测试生成的一组循环计算 gcc-loops.cpp
HashSet C++ 哈希表操作负载 HashSet.cpp
tsf TSF(The Simplest Format)序列化库的 IR 生成测试 TSF/ 子目录
float-mm 浮点矩阵乘法 simple/float-mm.c
quicksort 经典快速排序 quicksort.c

构建前准备

构建 iwasm 与 wamrc

JetStream 2 基准需要两个 WAMR 构建产物:运行时 iwasm 与 AOT 编译器 wamrc。构建方法参见 Build iwasm on Linux 或 Build iwasm on MacOS,以及 Build wamrc AOT compiler。简而言之,iwasm 由 product-mini/platforms/$(PLATFORM) 下的 CMake 工程生成,wamrc 由 wamr-compiler 工程生成;脚本中的默认路径分别是 product-mini/platforms/${PLATFORM}/build/iwasm 与 wamr-compiler/build/wamrc。

安装 emsdk

wasm 负载使用 Emscripten(emcc/em++)从 C/C++ 源码交叉编译。官方指引见 Emscripten 文档,仓库脚本建议安装到 /opt 并激活环境:

$ cd /opt
$ git clone https://github.com/emscripten-core/emsdk.git
$ cd emsdk
$ git pull
$ ./emsdk install latest
$ ./emsdk activate latest
$ echo "source /opt/emsdk/emsdk_env.sh" >> "${HOME}"/.bashrc

注意:build.sh 开头会执行 source /opt/emsdk/emsdk_env.sh,因此请确保 emsdk 安装在 /opt/emsdk 且环境变量已正确设置。

安装 llvm-profdata(PGO 专用)

只有当需要运行 test_pgo.sh 时才需要 llvm-profdata,其版本必须与构建 wamrc 所用的 LLVM 库主版本一致(见 tests/benchmarks/README.md)。两种安装方式:

方式一:apt 安装

在 Ubuntu 20.04 中向 /etc/apt/source.list 添加:

deb http://apt.llvm.org/focal/ llvm-toolchain-focal main
deb-src http://apt.llvm.org/focal/ llvm-toolchain-focal main
# 15
deb http://apt.llvm.org/focal/ llvm-toolchain-focal-15 main
deb-src http://apt.llvm.org/focal/ llvm-toolchain-focal-15 main
# 18
deb http://apt.llvm.org/focal/ llvm-toolchain-focal-18 main
deb-src http://apt.llvm.org/focal/ llvm-toolchain-focal-18 main

然后执行 sudo apt update、sudo apt install llvm,并建立符号链接:

cd /usr/bin
sudo ln -s llvm-profdata-18 llvm-profdata

方式二:源码构建

git clone --depth 1 --branch release/18.x https://github.com/llvm/llvm-project.git
cd llvm-project
mkdir build && cd build
cmake ../llvm \
    -DCMAKE_BUILD_TYPE:STRING="Release" \
    -DCMAKE_EXPORT_COMPILE_COMMANDS=ON \
    -DLLVM_APPEND_VC_REV:BOOL=ON \
    -DLLVM_BUILD_EXAMPLES:BOOL=OFF \
    -DLLVM_BUILD_LLVM_DYLIB:BOOL=OFF \
    -DLLVM_BUILD_TESTS:BOOL=OFF \
    -DLLVM_CCACHE_BUILD:BOOL=ON \
    -DLLVM_ENABLE_BINDINGS:BOOL=OFF \
    -DLLVM_ENABLE_IDE:BOOL=OFF \
    -DLLVM_ENABLE_LIBEDIT=OFF \
    -DLLVM_ENABLE_TERMINFO:BOOL=OFF \
    -DLLVM_ENABLE_ZLIB:BOOL=ON \
    -DLLVM_INCLUDE_BENCHMARKS:BOOL=OFF \
    -DLLVM_INCLUDE_DOCS:BOOL=OFF \
    -DLLVM_INCLUDE_EXAMPLES:BOOL=OFF \
    -DLLVM_INCLUDE_UTILS:BOOL=OFF \
    -DLLVM_INCLUDE_TESTS:BOOL=OFF \
    -DLLVM_OPTIMIZED_TABLEGEN:BOOL=ON \
    -DLLVM_ENABLE_LIBXML2:BOOL=OFF \
    -DLLVM_TARGETS_TO_BUILD:STRING="X86" \
    -DLLVM_INCLUDE_TOOLS:BOOL=ON \
    -G'Ninja'
ninja -j 8
# tool `llvm-profdata` 生成于当前 build 目录

构建完成后,llvm-profdata 生成于该 build 目录下,可将其加入 PATH 供 test_pgo.sh 调用。

注:示例中通过 -DLLVM_CCACHE_BUILD:BOOL=ON 启用 ccache。若使用 build_llvm.py 脚本,ccache 默认关闭以减少 CI 存储消耗;如需启用,可用 python3 build_llvm.py --use-ccache --arch X86。

一键构建:build.sh 做了什么

执行 ./build.sh(可选参数 --no-simd 关闭 SIMD)后,脚本会:

  1. 检查并克隆上游 mozilla/perf-automation 仓库(若 perf-automation 目录不存在),并应用 jetstream.patch;
  2. 在 out/ 目录下为每个负载生成三类产物:
    • ${case}_native —— 用本机 gcc/g++ 以 -O3 编译的原生可执行文件;
    • ${case}.wasm —— 用 emcc/em++(或 wasi-sdk)以 -O3 -s STANDALONE_WASM=1 编译的 wasm 文件;
    • ${case}.aot —— 用 wamrc 将 wasm 编译为 AOT 文件;
  3. 在 Linux 平台上额外生成 --enable-segue 优化的 ${case}_segue.aot。

各负载的具体编译命令(摘自 build.sh)如下。

gcc-loops(g++ / em++)

g++ -O3 -msse2 -msse3 -msse4 -o out/gcc-loops_native gcc-loops.cpp

em++ -O3 -s STANDALONE_WASM=1 -msimd128 \
     -s INITIAL_MEMORY=1048576 \
     -s TOTAL_STACK=32768 \
     -s "EXPORTED_FUNCTIONS=['_main']" \
     -s ERROR_ON_UNDEFINED_SYMBOLS=0 \
     -o out/gcc-loops.wasm gcc-loops.cpp

wamrc -o out/gcc-loops.aot out/gcc-loops.wasm

quicksort(gcc / emcc)

gcc -O3 -msse2 -msse3 -msse4 -o out/quicksort_native quicksort.c

emcc -O3 -s STANDALONE_WASM=1 -msimd128 \
     -s INITIAL_MEMORY=1048576 \
     -s TOTAL_STACK=32768 \
     -s "EXPORTED_FUNCTIONS=['_main']" \
     -o out/quicksort.wasm quicksort.c

wamrc -o out/quicksort.aot out/quicksort.wasm

HashSet(g++ / em++)

g++ -O3 -msse2 -msse3 -msse4 -o out/HashSet_native HashSet.cpp -lstdc++

em++ -O3 -s STANDALONE_WASM=1 -msimd128 \
     -s INITIAL_MEMORY=1048576 \
     -s TOTAL_STACK=32768 \
     -s "EXPORTED_FUNCTIONS=['_main']" \
     -o out/HashSet.wasm HashSet.cpp

wamrc -o out/HashSet.aot out/HashSet.wasm

float-mm(gcc / emcc)

float-mm 位于 JetStream2 的 simple 子目录,构建时脚本会先切换目录:

gcc -O3 -msse2 -msse3 -msse4 -o out/float-mm_native float-mm.c

emcc -O3 -s STANDALONE_WASM=1 -msimd128 \
     -s INITIAL_MEMORY=1048576 \
     -s TOTAL_STACK=32768 \
     -s "EXPORTED_FUNCTIONS=['_main']" \
     -o out/float-mm.wasm float-mm.c

wamrc -o out/float-mm.aot out/float-mm.wasm

tsf(gcc / wasi-sdk)

tsf 由多个 C 源文件构成(tsf_srcs 变量列出约 60 个文件),原生版本用 gcc 编译;wasm 版本则使用 wasi-sdk 的 clang 编译而非 emcc,因此除 emsdk 外还需在 /opt/wasi-sdk 安装 wasi-sdk:

gcc -o out/tsf_native -O3 -msse2 -msse3 -msse4 \
    -I. -DTSF_BUILD_SYSTEM=1 ${tsf_srcs} -lm

/opt/wasi-sdk/bin/clang -O3 -msimd128 -z stack-size=1048576 \
    -Wl,--initial-memory=52428800 \
    -Wl,--export=main \
    -Wl,--export=__heap_base,--export=__data_end \
    -I. -DTSF_BUILD_SYSTEM=1 \
    -Wl,--allow-undefined \
    -o out/tsf.wasm ${tsf_srcs}

wamrc -o out/tsf.aot out/tsf.wasm

Linux 平台的 segue 变体

在 Linux 上,每个负载还会额外生成 _segue.aot:

wamrc --enable-segue -o out/gcc-loops_segue.aot out/gcc-loops.wasm

Segue 是 WAMR 的一项优化技术,使 AOT 编译出的机器码可以不依赖显式边界检查而直接访问内存(见 doc/perf_tune.md),用于对比更激进的性能优化效果。run_aot.sh 中,Linux 平台的报告表头会多出一列 iwasm-aot-segue。

移植补丁 jetstream.patch

上游源码不能直接编译为 wasm,需要先应用补丁(jetstream.patch),主要内容包括:

  • HashSet.cpp:补入 <limits>、<string.h> 头文件,并将 std::memcpy 改为 memcpy,规避 wasm 环境下标准库符号解析问题;
  • TSF/gpc_code_gen_util.c:显式声明 readdir_r,处理 wasi-sdk 下 POSIX 接口的可用性问题;
  • TSF/tsf_internal.h:为 tsf_fsdb 结构体的 remote 联合体补充 uint32_t __padding,对齐结构布局;
  • TSF/tsf_ir_speed.c:每处理 100 个 program 打印一次进度,便于观察长耗时负载的执行进度。

这些改动说明 JetStream 2 的上游代码面向浏览器与桌面环境,移植到 wasm/wasi 运行时环境时需要针对标准库与结构对齐做适配。

运行基准:run_aot.sh

构建完成后,在 tests/benchmarks/jetstream 目录执行:

./run_aot.sh

脚本将依次对 5 个负载执行三种(Linux)或两种(其他平台)模式的运行,并把耗时写入 report.txt:

  1. native:直接运行 ${case}_native 可执行文件;
  2. iwasm-aot:iwasm --dir=. ${case}.aot;
  3. iwasm-aot-segue(仅 Linux):iwasm --dir=. ${case}_segue.aot。

计时方式使用 /usr/bin/time -f "real-%e-time" 记录真实运行时间,并通过 grep/awk 提取 real 秒数写入报告。--dir=. 使 iwasm 以当前目录作为工作目录,保证 wasm 程序的文件访问行为与 native 一致。最终生成的 report.txt 中,Linux 平台的表头为:

                              native    iwasm-aot    iwasm-aot-segue

其他平台为:

                              native    iwasm-aot

运行静态 PGO 测试:test_pgo.sh

前置条件

运行 ./test_pgo.sh 前需要满足:

  1. 已安装 llvm-profdata(版本与构建 wamrc 所用 LLVM 主版本一致);
  2. iwasm 以静态 PGO 模式编译:cmake -DWAMR_BUILD_STATIC_PGO=1;
  3. 已先运行 ./build.sh 生成 out/ 下的 wasm 文件。

其中 WAMR_BUILD_STATIC_PGO 编译开关在 doc/build_wamr.md 中被描述为 "Static PGO",默认关闭(值为 0/1);开启后,运行时支持通过 --gen-prof-file 导出 LLVM 原始 profile 数据。在 product-mini/platforms/linux-sgx/CMakeLists.txt 中也可看到该开关与 AOT 开关的联动逻辑(WAMR_BUILD_STATIC_PGO EQUAL 1 AND WAMR_BUILD_AOT EQUAL 1)。

平台与工具路径

test_pgo.sh 会根据第一个参数选择运行环境:

  • 默认(Linux 或其他平台):使用 product-mini/platforms/${PLATFORM}/build/iwasm 与 wamr-compiler/build/wamrc;
  • Linux-sgx:./test_pgo.sh --sgx,使用 product-mini/platforms/linux-sgx/enclave-sample/iwasm 与 wamrc -sgx。

完整 PGO 流程

对每个负载,test_pgo.sh 执行如下六步(摘自 test_pgo.sh):

# 1. 常规 AOT 编译
wamrc -o ${t}.aot ${t}.wasm

# 2. 生成插桩 AOT 文件(instrumented)
wamrc --enable-llvm-pgo -o ${t}_pgo.aot ${t}.wasm

# 3. 运行插桩文件,产出原始 profile
iwasm --gen-prof-file=${t}.profraw --dir=. ${t}_pgo.aot

# 4. 合并原始 profile
llvm-profdata merge -output=${t}.profdata ${t}.profraw

# 5. 基于 profile 生成优化 AOT 文件
wamrc --use-prof-file=${t}.profdata -o ${t}_opt.aot ${t}.wasm

随后进入与 run_aot.sh 类似的计时环节,但表头变为:

                              native    iwasm-aot    iwasm-aot-pgo

其中 iwasm-aot-pgo 一列运行的是 iwasm --dir=. ${t}_opt.aot。这样在同一份报告中,你可以直观对比:原生编译、普通 AOT、基于真实运行 profile 优化后的 AOT 三种模式的实际耗时。

与通用 AOT 静态 PGO 流程的对应关系

上述脚本其实是 doc/perf_tune.md 第 5 节描述的 WAMR AOT 静态 PGO 通用流程的自动化实现:

  1. wamrc --enable-llvm-pgo -o <aot_file_of_pgo> <wasm_file> 生成插桩 AOT 文件;
  2. 以 WAMR_BUILD_STATIC_PGO=1 编译 iwasm,运行 iwasm --gen-prof-file=<raw_profile_file> <aot_file_of_pgo> 生成原始 profile;
  3. 安装/编译 llvm-profdata;
  4. llvm-profdata merge -output=<profile_file> <raw_profile_file> 合并 profile;
  5. wamrc --use-prof-file=<profile_file> -o <aot_file> <wasm_file> 生成优化 AOT 文件;
  6. iwasm <aot_file> 运行优化后的文件。

这些命令行选项在 wamr-compiler/main.c 中均有实现:--enable-llvm-pgo(第 197、611 行附近)用于开启 LLVM PGO 插桩,--use-prof-file=<file>(第 200、619 行附近)用于指定合并后的 profile 文件。

此外,perf_tune.md 还提示:若目标环境不支持将原始 profile 直接写盘,可通过运行时 API 将 profile 数据导出到内存缓冲区,再通过网络(uart/socket 等)输出:

uint32_t wasm_runtime_get_pgo_prof_data_size(wasm_module_inst_t module_inst);
uint32_t wasm_runtime_dump_pgo_prof_data_to_buf(wasm_module_inst_t module_inst, char *buf, uint32_t len);

这对嵌入式等无文件系统场景尤为关键。

Linux-sgx 下的 PGO 测试

针对 Linux-sgx 平台,文档给出额外说明:

  1. 以 cmake -DWAMR_BUILD_STATIC_PGO=1 构建 iwasm;
  2. 在 product-mini/platforms/linux-sgx/enclave-sample 目录执行 make;
  3. 运行 ./test_pgo.sh --sgx 进行测试。

运行结果解读与注意事项

report.txt 中所有时间单位为秒(real 时间),数值越小代表性能越好。建议关注以下对比维度:

  • native vs iwasm-aot:评估 WAMR AOT 相对原生编译的性能差距(AOT 接近原生的程度);
  • iwasm-aot vs iwasm-aot-segue(Linux):评估 segue 优化带来的收益;
  • iwasm-aot vs iwasm-aot-pgo:评估静态 PGO 优化带来的收益。

需要留意的前提与限制:

  • 本基准主要用于 Linux 与 macOS 等有完整工具链的平台;_segue.aot 仅 Linux 生成,segue 特性当前主要在 linux x86-64 上支持(见 doc/perf_tune.md);
  • llvm-profdata 版本须与构建 wamrc 的 LLVM 主版本一致,否则 merge 可能失败;
  • tsf 负载依赖 wasi-sdk(/opt/wasi-sdk/bin/clang),其余负载依赖 emsdk;两个工具链需要同时准备;
  • PGO 优化效果依赖 profile 与实际运行负载的匹配程度,不同输入下收益可能不同。

小结

tests/benchmarks/jetstream 是 WAMR 性能验证体系中的一环,它把 JetStream 2 这一业界公认的 wasm 基准测试引入 WAMR 的构建与测试流程,提供了从工具链安装、一键构建、模式对比到静态 PGO 全流程的自动化脚本。通过 report.txt 中的 native / iwasm-aot / iwasm-aot-segue / iwasm-aot-pgo 四列数据,开发者可以快速定位运行时优化空间;而 test_pgo.sh 所演示的"插桩运行 → 收集 profile → 合并 → 重新编译"链路,同样适用于其他 wasm 负载(如 coremark),是 WAMR AOT 性能调优的通用范式。

登录后查看全文
wasm-micro-runtime