WasmEdge在Jetson设备上使用CUDA11的编译指南

背景介绍

WasmEdge是一个高性能的WebAssembly运行时，支持在边缘计算设备上运行AI推理等计算密集型任务。对于NVIDIA Jetson系列开发板用户来说，利用CUDA加速可以显著提升AI模型的推理性能。然而，官方发布的0.14.1版本中缺少针对Jetson设备(aarch64架构)和CUDA11的预编译插件包。

问题分析

当用户在Jetson设备上运行官方安装脚本时，系统会尝试下载一个名为"WasmEdge-plugin-wasi_nn-ggml-cuda-11-0.14.1-ubuntu20.04_aarch64.tar.gz"的插件包。但由于官方缺乏Jetson设备进行测试验证，这个特定架构的预编译包并未包含在0.14.1版本的发布中。

解决方案

用户需要从源代码自行编译WasmEdge插件。以下是详细的编译步骤和注意事项：

1. 环境准备

确保Jetson设备已安装：

• Ubuntu 20.04操作系统
• 适当版本的CUDA工具包
• 基础开发工具链(gcc, cmake等)

2. 关键编译参数

编译时需要特别注意以下参数：

• CUDAARCHS：需要设置为Jetson设备的计算能力版本号，不同型号的Jetson设备有不同的计算能力
• CMAKE_CUDA_COMPILER：如果CUDA编译器不在默认路径，需要手动指定

3. 完整编译脚本

# 设置Jetson设备的计算能力版本(根据实际设备调整)
export CUDAARCHS=72
export CXXFLAGS="-Wno-error"

# 定义输出文件名和路径
_OUTPUT_NAME=WasmEdge-plugin-wasi_nn-ggml-cuda-0.14.1-ubuntu20.04_aarch64.tar.gz
_OUTPUT_PREFIX="build"
_OUTPUT_DIR="${_OUTPUT_PREFIX}/plugins/wasi_nn"

# 配置CMake选项
_CMAKE_OPTIONS="-DWASMEDGE_PLUGIN_WASI_NN_BACKEND=GGML \
               -DWASMEDGE_PLUGIN_WASI_NN_GGML_LLAMA_BLAS=OFF \
               -DWASMEDGE_PLUGIN_WASI_NN_GGML_LLAMA_CUBLAS=ON"

# 清理并创建构建目录
rm -rf ${_OUTPUT_PREFIX}

# 执行CMake配置
cmake -B${_OUTPUT_PREFIX} -GNinja \
    -DCMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc \
    -DCMAKE_BUILD_TYPE=Release \
    -DWASMEDGE_BUILD_AOT_RUNTIME=OFF \
    -DWASMEDGE_USE_LLVM=OFF \
    -DWASMEDGE_BUILD_TOOLS=OFF \
    ${_CMAKE_OPTIONS}

# 开始编译
cmake --build ${_OUTPUT_PREFIX}

# 打包生成的文件
cp -f ${_OUTPUT_DIR}/libwasmedgePluginWasiNN.so libwasmedgePluginWasiNN.so
tar -zcvf ${_OUTPUT_NAME} libwasmedgePluginWasiNN.so

注意事项

1. 计算能力版本：不同Jetson设备的计算能力不同，例如：

   • Jetson Xavier NX: 72
   • Jetson AGX Xavier: 72
   • Jetson Orin系列: 87 用户应根据自己的设备型号调整CUDAARCHS参数

2. CUDA路径：如果CUDA安装在其他路径，需要相应调整CMAKE_CUDA_COMPILER参数

3. 内存需求：编译过程可能需要较多内存，建议在内存充足的设备上进行

4. 依赖项：确保所有必要的依赖库都已安装，如CUDA运行时库等

性能优化建议

成功编译后，用户可以通过以下方式进一步优化性能：

• 调整WasmEdge运行时参数
• 优化模型量化参数
• 根据具体应用场景调整CUDA核心使用率

通过自行编译，Jetson设备用户可以充分利用本地GPU加速能力，在边缘计算场景中获得更好的AI推理性能。