首页
/ WAMR项目中多线程内存访问越界问题的分析与解决

WAMR项目中多线程内存访问越界问题的分析与解决

2025-06-08 11:53:11作者:虞亚竹Luna

问题背景

在Wasm Micro Runtime (WAMR)项目中,开发者在使用多线程功能时遇到了一个棘手的问题:当Wasm应用中创建多个线程并频繁进行内存分配/释放操作时,系统会随机出现"out of bounds memory access"错误。这个问题特别容易在以下场景触发:

  1. 主线程创建两个工作线程(一个HTTP服务器线程和一个WebSocket客户端线程)
  2. 线程中使用了jsoncpp库进行JSON数据解析
  3. 频繁调用wasm_runtime_module_malloc和wasm_runtime_module_free函数

问题现象

错误表现为随机出现的越界内存访问,通常在正常运行几次或十几次后发生。通过调试发现:

  • 单纯在主线程中循环调用malloc/free 6000次不会崩溃
  • 当工作线程收到数据并进行JSON解析时必定崩溃
  • 如果只是简单打印日志而不进行JSON解析则不会崩溃

根本原因分析

经过深入排查,发现问题的根源在于内存分配机制的线程安全性问题:

  1. WASI SDK的dlmalloc问题:默认情况下,WASI SDK中的libc.a包含了dlmalloc.o,这个内存分配器在多线程环境下存在线程安全问题。

  2. 两种线程模型冲突:项目中同时启用了WAMR的lib-pthread和WASI线程支持(DWAMR_BUILD_LIB_WASI_THREADS=1),导致线程管理混乱。

  3. 堆栈大小限制:默认的线程堆栈大小可能不足,特别是在进行复杂操作(如JSON解析)时。

解决方案

经过多次试验,最终确定了以下解决方案:

1. 移除dlmalloc.o

从WASI SDK的libc.a中移除dlmalloc.o,强制使用WAMR的内存分配器:

ar d libc.a dlmalloc.o

2. 调整编译选项

修改CMake配置,禁用WASI线程支持,仅使用WAMR的lib-pthread:

-DWAMR_BUILD_LIB_PTHREAD=1 
-DWAMR_BUILD_LIB_WASI_THREADS=0

3. 增加堆栈大小

在链接选项中增加线程堆栈大小:

LINKER:-zstack-size=20971520

4. 设置最大线程数

在运行时设置合理的最大线程数:

wasm_runtime_set_max_thread_num(4);

5. 导出必要符号

确保正确导出Wasm构造函数:

LINKER:--export=__wasm_call_ctors

并在调用init()前先调用它:

wasm_function_inst_t call_ctors_func = wasm_runtime_lookup(module_inst, "__wasm_call_ctors");
wasm_runtime_call_wasm(exec_env, call_ctors_func, 0, NULL);

技术要点总结

  1. 线程模型选择:WAMR提供了两种线程实现方式 - lib-pthread和WASI线程。在大多数情况下,推荐使用lib-pthread,因为它更成熟稳定。

  2. 内存分配安全:在多线程环境中,必须确保内存分配器是线程安全的。WAMR的内存分配器经过专门优化,适合多线程场景。

  3. 资源限制:Wasm应用的线程堆栈和内存限制需要根据实际需求合理设置,特别是当应用需要进行复杂操作(如JSON解析)时。

  4. 初始化顺序:C++应用的全局对象初始化需要通过__wasm_call_ctors完成,必须在主逻辑前调用。

最佳实践建议

  1. 对于多线程Wasm应用,建议:

    • 使用WAMR的lib-pthread而非WASI线程
    • 移除WASI SDK中的dlmalloc.o
    • 设置足够的堆栈和内存空间
  2. 调试技巧:

    • 使用wasm_runtime_set_max_thread_num限制线程数量
    • 逐步增加线程功能,定位问题点
    • 关注线程间共享数据的访问安全
  3. 性能考量:

    • 合理规划线程数量
    • 避免频繁的内存分配/释放
    • 考虑使用内存池技术

通过以上措施,开发者可以构建稳定可靠的多线程Wasm应用,充分发挥WAMR的高性能特性。

登录后查看全文
热门项目推荐

项目优选

收起
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
C++
178
263
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
868
514
openGauss-serveropenGauss-server
openGauss kernel ~ openGauss is an open source relational database management system
C++
130
183
openHiTLSopenHiTLS
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
288
323
HarmonyOS-ExamplesHarmonyOS-Examples
本仓将收集和展示仓颉鸿蒙应用示例代码,欢迎大家投稿,在仓颉鸿蒙社区展现你的妙趣设计!
Cangjie
398
373
CangjieCommunityCangjieCommunity
为仓颉编程语言开发者打造活跃、开放、高质量的社区环境
Markdown
1.07 K
0
ShopXO开源商城ShopXO开源商城
🔥🔥🔥ShopXO企业级免费开源商城系统,可视化DIY拖拽装修、包含PC、H5、多端小程序(微信+支付宝+百度+头条&抖音+QQ+快手)、APP、多仓库、多商户、多门店、IM客服、进销存,遵循MIT开源协议发布、基于ThinkPHP8框架研发
JavaScript
93
15
note-gennote-gen
一款跨平台的 Markdown AI 笔记软件,致力于使用 AI 建立记录和写作的桥梁。
TSX
83
4
cherry-studiocherry-studio
🍒 Cherry Studio 是一款支持多个 LLM 提供商的桌面客户端
TypeScript
600
58
GitNextGitNext
基于可以运行在OpenHarmony的git,提供git客户端操作能力
ArkTS
10
3