OpenMOSS 发布 EasyWAM-Hidden-Wan22-LoRA-128:世界动作模型 WAM 完全解读与入门指南

原创2026-10-20 19:54:592,184 阅读

OpenMOSS 发布 EasyWAM-Hidden-Wan22-LoRA-128:世界动作模型 WAM 完全解读与入门指南

EasyWAM-Hidden-Wan22-LoRA-128 是 OpenMOSS 开源的**世界动作模型(World Action Model,WAM)**检查点,基于 Wan2.2-TI2V-5B 视频大模型骨干,使用 rank-128 LoRA 在 LIBERO 机器人基准上训练,平均成功率达 93.9%。本文将带你从零理解 WAM 是什么、EasyWAM-Hidden 架构如何工作,以及如何快速下载权重并运行评测。

一、一文读懂世界动作模型 WAM:它和模仿学习有何不同?

世界动作模型(World Action Model)是具身智能与机器人操作研究中的热门方向。简单说:

它先通过视频"看懂"物理世界、"预测"环境将如何演化,再基于这份理解输出机器人的动作。

传统的模仿学习通常直接学习"观测 → 动作"的映射;而 WAM 把"世界如何变化"作为中间表征——模型先理解环境未来的状态,再决定接下来做什么。这种设计让动作决策更具可解释性,也更容易在环境变化时保持鲁棒。

EasyWAM-Hidden-Wan22-LoRA-128 就是 OpenMOSS 团队开源的一份 WAM 实践:它复用了 50 亿参数的视频大模型(Wan2.2-TI2V-5B)作为"世界感知骨干",在其上挂载一个轻量动作网络,仅用 20,000 步训练,就赋予了机器人流畅的操作能力。🤖

二、EasyWAM-Hidden 架构解析:Hidden 到底指什么?

项目名看着很长,拆开看其实一目了然:

名称片段 含义
EasyWAM OpenMOSS 团队的"易上手"世界动作模型代码库
Hidden 用视频 DiT 的**中间特征(hidden features)**来条件化动作网络
Wan22 骨干为 Wan2.2-TI2V-5B 视频生成模型
LoRA-128 采用 LoRA 微调(r=128,alpha=128),轻量易用

EasyWAM-Hidden 的核心设计可以概括为三步:

  1. 世界侧:Wan2.2-TI2V-5B(文/图生视频的扩散 Transformer)负责编码视觉序列,理解场景动态;
  2. 动作侧:一个独立的 Action DiT 不直接吃视频像素,而是接收 Video DiT 的中间特征作为输入;
  3. 输出:Action DiT 输出 7 维动作序列(通常对应末端执行器的位置、姿态与夹爪控制)。

相比 EasyWAM 的另外两种变体——Unified(世界与动作融于同一网络)与 MoT(混合专家式)——Hidden 方案在"解耦程度"与"性能"之间取得了很好的平衡,这也是它在更难的分化偏移评测中表现领先的原因。📌

架构与训练细节可参见项目自带的 README.md,对应的权重文件为 easywam_hidden_wan22_lora_128.pt。

三、核心性能:LIBERO 与 LIBERO-Plus 评测结果一览

LIBERO 是机器人操作领域的经典基准,包含 Spatial(空间关系)、Object(物体识别)、Goal(目标导向)、Long(长时程任务)四类任务。以下是 EasyWAM LIBERO 评测协议下的成功率(%):

全参数模型对比

模型 Spatial Object Goal Long Avg.
EasyWAM-Unified 99.0 99.4 99.2 98.2 99.0
EasyWAM-MoT 97.8 98.4 97.6 95.6 97.4
EasyWAM-Hidden 99.4 100.0 97.0 97.8 98.6

LoRA(Rank 128)轻量版本对比

模型 Spatial Object Goal Long Avg.
EasyWAM-Unified 84.0 97.8 92.0 81.2 88.8
EasyWAM-MoT 96.8 98.8 94.4 90.4 95.1
EasyWAM-Hidden(本项目) 96.8 99.4 92.6 86.8 93.9

可以看出:全参数版 Hidden 平均 98.6%,接近 Unified 的 99.0%;压缩到 LoRA-128 后依然保持 93.9%,在所有 LoRA 变体中位列第一。

分布偏移下的鲁棒性:LIBERO-Plus 成功率(%)

LIBERO-Plus 进一步引入了背景、相机、语言、布局、光照、噪声等 7 类扰动,专门考验模型的泛化能力:

模型 Background Camera Language Layout Light Noise Robot Avg.
EasyWAM-Unified 55.8 33.7 93.7 80.6 92.2 50.2 71.4 67.5
EasyWAM-MoT 52.8 20.6 80.4 65.2 85.1 51.5 49.7 56.8
EasyWAM-Hidden 56.8 49.2 95.3 81.0 90.4 58.2 77.4 72.4

💡 关键看点:EasyWAM-Hidden 平均 72.4% 全面领先,且各维度表现最均衡,没有明显短板。

四、检查点关键参数速查表

参数 数值
架构 EasyWAM-Hidden
骨干网络 Wan2.2-TI2V-5B
训练方式 LoRA(rank=128,alpha=128)
训练数据集 LIBERO,双相机,224 px 输入
训练步数 20,000
动作维度 7
状态维度 8
文件格式 EasyWAM PyTorch checkpoint(.pt)
协议 检查点为 CC BY-NC 4.0,EasyWAM 代码为 MIT

五、快速上手:权重下载与 LIBERO 评测运行步骤

1. 下载模型权重

安装 hf 命令行工具后,执行 README 中给出的命令即可:

hf download OpenMOSS-Team/EasyWAM-Hidden-Wan22-LoRA-128 \
  easywam_hidden_wan22_lora_128.pt \
  --local-dir ./checkpoints

也可以直接克隆本项目仓库,使用仓库内置的权重文件:

git clone https://gitcode.com/OpenMOSS/EasyWAM-Hidden-Wan22-LoRA-128

2. 运行 LIBERO 评测

该检查点需配合 EasyWAM 代码库使用。按官方 LIBERO 指南准备好 Wan2.2 模型、LIBERO 环境及配套的 dataset_stats.json 后,运行:

python experiments/libero/run_libero_manager.py \
  task=libero_easywam_hidden_wan22_lora \
  ckpt=./checkpoints/easywam_hidden_wan22_lora_128.pt

🔧 EasyWAM 在加载该检查点时,会根据任务配置自动创建匹配的 LoRA 模块并合并,无需额外手动配置。

3. 硬件与依赖建议

  • 评测需加载完整的 5B 视频骨干,建议使用显存充足(如 24GB 及以上)的 GPU 运行;
  • LoRA 权重本身很轻量,主要计算开销来自 Wan2.2 骨干推理;
  • 具体环境搭建请参照 EasyWAM 项目的 LIBERO 官方指南。

六、常见问题 FAQ

Q1:这个项目和 EasyWAM 代码库是什么关系? 本仓库只存放训练好的检查点与说明文档,训练与评测代码在 EasyWAM 代码库中。可以把它理解为 EasyWAM-Hidden 架构的"开箱即用权重包"。

Q2:为什么发布 LoRA 版而不是全参数版? 全参数 Hidden 能达到 98.6%,但 LoRA-128 的可训练参数极少、训练成本低得多,同时保持 93.9% 的强性能,更适合研究者在自己的数据上复现与二次开发。

Q3:能直接用在其他机器人平台吗? 当前动作/状态维度(7 维动作、8 维状态)是为 LIBERO 配置的。迁移到其他平台时,需要按 EasyWAM 代码库的配置调整动作头与数据集统计量。

Q4:使用有什么限制? EasyWAM 代码遵循 MIT 协议;本检查点的使用还受 CC BY-NC 4.0(非商业)及其基础模型条款约束,商用场景请留意合规。

七、总结:谁适合使用 EasyWAM-Hidden-Wan22-LoRA-128?

  • 它是什么:OpenMOSS 开源的世界动作模型(WAM)检查点 = Wan2.2-TI2V-5B 视频骨干 + Hidden 中间特征条件化 + rank-128 LoRA;
  • 性能如何:LIBERO 平均成功率 93.9%(所有 LoRA 变体中最佳),LIBERO-Plus 平均 72.4%(综合第一);
  • 适合谁:想快速复现 WAM、研究"视频大模型 + 机器人动作"结合方向、或希望低门槛微调的具身智能研究者;
  • 上手成本:两步走——下载权重、配合 EasyWAM 代码库运行评测即可开始。✅

对世界动作模型感兴趣的读者,建议先从 LIBERO 上的 LoRA-128 复现入手,再逐步探索 Hidden 特征条件化的更多玩法。

登录后查看全文
EasyWAM-Hidden-Wan22-LoRA-128