OpenMOSS 发布 EasyWAM-Hidden-Wan22-LoRA-128:世界动作模型 WAM 完全解读与入门指南
OpenMOSS 发布 EasyWAM-Hidden-Wan22-LoRA-128:世界动作模型 WAM 完全解读与入门指南
EasyWAM-Hidden-Wan22-LoRA-128 是 OpenMOSS 开源的**世界动作模型(World Action Model,WAM)**检查点,基于 Wan2.2-TI2V-5B 视频大模型骨干,使用 rank-128 LoRA 在 LIBERO 机器人基准上训练,平均成功率达 93.9%。本文将带你从零理解 WAM 是什么、EasyWAM-Hidden 架构如何工作,以及如何快速下载权重并运行评测。
一、一文读懂世界动作模型 WAM:它和模仿学习有何不同?
世界动作模型(World Action Model)是具身智能与机器人操作研究中的热门方向。简单说:
它先通过视频"看懂"物理世界、"预测"环境将如何演化,再基于这份理解输出机器人的动作。
传统的模仿学习通常直接学习"观测 → 动作"的映射;而 WAM 把"世界如何变化"作为中间表征——模型先理解环境未来的状态,再决定接下来做什么。这种设计让动作决策更具可解释性,也更容易在环境变化时保持鲁棒。
EasyWAM-Hidden-Wan22-LoRA-128 就是 OpenMOSS 团队开源的一份 WAM 实践:它复用了 50 亿参数的视频大模型(Wan2.2-TI2V-5B)作为"世界感知骨干",在其上挂载一个轻量动作网络,仅用 20,000 步训练,就赋予了机器人流畅的操作能力。🤖
二、EasyWAM-Hidden 架构解析:Hidden 到底指什么?
项目名看着很长,拆开看其实一目了然:
| 名称片段 | 含义 |
|---|---|
| EasyWAM | OpenMOSS 团队的"易上手"世界动作模型代码库 |
| Hidden | 用视频 DiT 的**中间特征(hidden features)**来条件化动作网络 |
| Wan22 | 骨干为 Wan2.2-TI2V-5B 视频生成模型 |
| LoRA-128 | 采用 LoRA 微调(r=128,alpha=128),轻量易用 |
EasyWAM-Hidden 的核心设计可以概括为三步:
- 世界侧:Wan2.2-TI2V-5B(文/图生视频的扩散 Transformer)负责编码视觉序列,理解场景动态;
- 动作侧:一个独立的 Action DiT 不直接吃视频像素,而是接收 Video DiT 的中间特征作为输入;
- 输出:Action DiT 输出 7 维动作序列(通常对应末端执行器的位置、姿态与夹爪控制)。
相比 EasyWAM 的另外两种变体——Unified(世界与动作融于同一网络)与 MoT(混合专家式)——Hidden 方案在"解耦程度"与"性能"之间取得了很好的平衡,这也是它在更难的分化偏移评测中表现领先的原因。📌
架构与训练细节可参见项目自带的 README.md,对应的权重文件为 easywam_hidden_wan22_lora_128.pt。
三、核心性能:LIBERO 与 LIBERO-Plus 评测结果一览
LIBERO 是机器人操作领域的经典基准,包含 Spatial(空间关系)、Object(物体识别)、Goal(目标导向)、Long(长时程任务)四类任务。以下是 EasyWAM LIBERO 评测协议下的成功率(%):
全参数模型对比
| 模型 | Spatial | Object | Goal | Long | Avg. |
|---|---|---|---|---|---|
| EasyWAM-Unified | 99.0 | 99.4 | 99.2 | 98.2 | 99.0 |
| EasyWAM-MoT | 97.8 | 98.4 | 97.6 | 95.6 | 97.4 |
| EasyWAM-Hidden | 99.4 | 100.0 | 97.0 | 97.8 | 98.6 |
LoRA(Rank 128)轻量版本对比
| 模型 | Spatial | Object | Goal | Long | Avg. |
|---|---|---|---|---|---|
| EasyWAM-Unified | 84.0 | 97.8 | 92.0 | 81.2 | 88.8 |
| EasyWAM-MoT | 96.8 | 98.8 | 94.4 | 90.4 | 95.1 |
| EasyWAM-Hidden(本项目) | 96.8 | 99.4 | 92.6 | 86.8 | 93.9 |
可以看出:全参数版 Hidden 平均 98.6%,接近 Unified 的 99.0%;压缩到 LoRA-128 后依然保持 93.9%,在所有 LoRA 变体中位列第一。
分布偏移下的鲁棒性:LIBERO-Plus 成功率(%)
LIBERO-Plus 进一步引入了背景、相机、语言、布局、光照、噪声等 7 类扰动,专门考验模型的泛化能力:
| 模型 | Background | Camera | Language | Layout | Light | Noise | Robot | Avg. |
|---|---|---|---|---|---|---|---|---|
| EasyWAM-Unified | 55.8 | 33.7 | 93.7 | 80.6 | 92.2 | 50.2 | 71.4 | 67.5 |
| EasyWAM-MoT | 52.8 | 20.6 | 80.4 | 65.2 | 85.1 | 51.5 | 49.7 | 56.8 |
| EasyWAM-Hidden | 56.8 | 49.2 | 95.3 | 81.0 | 90.4 | 58.2 | 77.4 | 72.4 |
💡 关键看点:EasyWAM-Hidden 平均 72.4% 全面领先,且各维度表现最均衡,没有明显短板。
四、检查点关键参数速查表
| 参数 | 数值 |
|---|---|
| 架构 | EasyWAM-Hidden |
| 骨干网络 | Wan2.2-TI2V-5B |
| 训练方式 | LoRA(rank=128,alpha=128) |
| 训练数据集 | LIBERO,双相机,224 px 输入 |
| 训练步数 | 20,000 |
| 动作维度 | 7 |
| 状态维度 | 8 |
| 文件格式 | EasyWAM PyTorch checkpoint(.pt) |
| 协议 | 检查点为 CC BY-NC 4.0,EasyWAM 代码为 MIT |
五、快速上手:权重下载与 LIBERO 评测运行步骤
1. 下载模型权重
安装 hf 命令行工具后,执行 README 中给出的命令即可:
hf download OpenMOSS-Team/EasyWAM-Hidden-Wan22-LoRA-128 \
easywam_hidden_wan22_lora_128.pt \
--local-dir ./checkpoints
也可以直接克隆本项目仓库,使用仓库内置的权重文件:
git clone https://gitcode.com/OpenMOSS/EasyWAM-Hidden-Wan22-LoRA-128
2. 运行 LIBERO 评测
该检查点需配合 EasyWAM 代码库使用。按官方 LIBERO 指南准备好 Wan2.2 模型、LIBERO 环境及配套的 dataset_stats.json 后,运行:
python experiments/libero/run_libero_manager.py \
task=libero_easywam_hidden_wan22_lora \
ckpt=./checkpoints/easywam_hidden_wan22_lora_128.pt
🔧 EasyWAM 在加载该检查点时,会根据任务配置自动创建匹配的 LoRA 模块并合并,无需额外手动配置。
3. 硬件与依赖建议
- 评测需加载完整的 5B 视频骨干,建议使用显存充足(如 24GB 及以上)的 GPU 运行;
- LoRA 权重本身很轻量,主要计算开销来自 Wan2.2 骨干推理;
- 具体环境搭建请参照 EasyWAM 项目的 LIBERO 官方指南。
六、常见问题 FAQ
Q1:这个项目和 EasyWAM 代码库是什么关系? 本仓库只存放训练好的检查点与说明文档,训练与评测代码在 EasyWAM 代码库中。可以把它理解为 EasyWAM-Hidden 架构的"开箱即用权重包"。
Q2:为什么发布 LoRA 版而不是全参数版? 全参数 Hidden 能达到 98.6%,但 LoRA-128 的可训练参数极少、训练成本低得多,同时保持 93.9% 的强性能,更适合研究者在自己的数据上复现与二次开发。
Q3:能直接用在其他机器人平台吗? 当前动作/状态维度(7 维动作、8 维状态)是为 LIBERO 配置的。迁移到其他平台时,需要按 EasyWAM 代码库的配置调整动作头与数据集统计量。
Q4:使用有什么限制? EasyWAM 代码遵循 MIT 协议;本检查点的使用还受 CC BY-NC 4.0(非商业)及其基础模型条款约束,商用场景请留意合规。
七、总结:谁适合使用 EasyWAM-Hidden-Wan22-LoRA-128?
- 它是什么:OpenMOSS 开源的世界动作模型(WAM)检查点 = Wan2.2-TI2V-5B 视频骨干 + Hidden 中间特征条件化 + rank-128 LoRA;
- 性能如何:LIBERO 平均成功率 93.9%(所有 LoRA 变体中最佳),LIBERO-Plus 平均 72.4%(综合第一);
- 适合谁:想快速复现 WAM、研究"视频大模型 + 机器人动作"结合方向、或希望低门槛微调的具身智能研究者;
- 上手成本:两步走——下载权重、配合 EasyWAM 代码库运行评测即可开始。✅
对世界动作模型感兴趣的读者,建议先从 LIBERO 上的 LoRA-128 复现入手,再逐步探索 Hidden 特征条件化的更多玩法。