EasyWAM-Hidden-Wan22训练开发者指南:用EasyWAM代码库复现检查点与自定义任务配方
EasyWAM-Hidden-Wan22训练开发者指南:用EasyWAM代码库复现检查点与自定义任务配方
本文为 EasyWAM-Hidden-Wan22 的训练开发者指南,带你使用 EasyWAM 代码库下载、验证基于 Wan2.2-TI2V-5B 的世界动作模型检查点,并学会自定义任务配方(task recipe),在 LIBERO 基准上复现官方发布的检查点。
一、EasyWAM-Hidden-Wan22 是什么?
EasyWAM-Hidden-Wan22 是 EasyWAM 系列中一个"隐藏式"(Hidden)架构的世界动作模型(World Action Model),核心设计有 3 点:
- 独立的 Action DiT:动作分支是单独扩散 Transformer,单向条件依赖于 Video DiT 的中间特征;
- 保留未来视频预测:推理时依然执行未来视频预测,以此生成"隐藏视觉条件"(hidden visual conditioning)供动作分支使用;
- 基于 Wan2.2-TI2V-5B 骨干:视频主干沿用 Wan2.2-TI2V-5B,官方已发布 LIBERO 全参数与 LoRA 两种训练产物。
在 LIBERO 全参数评测中,该架构平均成功率达到 98.8%,是同一骨干下各架构中最高的:
| 架构 | Spatial | Object | Goal | LIBERO-10 | 平均 |
|---|---|---|---|---|---|
| EasyWAM-Unified | 98.4 | 98.8 | 99.2 | 98.0 | 98.6 |
| EasyWAM-MoT | 97.0 | 99.2 | 96.6 | 94.0 | 96.7 |
| EasyWAM-MoT-IDM | 99.0 | 99.2 | 98.8 | 97.4 | 98.6 |
| EasyWAM-Hidden | 99.2 | 100.0 | 97.8 | 98.2 | 98.8 |
所有结果均使用
state_position: sequence的评测协议,数据来源见 README.md。
二、仓库文件清单:检查点与统计数据
本仓库只托管发布产物,训练与评估逻辑都在 EasyWAM 代码库中。仓库内 3 个关键文件如下:
| 文件 | 说明 |
|---|---|
| libero_hidden_wan22.pt | LIBERO 全参数检查点(EasyWAM PyTorch .pt 格式) |
| libero_hidden_wan22_lora_128.pt | LIBERO LoRA 检查点(rank 128,alpha 128) |
| libero_dataset_stats.json | 数据集归一化统计(state / action 的 min、max、q01、q99、mean、std) |
两个重要元信息:
- State-token 放置方式:
sequence,自定义任务时需保持一致; - LoRA 目标模块:仅作用于骨干 Video DiT 的目标模块,其余可训练的 EasyWAM 模块保存在同一检查点文件中。
三、下载检查点:一条命令备齐 3 个文件
hf download OpenMOSS-Team/EasyWAM-Hidden-Wan22 \
libero_hidden_wan22.pt \
libero_hidden_wan22_lora_128.pt \
libero_dataset_stats.json \
--local-dir ./checkpoints
下载完成后,./checkpoints 下应有 3 个文件。统计文件 libero_dataset_stats.json 在评估时必须通过 EVALUATION.dataset_stats_path 传入,缺失会导致状态/动作归一化失败。
四、复现前环境准备:3 步完成配置
在跑评估或重新训练之前,需要完成 EasyWAM 代码库的 3 项准备:
- 安装 EasyWAM:克隆 EasyWAM 代码库并按其文档安装依赖;
- 准备 Wan2.2-TI2V-5B 骨干权重:参照 EasyWAM 的 Wan2.2 backbone 指南下载权重并配置路径。 ⚠️ LoRA 检查点不包含完整骨干,加载或评估前必须先备好骨干权重,否则会直接报缺失权重错误;
- 搭建 LIBERO 仿真环境:按 EasyWAM 的 LIBERO 评测指南安装仿真器。
五、一键评估:全参数与 LoRA 检查点运行命令
环境就绪后,在 EasyWAM 代码库根目录执行以下命令即可复现官方结果:
# 全参数检查点
python experiments/libero/run_libero_manager.py \
task=libero_easywam_hidden_wan22 \
ckpt=./checkpoints/libero_hidden_wan22.pt \
EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json
# LoRA 检查点
python experiments/libero/run_libero_manager.py \
task=libero_easywam_hidden_wan22_lora \
ckpt=./checkpoints/libero_hidden_wan22_lora_128.pt \
EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json
默认协议会对 4 个 LIBERO 套件(Spatial、Object、Goal、LIBERO-10)每个任务跑 50 次试验。多卡机器可以追加 MULTIRUN.num_gpus=<gpu-count> 将评估分摊到多张 GPU 上,显著缩短耗时。
六、任务配方(task recipe)机制解析:复现的关键细节
任务配方是 EasyWAM 的核心抽象:它决定了模型结构、LoRA 配置与训练参数。复现与自定义时重点关注 3 个要点:
- 配方名与检查点必须匹配:LoRA 检查点必须使用带
_lora后缀的配方(libero_easywam_hidden_wan22_lora),因为除 LoRA 权重外,其他可训练模块也在同一.pt文件里,配方名不匹配会导致权重无法正确挂接; - LoRA 超参:rank 128、alpha 128,目标模块限定在骨干 Video DiT 上。自定义 LoRA 任务时若要复现同等效果,应保持相同秩并核对目标模块列表;
- 归一化统计绑定数据集:换数据集训练时,需要为新数据集重新计算
dataset_stats,而不能直接复用 libero_dataset_stats.json。
七、自定义任务配方:从 LIBERO 模板出发的实践路线
想在 LIBERO 之外训练自己的任务(例如新数据集或新机器人),推荐按以下路线操作:
- 复制配方:以
libero_easywam_hidden_wan22为模板新建 YAML 配方,保持state_position: sequence不变,先保证结构一致; - 替换数据与统计:指向自定义数据集,并重新生成对应的 dataset stats 文件;
- 决定训练方式:显存充足走全参数;显存紧张则开启 LoRA(rank/alpha 可参照官方 128/128 起步),并为配方命名添加
_lora后缀以便区分加载路径; - 小样本验证:先用少量任务、少量 trials 跑通
run_libero_manager.py流程,确认检查点加载与归一化正常,再全量训练与评测。
💡 排错提示:若出现"权重键不匹配"类报错,90% 的情况是配方名与检查点类型不一致(全参数/LoRA 混用),或骨干权重路径未正确配置。
八、License 与引用
- 代码:EasyWAM 采用 MIT License;
- 检查点:采用 CC BY-NC 4.0(仅限非商业使用),且受底模与训练数据条款约束;
- 引用建议:
@misc{easywam2026,
title = {EasyWAM: A Unified and Efficient Framework for Training and Evaluating World Action Models},
author = {EasyWAM-Team},
year = {2026},
url = {https://github.com/OpenMOSS/EasyWAM}
}
九、总结
本文用 4 步带你完成 EasyWAM-Hidden-Wan22 的完整复现闭环:下载检查点 → 配置 Wan2.2 骨干与环境 → 运行 LIBERO 评估 → 自定义任务配方。核心要点只有三条:配方名与检查点类型严格匹配、LoRA 检查点需自备完整骨干权重、归一化统计文件必须与训练数据集对应。掌握这三点,你就能把这套 98.8% 平均成功率的隐藏式世界动作模型,顺利迁移到自己的任务上。