EasyWAM-Hidden-Wan22训练开发者指南:用EasyWAM代码库复现检查点与自定义任务配方

原创2026-10-18 18:48:381,915 阅读
文章标签:人工智能大模型具身智能机器人

EasyWAM-Hidden-Wan22训练开发者指南:用EasyWAM代码库复现检查点与自定义任务配方

本文为 EasyWAM-Hidden-Wan22 的训练开发者指南,带你使用 EasyWAM 代码库下载、验证基于 Wan2.2-TI2V-5B 的世界动作模型检查点,并学会自定义任务配方(task recipe),在 LIBERO 基准上复现官方发布的检查点。

一、EasyWAM-Hidden-Wan22 是什么?

EasyWAM-Hidden-Wan22 是 EasyWAM 系列中一个"隐藏式"(Hidden)架构的世界动作模型(World Action Model),核心设计有 3 点:

  • 独立的 Action DiT:动作分支是单独扩散 Transformer,单向条件依赖于 Video DiT 的中间特征;
  • 保留未来视频预测:推理时依然执行未来视频预测,以此生成"隐藏视觉条件"(hidden visual conditioning)供动作分支使用;
  • 基于 Wan2.2-TI2V-5B 骨干:视频主干沿用 Wan2.2-TI2V-5B,官方已发布 LIBERO 全参数与 LoRA 两种训练产物。

在 LIBERO 全参数评测中,该架构平均成功率达到 98.8%,是同一骨干下各架构中最高的:

架构 Spatial Object Goal LIBERO-10 平均
EasyWAM-Unified 98.4 98.8 99.2 98.0 98.6
EasyWAM-MoT 97.0 99.2 96.6 94.0 96.7
EasyWAM-MoT-IDM 99.0 99.2 98.8 97.4 98.6
EasyWAM-Hidden 99.2 100.0 97.8 98.2 98.8

所有结果均使用 state_position: sequence 的评测协议,数据来源见 README.md。

二、仓库文件清单:检查点与统计数据

本仓库只托管发布产物,训练与评估逻辑都在 EasyWAM 代码库中。仓库内 3 个关键文件如下:

文件 说明
libero_hidden_wan22.pt LIBERO 全参数检查点(EasyWAM PyTorch .pt 格式)
libero_hidden_wan22_lora_128.pt LIBERO LoRA 检查点(rank 128,alpha 128)
libero_dataset_stats.json 数据集归一化统计(state / action 的 min、max、q01、q99、mean、std)

两个重要元信息:

  • State-token 放置方式:sequence,自定义任务时需保持一致;
  • LoRA 目标模块:仅作用于骨干 Video DiT 的目标模块,其余可训练的 EasyWAM 模块保存在同一检查点文件中。

三、下载检查点:一条命令备齐 3 个文件

hf download OpenMOSS-Team/EasyWAM-Hidden-Wan22 \
  libero_hidden_wan22.pt \
  libero_hidden_wan22_lora_128.pt \
  libero_dataset_stats.json \
  --local-dir ./checkpoints

下载完成后,./checkpoints 下应有 3 个文件。统计文件 libero_dataset_stats.json 在评估时必须通过 EVALUATION.dataset_stats_path 传入,缺失会导致状态/动作归一化失败。

四、复现前环境准备:3 步完成配置

在跑评估或重新训练之前,需要完成 EasyWAM 代码库的 3 项准备:

  1. 安装 EasyWAM:克隆 EasyWAM 代码库并按其文档安装依赖;
  2. 准备 Wan2.2-TI2V-5B 骨干权重:参照 EasyWAM 的 Wan2.2 backbone 指南下载权重并配置路径。 ⚠️ LoRA 检查点不包含完整骨干,加载或评估前必须先备好骨干权重,否则会直接报缺失权重错误;
  3. 搭建 LIBERO 仿真环境:按 EasyWAM 的 LIBERO 评测指南安装仿真器。

五、一键评估:全参数与 LoRA 检查点运行命令

环境就绪后,在 EasyWAM 代码库根目录执行以下命令即可复现官方结果:

# 全参数检查点
python experiments/libero/run_libero_manager.py \
  task=libero_easywam_hidden_wan22 \
  ckpt=./checkpoints/libero_hidden_wan22.pt \
  EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json

# LoRA 检查点
python experiments/libero/run_libero_manager.py \
  task=libero_easywam_hidden_wan22_lora \
  ckpt=./checkpoints/libero_hidden_wan22_lora_128.pt \
  EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json

默认协议会对 4 个 LIBERO 套件(Spatial、Object、Goal、LIBERO-10)每个任务跑 50 次试验。多卡机器可以追加 MULTIRUN.num_gpus=<gpu-count> 将评估分摊到多张 GPU 上,显著缩短耗时。

六、任务配方(task recipe)机制解析:复现的关键细节

任务配方是 EasyWAM 的核心抽象:它决定了模型结构、LoRA 配置与训练参数。复现与自定义时重点关注 3 个要点:

  • 配方名与检查点必须匹配:LoRA 检查点必须使用带 _lora 后缀的配方(libero_easywam_hidden_wan22_lora),因为除 LoRA 权重外,其他可训练模块也在同一 .pt 文件里,配方名不匹配会导致权重无法正确挂接;
  • LoRA 超参:rank 128、alpha 128,目标模块限定在骨干 Video DiT 上。自定义 LoRA 任务时若要复现同等效果,应保持相同秩并核对目标模块列表;
  • 归一化统计绑定数据集:换数据集训练时,需要为新数据集重新计算 dataset_stats,而不能直接复用 libero_dataset_stats.json。

七、自定义任务配方:从 LIBERO 模板出发的实践路线

想在 LIBERO 之外训练自己的任务(例如新数据集或新机器人),推荐按以下路线操作:

  1. 复制配方:以 libero_easywam_hidden_wan22 为模板新建 YAML 配方,保持 state_position: sequence 不变,先保证结构一致;
  2. 替换数据与统计:指向自定义数据集,并重新生成对应的 dataset stats 文件;
  3. 决定训练方式:显存充足走全参数;显存紧张则开启 LoRA(rank/alpha 可参照官方 128/128 起步),并为配方命名添加 _lora 后缀以便区分加载路径;
  4. 小样本验证:先用少量任务、少量 trials 跑通 run_libero_manager.py 流程,确认检查点加载与归一化正常,再全量训练与评测。

💡 排错提示:若出现"权重键不匹配"类报错,90% 的情况是配方名与检查点类型不一致(全参数/LoRA 混用),或骨干权重路径未正确配置。

八、License 与引用

  • 代码:EasyWAM 采用 MIT License;
  • 检查点:采用 CC BY-NC 4.0(仅限非商业使用),且受底模与训练数据条款约束;
  • 引用建议:
@misc{easywam2026,
  title  = {EasyWAM: A Unified and Efficient Framework for Training and Evaluating World Action Models},
  author = {EasyWAM-Team},
  year   = {2026},
  url    = {https://github.com/OpenMOSS/EasyWAM}
}

九、总结

本文用 4 步带你完成 EasyWAM-Hidden-Wan22 的完整复现闭环:下载检查点 → 配置 Wan2.2 骨干与环境 → 运行 LIBERO 评估 → 自定义任务配方。核心要点只有三条:配方名与检查点类型严格匹配、LoRA 检查点需自备完整骨干权重、归一化统计文件必须与训练数据集对应。掌握这三点,你就能把这套 98.8% 平均成功率的隐藏式世界动作模型,顺利迁移到自己的任务上。

登录后查看全文
EasyWAM-Hidden-Wan22