Motus 潜在动作深度解析:光流如何学会像素级 delta action 预训练
Motus 潜在动作深度解析:光流如何学会像素级 delta action 预训练
Motus 是一个统一的潜在动作世界模型(Unified Latent Action World Model),它的核心杀手锏在于:用光流(optical flow)从大规模视频中自动提取潜在动作(latent action),从而学到像素级的 delta action,让机器人策略无需海量真机标注即可完成大规模动作预训练。本文面向新手,带你拆解这套预训练原理的关键设计。
一、为什么机器人学习需要「潜在动作」?
传统 VLA(Vision-Language-Action)模型的训练数据几乎都来自真机遥操作:一条数据 = 一段视频 + 一整套关节动作标签。这类数据有两个致命问题:
- 贵:需要机器人、算力和人力,采集成本高;
- 窄:不同机器人本体(embodiment)的动作空间不同,难以跨平台复用。
而互联网上存在海量无动作标签的视频(人类第一视角操作视频、合成数据、仿真轨迹)。这些视频天然是最好的「世界模型」教材——画面中蕴含着丰富的运动信息,只是缺少动作标签。
Motus 的破题思路是:既然没有真机动作标签,就用视频自身的像素变化来定义动作。这就是潜在动作预训练(Stage 2)的出发点。
二、光流:像素运动到动作的桥梁
光流(optical flow)描述相邻帧之间每个像素点的位移,是计算机视觉中刻画「画面里什么东西在怎么动」的经典手段。
Motus 用光流从视频帧间运动中提取像素级 delta action——即「为了产生下一个画面,画面里发生了什么运动」。直觉上:
- 机器人抓杯子时,杯子和夹爪在画面中移动 → 光流记录下这团运动;
- 这团运动就是该时刻的「动作」,且它与具体机器人本体无关,人类手、夹爪、机械臂的运动都用同一种像素运动语言描述。
因此,光流提取的潜在动作具备两个关键性质:
- 跨本体共享:人类第一视角视频(Ego4D 类)、仿真数据、真机数据都能生成同一格式的标签;
- 像素级监督:动作信息与画面变化一一对应,视频生成模型(VGM)在预测未来的同时天然地学会了「预测动作」。
数据格式文档 DATA_FORMAT.md 中也明确标注了潜在动作标签的来源:
└── latent_action_dim14/ # Latent action labels (from optical flow)
三、14 维潜在动作:统一的动作语言
光流场本身是一个 2×H×W 的稠密张量,直接当动作标签既冗余又难以被动作专家(Action Expert)建模。Motus 的做法是把每对相邻帧间的运动压缩为 14 维向量,形成统一的潜在动作空间:
- 配置 configs/latent_action.yaml 中定义了
action_dim: 14和state_dim: 14; - 每个数据集目录下,动作标签存放在
latent_action_dim14/子目录中,每个 episode 一个.pt文件,形状为[T-1, 14](T 为帧数,最后一帧没有后继帧,所以少一维)。
这种低维潜在动作同时兼容两种下游用法:
- 预训练阶段:模型直接学习预测潜在动作,学会「画面怎么变 → 动作向量是什么」;
- 微调阶段(Stage 3):切换到目标机器人的真实关节动作,潜在动作空间起到了「通用动作接口」的桥梁作用。
仓库还提供了统计工具来分析和归一化潜在动作分布,例如 calc_latent_action_stat_min_max.py、calc_latent_action_quantiles.py,对应的统计结果保存在 latent_action_stat_min_max.json 与 latent_action_q01_q99.json,便于按分位数做归一化。
四、数据怎么组织:四件套对齐
潜在动作预训练数据集的目录结构非常简洁,四类文件按同名一一对齐:
/path/to/latent_action_data/
├── videos/ # MP4 视频文件
├── umt5_wan/ # 预编码的 T5 语言嵌入 (.pt)
├── latent_action_dim14/ # 光流提取的潜在动作标签 (.pt)
└── metas/ # 文本指令 (.txt)
其中:
videos/:原始视频,训练时随机抽取条件帧和 8 个目标帧;umt5_wan/:用 T5 预编码好的文本嵌入,推理/训练时无需再跑文本编码器;latent_action_dim14/:14 维潜在动作序列,即本文主角。
这套加载逻辑实现在 latent_action_dataset.py 的 LatentActionDataset 类中,它支持多数据源根目录、递归扫描子目录,并把视频/文本/动作按 basename 严格对齐。
五、帧对齐细节:动作与视频帧的错位采样
一个容易被忽视但很关键的细节:潜在动作对应的是「相邻帧之间的变化」,所以它天然比视频序列短一帧、且整体错位。
在 latent_action_dataset.py 的 _select_indices 中可以看到采样规则:
video_indices = [condition_idx + (i + 1) * step ...] # 视频帧:条件帧之后的第 i 步
action_indices = [condition_idx + i * step ...] # 动作帧:第 i 步的起点帧
也就是说,第 i 个视频帧(条件帧之后第 i 步)配对的潜在动作,是从第 i-1 步起点到第 i 步终点之间的运动——这正是 delta action 的含义:相对变化量,而非绝对位置。
配合 global_downsample_rate: 6(30Hz → 5Hz 左右的降采样)和 num_video_frames: 8,模型每次学习的是「以某帧为条件,预测接下来 8 帧画面 + 对应的 8 个潜在动作」。
六、训练原理:Flow Matching + 三专家联合去噪
Motus 采用 Mixture-of-Transformers(MoT)架构,把三类 token 放进同一个 30 层 Transformer 中做联合注意力:
- 视频 token:Wan2.2-5B 视频生成模型(VGM),负责预测未来画面;
- 动作 token:Action Expert,负责去噪动作序列;
- 理解 token:Qwen3-VL-2B 视觉语言模型 + Understanding Expert,注入语言/场景理解。
预训练的核心训练步骤在 motus.py 的 training_step 中:
- 视频流:首帧作为 teacher forcing 条件(不预测、不加噪),其余 8 帧经 VAE 编码为 latent 后加噪,模型学习 Flow-Matching 速度场(目标为
noise - clean); - 动作流:潜在动作序列独立加噪,Action Expert 学习去噪,目标同样是
noise - actions; - 联合注意力:每一层中,三类 token 通过统一的 self-attention 交换信息(见
process_joint_attention),视频信息为动作去噪提供像素级依据,动作信号反过来约束视频预测的物理一致性; - 双损失:总损失 =
video_loss_weight × video_loss + action_loss_weight × action_loss,两个权重默认均为 1.0。
值得注意的一点:预训练模式下动作侧不输入机器人状态(training_mode == 'pretrain' 分支),因为人类视频没有状态标签——潜在动作本身只依赖视觉运动,这正是它能吃下大规模无标签视频的原因。
七、三阶段训练与六层数据金字塔
潜在动作预训练是 Motus 三阶段流水线的中间一环:
| 阶段 | 数据 | 训练内容 |
|---|---|---|
| 基础模型 | 网络公开数据 | VGM(Wan2.2)与 VLM(Qwen3-VL)各自预训练 |
| Stage 1(VGM) | 人类第一视角视频 + 合成数据 | 只训视频生成模型 |
| Stage 2(潜在动作预训练) | 人类视频 + 合成数据 + 任务无关数据 + 多机器人轨迹 | 三专家联合训练,动作标签 = 光流潜在动作 |
| Stage 3(SFT 微调) | 目标机器人任务轨迹 | 三专家联合训练,动作标签 = 真实关节动作 |
Stage 2 的完整训练配方见 configs/latent_action.yaml:dataset.type: "latent_action"、training_mode: "pretrain",支持同时挂载多个数据根目录(人类视频、仿真数据、RoboTwin 等),把「六层数据金字塔」中的中高层数据一锅炖。
对应三个官方 checkpoint(见 README.md):
Motus_Wan2_2_5B_pretrain:Stage 1 VGM 预训练权重;Motus:Stage 2 潜在动作预训练权重(微调起点);Motus_robotwin2:Stage 3 在 RoboTwin 上微调后的推理权重。
八、效果验证:为什么这套设计赢?
潜在动作预训练让模型在微调前就建立了「像素运动 ↔ 动作」的通用映射,再在 Stage 3 用少量目标机器人数据把 14 维潜在动作对齐到真实关节空间。最终效果(RoboTwin 2.0 仿真,每任务 50 条干净 + 500 条随机化数据):
- 87.02% 平均成功率,比 X-VLA 高 15%,比 π₀.₅ 高 45%;
- 推理端可在 >24GB 显存的单卡(如 RTX 5090)上运行,微调入口见 scripts/train.sh 与 TRAINING.md。
九、小结:一句话记住 Motus 的杀手锏
光流给视频发「动作标签」→ 14 维潜在动作统一人类/仿真/机器人三种数据 → Flow Matching 联合去噪让视频预测与动作预测互相监督 → 少量真机数据即可完成对齐微调。
这正是「世界模型 + 潜在动作」范式相对传统 VLA 的核心优势:用免费的海量视频,换来了机器人策略所需的大规模动作先验。