BID 双向蒸馏算法完全解析:real-time-chunking-kinetix 中拒绝采样与强弱策略配对代码深读

原创2026-11-13 11:11:291,904 阅读

BID 双向蒸馏算法完全解析:real-time-chunking-kinetix 中拒绝采样与强弱策略配对代码深读

BID(Bidirectional Distillation,双向蒸馏)是 real-time-chunking-kinetix 项目中实现动作分块(Action Chunking)流策略实时执行的核心算法:它先用拒绝采样从 16 个候选动作块中挑出与上一块最连贯的一个,再用强弱策略配对的前向损失排除低质量候选,从而在不重新训练模型的前提下显著缓解动作抖动。本文基于 model.py 中的 bid_action 源码,逐段拆解这套算法的完整实现。

🎯 一、问题背景:动作分块的实时性难题

FlowPolicy(model.py#L103)是一个流匹配(Flow Matching)策略:给定一次观测,它通过 5 步欧拉积分一次性生成 action_chunk_size = 8 个动作(ModelConfig)。这带来一个经典矛盾:

  • 推理存在延迟(inference_delay)——新动作块生成好时,环境已经前进了几步;
  • 若直接执行新块,前后两个块的动作可能"打架",造成机器人动作抖动;
  • 若死板地照抄旧块,又无法对新的观测做出反应。

项目在评估脚本中内置了 4 种方案做全量对比(eval_flow.py#L250-L302):

方法 思路 代码位置
naive 直接生成新块执行,不做对齐 eval_flow.py#L80-L81
realtime(RTC) 生成过程中用 ODE 引导把轨迹拉向旧块 eval_flow.py#L82-L100
bid 先采样 n_samples 个候选块,再打分择优 eval_flow.py#L101-L115
hard_masking RTC 的硬掩码版(zeros 调度) eval_flow.py#L289-L302

BID 就是其中的"先采样后择优"路线,下面进入源码。

⚙️ 二、项目流水线:策略是怎么训练出来的

理解 BID 之前,先看看它作用在哪个模型上。项目分 4 步(README.md):

步骤 脚本 作用
1. 训练专家 src/train_expert.py PPO(RPO)训练每个关卡的专家策略,默认 8 个种子 × 65M 步
2. 采集数据 src/generate_data.py 用成功率 ≥ 0.65 的专家策略混合采样,每关卡约 100 万步
3. 训练流策略 src/train_flow.py 行为克隆(流匹配损失),默认 32 个 epoch
4. 评估 src/eval_flow.py 对 naive / realtime / bid / hard_masking 做延迟 × 执行范围全扫描

12 个关卡定义在 worlds/l/ 下(grasp_easy、catapult、hard_lunar_lander 等符号化物理场景)。

🔍 三、深读 bid_action:三层结构

bid_action 的完整实现在 model.py#L173-L217,骨架只有三件事:

loss = backward_loss(strong_actions)  # 反向损失:与旧块对齐
loss += forward_loss / n_samples     # 前向损失:强弱策略配对(可选)
best_idxs = jnp.argmin(loss, axis=0)  # 选出总损失最小的候选块

3.1 候选生成:观测重复 16 次

第一行就把观测复制 n_samples 份(默认 16,BIDMethodConfig),再调用 self.action(model.py#L160-L171)做 5 步欧拉积分,一次性得到 16 个完整的 8 步动作块:

strong_actions = einops.rearrange(self.action(rng, obs, num_steps), "(n b) h d -> n b h d", n=n_samples)

一个容易忽略的细节:强弱两个策略的 action 调用共用同一个 rng(model.py#L193-L199),意味着每个候选的初始噪声完全一致——对比是公平的,差异只来自策略本身。

3.2 反向损失:与旧动作块做加权对齐

def backward_loss(action_chunks):
    error = jnp.linalg.norm(action_chunks - prev_action_chunk, axis=-1)
    return jnp.sum(error * weights[None, None, :], axis=-1)

(model.py#L189-L191)

关键是 weights 由 get_prefix_weights 生成,它把 8 个位置分成三段:

  • 前 inference_delay 个位置权重 = 1:这些动作下一轮将直接作为"旧块前缀"执行,必须与旧块完全一致,否则动作会跳变;
  • 中间段按 exp 调度指数衰减:越靠近已执行区域,对齐要求越强;
  • prefix_attention_horizon 之后权重 = 0:评估中它等于 8 - execute_horizon(eval_flow.py#L102),让块尾保留对新观测的自由适应空间。

3.3 拒绝采样:bid_k=None 时的形态

源码注释写得很直白:"when below two are None, it becomes backwards loss only (i.e., rejection sampling)"(model.py#L182)。即:采样 16 个候选 → 计算反向损失 → 保留最小者。这就是最纯粹的 BID,也是论文中的基线形态。

3.4 前向损失:强弱策略配对登场

当传入 bid_weak_policy 和 bid_k 时,算法进入完整"双向"形态(model.py#L196-L214):

  1. 弱策略对同一批观测采样同样 16 个候选 weak_actions;

  2. 强、弱各自按反向损失取 top-k 最低分候选作为锚点:a_plus(强锚点)、a_minus(弱锚点),用 jax.lax.top_k 实现;

  3. 对每个强候选计算前向损失:

    forward_loss = Σ_k ‖strong − a_plus_k‖ − Σ_k ‖strong − a_minus_k‖,再除以 n_samples

直觉上,这一项借鉴了 DINOv2 式的前向损失:优先选出贴近强模型自身高置信样本、同时远离弱模型样本的候选,防止拒绝采样误选"碰巧贴近旧块但实际质量差"的样本。

最后 loss += forward_loss / n_samples,用总损失做 argmin。注意:弱策略只参与打分,最终输出永远来自强策略的候选(model.py#L216-L217)。

🤝 四、弱策略从哪来?eval_flow.py 的配对机制

弱策略并不是另训的模型,而是同一训练轨迹上更早 epoch 的 checkpoint:

  • --config.step 指定强策略所在 epoch,--config.weak-step 指定弱策略 epoch(eval_flow.py#L198-L215);
  • 两者用同一个 FlowPolicy 结构装载不同的权重字典,构造出 policy 与 weak_policy(eval_flow.py#L229-L244);
  • 如果配置了 bid_k 却没给 weak_step,脚本会直接断言报错:"weak_policy is required for BID"(eval_flow.py#L103-L104)。

也就是说:同一个策略"自己教自己"——早期欠拟合的权重当老师(teacher),后期权重当学生(student)。

🚀 五、快速复现:跑一次 BID 评估

uv run src/eval_flow.py \
  --config.run-path ./logs-bc/<run-name> \
  --config.step 31 \
  --config.weak-step 16 \
  --output-dir eval_output

注意事项:

  • GPU 数量必须能整除关卡数(默认 12),计算按关卡切分(README.md#L19-L21);
  • 每个关卡默认跑 2048 次试验(num_evals);
  • 脚本会遍历 inference_delay ∈ <a href="https://link.gitcode.com/i/3e654f92885b350609d828b6ee2b5813" target="_blank">0,4] 与对应的 execute_horizon,结果汇总为 results.csv,可用 method 列筛选 bid 与其他方法对比([eval_flow.py#L303-L305)。

⏱️ 六、进阶:训练时 RTC(simulated_delay)

项目还实现了第二篇论文的思路——把延迟"烧进"训练:

  1. 将 ModelConfig.simulated_delay 改为 5;
  2. 微调预训练 checkpoint 8 个 epoch:
uv run src/train_flow.py --config.run-path <run_path> --config.load-dir bc/24 --config.num-epochs 8

(README.md#L37-L42)

训练时,loss 会从指数分布采样一个 delay,把块的前 delay 个动作固定为真值(时间标记置 1),只对剩余动作计算流匹配损失(model.py#L275-L289);推理时 realtime_action 则直接把前 inference_delay 个动作替换为上一块(model.py#L253-L257),实现零成本的延迟对齐。

📋 七、关键参数速查表

参数 默认值 含义 定义位置
action_chunk_size 8 每个策略输出包含的动作数 model.py#L17
num_flow_steps 5 流 ODE 积分步数 eval_flow.py#L46
n_samples 16 BID 候选块采样数 eval_flow.py#L37
bid_k None 强弱配对 top-k;None 即纯拒绝采样 eval_flow.py#L38
weak_step None 弱策略 checkpoint 的 epoch eval_flow.py#L44
inference_delay 0~4 扫描 推理延迟步数 eval_flow.py#L48
execute_horizon 1~8 扫描 每轮实际执行的动作数 eval_flow.py#L49
solve_rate_threshold 0.65 采集数据时专家策略的成功率门槛 generate_data.py#L49

小结:BID 的精髓可以用一句话概括——"反向损失管连贯,前向损失管质量"。拒绝采样保证了新块与旧块平滑衔接,而强弱策略配对(同一个策略的早期权重当老师)进一步过滤掉了连贯但低质的候选,两者都只需要在推理期多跑几遍前向,无需任何额外训练。

登录后查看全文
real-time-chunking-kinetix