BID 双向蒸馏算法完全解析:real-time-chunking-kinetix 中拒绝采样与强弱策略配对代码深读
BID 双向蒸馏算法完全解析:real-time-chunking-kinetix 中拒绝采样与强弱策略配对代码深读
BID(Bidirectional Distillation,双向蒸馏)是 real-time-chunking-kinetix 项目中实现动作分块(Action Chunking)流策略实时执行的核心算法:它先用拒绝采样从 16 个候选动作块中挑出与上一块最连贯的一个,再用强弱策略配对的前向损失排除低质量候选,从而在不重新训练模型的前提下显著缓解动作抖动。本文基于 model.py 中的 bid_action 源码,逐段拆解这套算法的完整实现。
🎯 一、问题背景:动作分块的实时性难题
FlowPolicy(model.py#L103)是一个流匹配(Flow Matching)策略:给定一次观测,它通过 5 步欧拉积分一次性生成 action_chunk_size = 8 个动作(ModelConfig)。这带来一个经典矛盾:
- 推理存在延迟(
inference_delay)——新动作块生成好时,环境已经前进了几步; - 若直接执行新块,前后两个块的动作可能"打架",造成机器人动作抖动;
- 若死板地照抄旧块,又无法对新的观测做出反应。
项目在评估脚本中内置了 4 种方案做全量对比(eval_flow.py#L250-L302):
| 方法 | 思路 | 代码位置 |
|---|---|---|
naive |
直接生成新块执行,不做对齐 | eval_flow.py#L80-L81 |
realtime(RTC) |
生成过程中用 ODE 引导把轨迹拉向旧块 | eval_flow.py#L82-L100 |
bid |
先采样 n_samples 个候选块,再打分择优 |
eval_flow.py#L101-L115 |
hard_masking |
RTC 的硬掩码版(zeros 调度) | eval_flow.py#L289-L302 |
BID 就是其中的"先采样后择优"路线,下面进入源码。
⚙️ 二、项目流水线:策略是怎么训练出来的
理解 BID 之前,先看看它作用在哪个模型上。项目分 4 步(README.md):
| 步骤 | 脚本 | 作用 |
|---|---|---|
| 1. 训练专家 | src/train_expert.py | PPO(RPO)训练每个关卡的专家策略,默认 8 个种子 × 65M 步 |
| 2. 采集数据 | src/generate_data.py | 用成功率 ≥ 0.65 的专家策略混合采样,每关卡约 100 万步 |
| 3. 训练流策略 | src/train_flow.py | 行为克隆(流匹配损失),默认 32 个 epoch |
| 4. 评估 | src/eval_flow.py | 对 naive / realtime / bid / hard_masking 做延迟 × 执行范围全扫描 |
12 个关卡定义在 worlds/l/ 下(grasp_easy、catapult、hard_lunar_lander 等符号化物理场景)。
🔍 三、深读 bid_action:三层结构
bid_action 的完整实现在 model.py#L173-L217,骨架只有三件事:
loss = backward_loss(strong_actions) # 反向损失:与旧块对齐
loss += forward_loss / n_samples # 前向损失:强弱策略配对(可选)
best_idxs = jnp.argmin(loss, axis=0) # 选出总损失最小的候选块
3.1 候选生成:观测重复 16 次
第一行就把观测复制 n_samples 份(默认 16,BIDMethodConfig),再调用 self.action(model.py#L160-L171)做 5 步欧拉积分,一次性得到 16 个完整的 8 步动作块:
strong_actions = einops.rearrange(self.action(rng, obs, num_steps), "(n b) h d -> n b h d", n=n_samples)
一个容易忽略的细节:强弱两个策略的 action 调用共用同一个 rng(model.py#L193-L199),意味着每个候选的初始噪声完全一致——对比是公平的,差异只来自策略本身。
3.2 反向损失:与旧动作块做加权对齐
def backward_loss(action_chunks):
error = jnp.linalg.norm(action_chunks - prev_action_chunk, axis=-1)
return jnp.sum(error * weights[None, None, :], axis=-1)
关键是 weights 由 get_prefix_weights 生成,它把 8 个位置分成三段:
- 前
inference_delay个位置权重 = 1:这些动作下一轮将直接作为"旧块前缀"执行,必须与旧块完全一致,否则动作会跳变; - 中间段按
exp调度指数衰减:越靠近已执行区域,对齐要求越强; prefix_attention_horizon之后权重 = 0:评估中它等于8 - execute_horizon(eval_flow.py#L102),让块尾保留对新观测的自由适应空间。
3.3 拒绝采样:bid_k=None 时的形态
源码注释写得很直白:"when below two are None, it becomes backwards loss only (i.e., rejection sampling)"(model.py#L182)。即:采样 16 个候选 → 计算反向损失 → 保留最小者。这就是最纯粹的 BID,也是论文中的基线形态。
3.4 前向损失:强弱策略配对登场
当传入 bid_weak_policy 和 bid_k 时,算法进入完整"双向"形态(model.py#L196-L214):
-
弱策略对同一批观测采样同样 16 个候选
weak_actions; -
强、弱各自按反向损失取 top-k 最低分候选作为锚点:
a_plus(强锚点)、a_minus(弱锚点),用jax.lax.top_k实现; -
对每个强候选计算前向损失:
forward_loss = Σ_k ‖strong − a_plus_k‖ − Σ_k ‖strong − a_minus_k‖,再除以
n_samples
直觉上,这一项借鉴了 DINOv2 式的前向损失:优先选出贴近强模型自身高置信样本、同时远离弱模型样本的候选,防止拒绝采样误选"碰巧贴近旧块但实际质量差"的样本。
最后 loss += forward_loss / n_samples,用总损失做 argmin。注意:弱策略只参与打分,最终输出永远来自强策略的候选(model.py#L216-L217)。
🤝 四、弱策略从哪来?eval_flow.py 的配对机制
弱策略并不是另训的模型,而是同一训练轨迹上更早 epoch 的 checkpoint:
--config.step指定强策略所在 epoch,--config.weak-step指定弱策略 epoch(eval_flow.py#L198-L215);- 两者用同一个
FlowPolicy结构装载不同的权重字典,构造出policy与weak_policy(eval_flow.py#L229-L244); - 如果配置了
bid_k却没给weak_step,脚本会直接断言报错:"weak_policy is required for BID"(eval_flow.py#L103-L104)。
也就是说:同一个策略"自己教自己"——早期欠拟合的权重当老师(teacher),后期权重当学生(student)。
🚀 五、快速复现:跑一次 BID 评估
uv run src/eval_flow.py \
--config.run-path ./logs-bc/<run-name> \
--config.step 31 \
--config.weak-step 16 \
--output-dir eval_output
注意事项:
- GPU 数量必须能整除关卡数(默认 12),计算按关卡切分(README.md#L19-L21);
- 每个关卡默认跑 2048 次试验(num_evals);
- 脚本会遍历
inference_delay ∈ <a href="https://link.gitcode.com/i/3e654f92885b350609d828b6ee2b5813" target="_blank">0,4]与对应的execute_horizon,结果汇总为results.csv,可用method列筛选bid与其他方法对比([eval_flow.py#L303-L305)。
⏱️ 六、进阶:训练时 RTC(simulated_delay)
项目还实现了第二篇论文的思路——把延迟"烧进"训练:
- 将 ModelConfig.simulated_delay 改为 5;
- 微调预训练 checkpoint 8 个 epoch:
uv run src/train_flow.py --config.run-path <run_path> --config.load-dir bc/24 --config.num-epochs 8
训练时,loss 会从指数分布采样一个 delay,把块的前 delay 个动作固定为真值(时间标记置 1),只对剩余动作计算流匹配损失(model.py#L275-L289);推理时 realtime_action 则直接把前 inference_delay 个动作替换为上一块(model.py#L253-L257),实现零成本的延迟对齐。
📋 七、关键参数速查表
| 参数 | 默认值 | 含义 | 定义位置 |
|---|---|---|---|
action_chunk_size |
8 | 每个策略输出包含的动作数 | model.py#L17 |
num_flow_steps |
5 | 流 ODE 积分步数 | eval_flow.py#L46 |
n_samples |
16 | BID 候选块采样数 | eval_flow.py#L37 |
bid_k |
None | 强弱配对 top-k;None 即纯拒绝采样 | eval_flow.py#L38 |
weak_step |
None | 弱策略 checkpoint 的 epoch | eval_flow.py#L44 |
inference_delay |
0~4 扫描 | 推理延迟步数 | eval_flow.py#L48 |
execute_horizon |
1~8 扫描 | 每轮实际执行的动作数 | eval_flow.py#L49 |
solve_rate_threshold |
0.65 | 采集数据时专家策略的成功率门槛 | generate_data.py#L49 |
小结:BID 的精髓可以用一句话概括——"反向损失管连贯,前向损失管质量"。拒绝采样保证了新块与旧块平滑衔接,而强弱策略配对(同一个策略的早期权重当老师)进一步过滤掉了连贯但低质的候选,两者都只需要在推理期多跑几遍前向,无需任何额外训练。