DiffusionNFT双LoRA适配器机制揭秘:old与default策略如何协同实现在线更新

原创2026-10-14 13:31:311,355 阅读

DiffusionNFT双LoRA适配器机制揭秘:old与default策略如何协同实现在线更新

DiffusionNFT 是一个 ICLR 2026 Oral 的在线扩散强化学习(Online Diffusion Reinforcement)框架,它直接在加噪的"前向过程"上做策略优化,而不需要保存完整采样轨迹。整个训练流程中最精巧的设计,就是双 LoRA 适配器机制——两个名为 old 和 default 的适配器分别扮演"数据收集者"与"训练目标"的角色,通过每轮末的衰减同步协同完成在线更新。本文将带你读懂这套机制的完整生命周期。

为什么 DiffusionNFT 需要两个 LoRA 适配器?

先理解一个背景:在线强化学习(On-Policy RL)的核心循环是——用当前策略采样 → 用奖励函数打分 → 再优化策略。DiffusionNFT 的三步流程正是如此:

  1. 数据收集:采样策略 voldv^\text{old} 生成图片,奖励模型打分;
  2. 正负样本划分:按奖励把图片概念性地分成正/负子集;
  3. 前向过程优化:训练策略 vθv_\theta 在加噪图片上优化,奖励信号通过正负目标的加权直接融入参数。

问题在于:采样用的策略(voldv^\text{old})和正在训练的策略(vθv_\theta)必须是两个独立的权重——采样时参数不能被更新干扰,训练时又需要独立的梯度通路。DiffusionNFT 的解法是 PEFT 的多适配器能力:在同一个 SD3.5 基座上挂两个 LoRA,用 set_adapter() 一键切换。

DiffusionNFT方法流程:old策略负责黑盒采样,default策略负责前向过程训练

上图右侧的 NFT 分支展示了这一思想的直观表达:同一个模型既输出 vold(xt)v^\text{old}(x_t)(旧策略预测),又输出 vθ(xt)v_\theta(x_t)(当前策略预测),两者配合奖励 r(x0)r(x_0) 完成一次前向过程的强化更新。

两个适配器各是谁?

适配器 角色 对应论文符号 是否可训练
default 训练策略,接受梯度更新 vθv_\theta ✅ 进优化器
old 采样策略,负责生成数据 voldv^\text{old} ❌ 只读 + 衰减同步

创建过程非常直接(scripts/train_nft_sd3.py):如果配置了 config.train.lora_path,就把已有 LoRA 载入 default;否则用 get_peft_model() 新建。随后执行 transformer.add_adapter("old", transformer_lora_config) 添加第二个适配器,LoRA 秩为 32(r=32, lora_alpha=64)。

紧接着有一段很关键的"身份分离"代码:先切到 default 收集它的可训练参数列表交给 AdamW 优化器,再切到 old 收集一份参数列表仅用于后续的权重同步,最后切回 default。这保证了优化器只更新 default,永远不会碰 old。

双适配器协同的完整生命周期

1️⃣ 初始化:old 完全复制 default

训练开始前,old 的参数逐元素从 default 拷贝(scripts/train_nft_sd3.py),并有 assert src_param is not tgt_param 确保两者是独立内存。此刻两个策略完全一致——这是在线 RL 的起点。

2️⃣ 采样阶段:切换到 old 无梯度出图

每个采样 batch 开始前都执行一次 transformer_ddp.module.set_adapter("old"),在 torch.no_grad() 下调用 pipeline_with_logprob 生成图片(scripts/train_nft_sd3.py)。注意这里只保存了干净的最终图片 latents_clean 和调度器时间步,而不是整条采样轨迹——这正是 DiffusionNFT 相比 GRPO 省内存的关键:训练时只需要干净图,训练阶段会重新加噪构造 xtx_t。

采样完成后立即 set_adapter("default") 切回,等待优化。

3️⃣ 训练阶段:每个时间步做三次前向

训练循环中最精彩的部分是每个时间步 j 上的"三前向"(scripts/train_nft_sd3.py):

  • 第一次:set_adapter("old") + 无梯度 → 得到 vold(xt)v^\text{old}(x_t),作为数据收集策略的参考预测;
  • 第二次:set_adapter("default") 带梯度 → 得到 vθ(xt)v_\theta(x_t),这是唯一贡献梯度的前向;
  • 第三次:disable_adapter() 彻底关闭 LoRA → 得到基座模型的预测,专门用于 KL 散度约束(防止策略跑飞)。

三个预测随后被组装成 NFT 的核心损失(scripts/train_nft_sd3.py):

  • 隐式正目标:positive = β·v_θ + (1-β)·v^old
  • 隐式负目标:negative = (1+β)·v^old - β·v_θ

归一化优势值 r∈[0,1]r \in [0,1] 作为权重:rr 大时图片"好",正损失占主导;rr 小时负损失占主导。奖励信号就这样通过正负目标的线性组合,直接"注入"到 vθv_\theta 的参数里,无需任何额外的奖励头。

4️⃣ 轮末同步:decay 软更新,而非硬拷贝

epoch 结束时,old 并不是简单地覆盖为 default,而是执行指数式软同步(scripts/train_nft_sd3.py):

old ← old · decay + default · (1 - decay)

其中 decay 由 return_decay 根据训练步数计算,共三种调度模式:

decay_type 行为 适用配置
0 永不更新(old 冻结) —
1 decay 从 0 以 0.001/步 线性升到 0.5 默认、GenEval、PickScore
2 前 75 步 decay=0,之后以 0.0075/步 升到 0.999 OCR(config/nft.py)

这个设计的妙处:decay 越大,old 越"惰性",采样策略变化越慢,训练信号更稳定;decay 越小,old 越紧跟 default,数据新鲜度越高。OCR 任务用 decay_type=2 正是希望前期完全复用同一策略采样、后期再缓慢漂移。

5️⃣ 保存检查点:只留 default

save_ckpt 通过 model_to_save.save_pretrained() 保存整个 PEFT 模型。由于只有 default 参与优化,推理时加载单一 LoRA 即可复现训练策略,配合 scripts/evaluation.py 里的 load_adapter(adapter_name="default") 完成离线评测。

关键参数速查

想动手调参,重点关注这两个(config/nft.py、config/base.py):

  • config.beta:正负目标的混合比例。1.0 表示纯新策略主导(GenEval),0.1 则更保守地锚定旧策略(OCR、multi-reward);
  • config.train.beta:KL 正则系数(默认 0.0001),约束 vθv_\theta 别离基座模型太远,与 old 适配器无关,参考模型是关闭所有 LoRA 后的基座。

DiffusionNFT性能对比:25倍训练效率与多奖励雷达图

这套"采样/训练双策略分离 + 软同步"的设计,正是 DiffusionNFT 能做到 25 倍训练效率(左图:GenEval 0.98 vs Flow-GRPO 0.95)且各奖励维度全面领先的底层原因之一:它让采样分布始终"略落后于"训练策略,既保证了数据的新鲜度,又避免了策略剧烈漂移带来的训练震荡(右图雷达图)。

NASA标志文字生成测试图:OCR奖励下的生成质量示例

小结

DiffusionNFT 的双 LoRA 适配器机制可以浓缩为一句话:default 负责进化,old 负责采样,decay 负责让两者以受控的节奏靠拢。

  • add_adapter("old") 创建影子策略,与 default 参数独立;
  • 采样切 old 无梯度出图,训练切 default 带梯度,disable_adapter() 提供基座参考;
  • 轮末 old ← decay·old + (1-decay)·default 完成软同步;
  • 检查点只保存 default,推理零额外负担。

理解了这套机制,你就能读懂 scripts/train_nft_sd3.py 中绝大多数 set_adapter 调用,也能为自己的扩散模型 RL 项目设计类似的在线更新流程。

登录后查看全文
DiffusionNFT